Eerlijk kwalitatief en inclusief

Vooringenomenheid (bias), aannames, persoonlijke belangen en andere eenzijdige perspectieven. Het bewust of onbewust bevoordelen of benadelen, onbedoelde discriminatie en profileren van individuen en groepen mensen is een steeds aanwezig risico bij het gebruik van (locatie)data. Geen enkele dataset kan alle relevante facetten van een persoon, gemeenschap, situatie of locatie volledig representeren. Eerlijk gebruik van data erkent en herkent dit. Organiseer en gebruik daarom data die inclusief en van goede kwaliteit is. Inclusiviteit en kwaliteit gaan verder dan data. Bijvoorbeeld ook de vraagstelling, de betrokken mensen, de gebruikte bronnen vereisen inclusiviteit en kwaliteit. Dit verdient aandacht en aanpak bij het ontwerp en gedurende de hele levenscyclus van data en informatieproducten.

Pas toe en leg uit ontwerpprincipes

1. Herken en erken de altijd aanwezige vooringenomenheid (bias). In jezelf en in anderen. Om het bewust of onbewust bevoordelen of benadelen, onbedoelde discriminatie en profileren van individuen, groepen mensen en locaties te vermijden.
2. Gebruik altijd een divers en inclusief geheel van bronnen om te komen tot verantwoorde beeld-, beleids- en besluitvorming. In ieder geval: interne en/of externe domeinexpertise; de situatie en locatie ter plekke (gaan kijken); de primaire belanghebbenden (gaan praten); en verantwoorde data.
3. Maak data voldoende inclusief. Voor een representatieve uitwerking van de voorliggende vraag. Erken dat geen enkele dataset alle relevante facetten van een persoon, gemeenschap, situatie of locatie volledig kan representeren.
4. Definieer en hanteer de minimaal benodigde kwaliteit van de data om de voorliggende vraag goed te kunnen beantwoorden (zie ook de waarde ‘rechtvaardig doelgericht’). Nog voordat data verzameld en gebruikt worden. Bijvoorbeeld in termen van juistheid, volledigheid, nauwkeurigheid, betrouwbaarheid en actualiteit. Dit dient als startpunt en referentie om data te kunnen beoordelen, waarderen en organiseren.
5. Ontwerp, presenteer en visualiseer data, diensten en informatieproducten op basis van de inzichten uit bovenstaande ontwerpprincipes.

Speciaal aan locatiedata

We gaan er vaak vanuit dat mensen die dezelfde locaties bezoeken of dichtbij elkaar wonen, meerdere overeenkomsten hebben met elkaar. Zoals gedeelde interesses, eigenschappen, behoeftes of demografische kenmerken. Dit kan leiden tot stereotyperingen die (groepen) individuen onrechtvaardig profileren en typeren. Stel bijvoorbeeld dat de locatiegeschiedenis van een persoon aantoont dat hij/zij regelmatig dezelfde zorginstelling bezoekt. Dan kan het zijn dat diegene gezondheidsproblemen heeft, maar deze persoon kan ook een gezondheidsmedewerker zijn. Die twee gevallen kunnen moeilijk te onderscheiden zijn met het gebruik van enkel persoonlijke locatiedata. En aannames liggen op de loer: Wat als bekend is welk opleidingsniveau, inkomen, nationaliteit, geslacht en leeftijd die persoon heeft?

 Bovendien kan de focus op bepaalde overeenkomsten in kenmerken juist leiden tot onterechte vergelijkingen. Gedurende de Covid-19 crisis ontpopten bijvoorbeeld verschillende kaarten met het aantal besmettingen op postcode vier of zes niveau van wijken en buurten, waarbij geen aandacht werd besteed aan het feit dat het ene gebied dichter bevolkt, van grotere omvang en meer stedelijk is dan een ander gebied. Zonder die verschillen te benoemen, ontkoppel je de data van de specifieke ruimtelijke eigenschappen waarvan de data afhankelijk zijn.

 En wat als de conclusies die worden onttrokken uit data niet onterecht zijn wegens vooringenomenheid, maar omdat de locatiedata zelf onjuist zijn? Een gezin in Dronten wordt vanwege de coördinaten van hun adres al jaren bedreigd door onbekenden. Ze ontvangen geregeld onaangename berichten als: "We weten je te vinden" en “We zullen je een lesje leren” omdat ze wonen op een plek die foutief gekoppeld is aan meerdere IP-adressen. Organisaties waarvan de fysieke locatie onbekend is, krijgen namelijk de coördinaten van het middelpunt van een land toegewezen. Het land wordt bepaald aan de hand van het IP-adres van de organisatie. Daardoor komen ontevreden mensen die contact zoeken met dergelijke organisaties met een Nederlands IP-adres, in hun online zoektocht vaak uit bij de coördinaten 52°30 0 N, 5°45 0 E. Oftewel het middelpunt van Nederland én tevens de woonplaats van het gezin in Dronten. Ditzelfde komt ook voor in de Verenigde Staten waarbij een gezin in Kansas wordt bedreigd omdat ook hun adres in het middelpunt van het land is. Hun adres is gekoppeld met 600 miljoen IP-adressen van organisaties. Een ogenschijnlijk onschuldige fout kan dus directe nadelige consequenties hebben. Daarom is het zo belangrijk om de kwaliteit van locatiedata te waarborgen.

Waar de wet stopt en ethiek verder gaat

Met uitdrukkelijke toestemming mogen persoonsgegevens worden gedeeld. Daarbij geldt wel de verwachting dat die persoonsgegevens kloppen. Die verwachting is wettelijk vastgelegd in artikel 1(d) van de AVG: “Persoonsgegevens moeten juist zijn en zo nodig worden geactualiseerd; alle redelijke maatregelen moeten worden genomen om de persoonsgegevens die, gelet op de doeleinden waarvoor zij worden verwerkt, onjuist zijn, onverwijld te wissen of te rectificeren ("juistheid").” Maar wie bepaalt wat juist is? Volgens artikel 16 van de AVG is dat de betrokkene. Die kan namelijk eisen dat de hen betreffende onjuiste en onvolledige persoonsgegevens gecorrigeerd en/of aangevuld worden.

Maar wat zijn persoonsgegevens? De luchtkwaliteit op een balkon kan bijvoorbeeld suggereren dat de bewoner rookt, maar data van een luchtmeetsensor worden doorgaans niet gezien als persoonsgegevens. Heeft die bewoner dan ook zeggenschap over de juistheid en volledigheid van de data? En wat als metingen aantonen dat de luchtkwaliteit in de wijk doorgaans slecht is, terwijl de buren (die geen sensor hebben en niet meedoen aan het meetproject) hun huis proberen te verkopen? Zij worden indirect belast met de conclusies die worden getrokken uit data die buiten hun om verzameld, verwerkt en gedeeld worden. Hebben zij zeggenschap over de juistheid en volledigheid van die data? Wie definieert datakwaliteit?

De INSPIRE richtlijn schiet te hulp met artikel 5: “De lidstaten zorgen ervoor dat metagegevens worden opgesteld en bijgewerkt voor de verzamelingen ruimtelijke gegevens en diensten.” Metagegevens zijn belangrijk omdat ze onder andere aangeven welke data zijn opgenomen, welke actualiteit de data hebben en met welke kwaliteit de data zijn vastgelegd. Om die metadata op een begrijpelijke, consistente en heldere wijze te presenteren zijn standaarden nodig. Geonovum heeft verschillende handreikingen gepubliceerd waarin Nederlandse- en EU metadata standaarden worden uitgewerkt en toegelicht. Een mooi voorbeeld hiervan is de Basisregistratie Grootschalige Topografie Gegegevenscatalogus. Geografische gegevens moeten voldoen aan bepaalde kwaliteitseisen. Deze catalogus geeft inhoud aan de begrippen: actualiteit, nauwkeurigheid, volledigheid en consistentie.

Maar, eerlijk datagebruik is niet alleen afhankelijk van de kwaliteit van de data. Dit is waar de wet stopt en de ethiek verder gaat: het punt waarop niet meer wordt gekeken naar de data zelf, maar naar de eisen die we stellen aan het gebruik ervan. Waar zijn de standaarden voor gelijkheid, inclusiviteit en integriteit in het datagebruik? Waar kan ik de beperkingen ten aanzien van aannames en vooroordelen vinden in de metadata? In artikel 1 van de Grondwet staat: “Allen die zich in Nederland bevinden, worden in gelijke gevallen gelijk behandeld. Discriminatie wegens godsdienst, levensovertuiging, politieke gezindheid, ras, geslacht of op welke grond dan ook, is niet toegestaan.” Hoe voorkomen we (onbedoelde) profilering, stereotypering en discriminatie bij het gebruik van data? Die vragen worden overgelaten aan de ethiek.

Handelingsinspiratie Eerlijk kwalitatief en inclusief

Opdrachtgever

Welke aannames zitten verscholen in deze opdracht? In de totstandkoming, vormgeving en uitvoering ervan? In de selectie van de opdrachtnemer en projectleider? Hoe haal ik die aannames bovenwater? En als ik ze in zicht heb, wat doe ik er dan mee? In welke mate beïnvloeden zij de opdracht (totstandkoming, vormgeving en uitvoering ervan)? Hoe meet en valideer ik dat?
Hoe kan ik voorkomen dat mijn aanwezige vooringenomenheid onwenselijke gevolgen heeft?

Projectleider

Welke aannames zitten verscholen in het doel, de opgave en de uitvoering van het project? Hoe kan ik, samen met het team, deze aannames inventariseren, benoemen, bespreken en valideren? Hoe beperk ik het risico dat dit project of product discriminatie van bepaalde mensen, groepen of locaties provoceert?
Heeft het team de ruimte en de vrijheid om aannames, vooroordelen, (persoonlijke) belangen, overtuigingen, patronen en andere eenzijdige perspectieven te adresseren en te bespreken? Is hier een proces voor ingericht?
Maken we in deze opdracht gebruik van geautomatiseerde processen? Zo ja, hoe zorgen we er dan voor dat onze beslissingen niet afhankelijk worden van deze processen, maar dat we ons menselijk perspectief blijven meenemen? En bevragen?

Uitvoerende team

Zijn wij betrokken bij gesprekken met mensen die geraakt worden door het project of product? Zodat hun verschillende perspectieven en belangen leidend zijn, in plaats van ‘onze’ vooringenomenheid.
Hoe worden de verzameling, uitsluiting, analyse, interpretatie, visualisatie en (geautomatiseerde) besluiten van data beoordeeld op vooringenomenheid? Om eventuele ongewenste effecten te voorkomen, waaronder het ontstaan van onbedoelde discriminatie. Weerspiegeld de data een waarheidsgetrouwe representatie? Hoe verifiëren we dat?
Zijn er vaste contact/feedback momenten tussen data- en inhoudelijke specialisten over beperkingen en risico’s in de data? Bespreek samen je bevindingen, zorgen en twijfels.
Bestaat er een mogelijk risico op discriminatie van een locatie of gebied? Bijvoorbeeld wanneer een relatie tussen locatie, inkomen, geslacht en/of etniciteit leidt tot oneerlijke geografische modellen die bepaalde groepen of personen (onbedoeld) discrimineert? Gebruik in dat geval meerdere gegevensbronnen om de validiteit van de data te verhogen.

Eindgebruiker

Welke aannames, vooroordelen, (persoonlijke) belangen, overtuigingen, patronen en andere eenzijdige perspectieven heb ik als primaire belanghebbende? Hoe beïnvloed dit mijn deelname en bijdrage aan dit project?
Begrijp ik welke aannames zijn gemaakt gedurende het project? Weet ik wie betrokken zijn geweest bij het formuleren en bespreken van deze aannames? Zijn de besluiten rondom eventuele ongewenste effecten inzichtelijk en verantwoord?
Zijn de perspectieven en belangen van betrokken individuen, groepen en locaties voldoende doorleefd en vertegenwoordigd in het project? Niet alleen gedurende het ontwerp en de uitvoering van het project, maar ook bij de monitoring? En is dat inzichtelijk? Hoe uit zich dat in het eventuele product?

Opdrachtgever

Heb ik een goed beeld van de benodigde bronnen voor een zorgvuldige beantwoording van de voorliggende vraag of opdracht? Niet datagedreven, maar zelf doorleven.
Zijn de verschillende gegevensbronnen inclusief verwerkt in de opdracht of opgave? Hoe kan ik dat controleren?
Zijn er voldoende middelen (zoals tijd en budget) beschikbaar om een divers en inclusief geheel van bronnen te kunnen raadplegen? Waar kan ik dit verifiëren?

Projectleider

Welke bronnen zijn relevant voor dit project? Wie bepaalt dat?
Is het onderzoeken en gebruiken van iedere benodigde bron verwerkt als hoofdactiviteit in mijn breakdown structure?
Heb ik voldoende toegang tot de bronnen om deze verantwoord te kunnen gebruiken? Worden mijn afwegingen en keuzes ten aanzien van het gebruik van de bronnen ook geëvalueerd?
Hoe breng ik samenhang in de resultaten en inzichten vanuit de verschillende bronnen? Kan ik deze samenhang in resultaten en inzichten valideren?

Uitvoerend team

Is het duidelijk welk proces we volgen om iedere bron optimaal te kunnen betrekken, bevragen en benutten? Welke methodieken worden gebruikt? Evalueren we deze methodieken ook?
Hoe brengen we de verschillende bronnen samen en in samenhang? Zodat een inclusief beeld ontstaat. Hoe verifiëren we of dat beeld ook daadwerkelijk inclusief is?
Hoe verzekeren we dat de bronnen gelijkwaardig worden behandeld? Kunnen we onze prioritering van de bronnen verantwoorden?

Eindgebruiker

Hoe zijn de verschillende bronnen meegenomen in het proces en het eindresultaat? Welke keuzes zijn daarbij gemaakt? Heb ik inzichten in de resultaten en inzichten vanuit de afzonderlijke bronnen?
Welke bronnen vind ik relevant voor een verantwoorde beeld-, beleids- en besluitvorming? Hoe vind ik dat deze verwerkt moeten worden?? Heb ik voldoende informatie om te kunnen controleren of alle relevante bronnen op een verantwoorde manier zijn verwerkt?
Welke rol speel ik bij het betrekken, bevragen, benutten en evalueren van de diverse bronnen?

Opdrachtgever

Heb ik voldoende zicht op de data? Ben ik in staat om in te schatten of deze voldoende representatief zijn? Wie controleert of de data voldoende inclusief en representatief zijn?
Wat kan ik opnemen in de opdracht over de inclusiviteit van de data?

Projectleider

Wanneer zijn de data voldoende representatief? Wie bepaalt dat? Wie evalueert dat?
Hoe zijn de juiste mensen vanuit verschillende perspectieven en (domein)expertise betrokken bij het ontwerpen en beoordelen van de data? Is deze groep mensen voldoende inclusief, volledig, integer en bekwaam?
Hoe organiseer ik dat de data het juiste beeld schetsen en de werkelijkheid zo goed mogelijk reflecteren? Wie controleert en verifieert dit beeld? En op welk moment?
Waar kunnen data misbruik, risico’s, waarschuwingen en onbedoelde negatieve resultaten van het datagebruik anoniem en veilig gedeeld worden? Waar kunnen onbedoelde fouten van het datagebruik gemeld worden? Wie kunnen deze meldingen doorgeven? En op welk moment?

Uitvoerend team

Zijn alle relevante personen, groepen en locaties voldoende vertegenwoordigd in de data? Wie controleert dat? Wat ontbreekt en wat is ondervertegenwoordigd? Hoe compenseren we dat? Benoem, bespreek en verklaar beperkingen, afwijkingen, inconsequenties en andere ongelijkheden in de data. Kunnen we het beeld dat wordt geschetst aan de hand van de door ons gebruikte data verantwoorden?
Zijn alle relevante eigenschappen van de gebruikte data afdoende gedefinieerd en gevalideerd? Zodat helder is hoe en welke personen, groepen en locaties terugkomen in het proces en/of eindresultaat?
Hoe garanderen we voldoende inclusiviteit in de data?

Eindgebruiker

Kan ik duiden welke data zijn verzameld en gebruikt gedurende het proces en/of in het eindresultaat ? En kan ik uitleggen hoe personen, groepen, objecten en locaties zijn gerepresenteerd?
Vind ik dat alle relevante data zijn gebruikt? En dat het beeld dat geschetst wordt ook mijn werkelijkheid zo goed mogelijk reflecteert? Kan ik meldingen doorgeven indien dit niet zo is? Wordt hier ook op geacteerd?
Welke rol speel ik bij het betrekken, bevragen, benutten en controleren van de diverse data?

Opdrachtgever

Is een begrijpelijke uitleg en verantwoording van de gekozen datakwaliteit beschikbaar en deelbaar? Is daarbij ook verifieerbaar in hoeverre daadwerkelijk gebruikte data aan deze kwaliteit voldoen? Voldoet deze kwaliteit ook aan mijn opdrachtomschrijving?
Waak voor 'data jumping'. Waarbij de kwaliteit van reeds beschikbare data de kwaliteitsnorm bepaalt en niet de voorliggende vraag.


Projectleider

Heb ik vroegtijdig ruim aandacht ingepland voor het bepalen van de kwaliteitsstandaarden die ik wil hanteren? Welke expertise heb ik nodig bij het opstellen van deze standaarden? Wie is/zijn verantwoordelijk voor het implementeren van deze standaarden? Hoe kan ik controleren of deze standaarden worden nageleefd?
Hoe zorg ik voor een transparante uitleg en verantwoording van de gekozen datakwaliteit?
Op welke momenten gedurende het project en het datagebruik controleer ik of de definitie van de benodigde datakwaliteit nog steeds geldend is? Wanneer evalueer ik onze kwaliteitsstandaarden?
Hoe richt ik een proces in waarbij de primaire belanghebbenden invloed kunnen uitoefenen op de juistheid, volledigheid, nauwkeurigheid, betrouwbaarheid en actualiteit van de data?

Uitvoerend team

Is voor ons duidelijk welke kwaliteitsstandaarden wij hanteren? Hebben wij inspraak over (de implementatie van) deze standaarden? Is samen met de bronhouders een gesprek gevoerd over de datakwaliteit, de voorliggende vraag en de behoefte van de primaire belanghebbenden?
In welke mate voldoet de gebruikte data aan de benodigde kwaliteit? Benoem en bespreek beperkingen, inconsistenties en onduidelijkheden in de data.
Hoe is de controle op de datakwaliteit geregeld? Gedurende de levenscyclus van data en informatieproducten.

Eindgebruiker

Kan ik uitleggen welke datakwaliteit is gehanteerd? Voldoen de kwaliteitsstandaarden aan mijn behoefte?
In hoeverre worden de kwaliteitsstandaarden nageleefd? Hoe kan ik de benodigde input/correcties leveren om de datakwaliteit te behouden of te verbeteren?

Opdrachtgever

Zijn de ontwerpprincipes voor eerlijk datagebruik voldoende benadrukt in de uitvoering van de opdracht en het eindresultaat? Wat heb ik nodig om daarop te kunnen sturen? Hoe kan ik dit controleren en evalueren?
Ben ik in staat om de projectleider en het uitvoerende team kritisch te bevragen op de principes voor eerlijk datagebruik?

Projectleider

Hoe zorg ik ervoor dat alle keuzes en overwegingen met betrekking tot datainclusiviteit en -kwaliteit eerlijk worden weerspiegeld in de presentatie of visualisatie van het eindresultaat?
Kan ik het ontwerp, de presentatie en de visualisatie van het eindresultaat verantwoorden?

Uitvoerend team

Hoe worden de principes voor eerlijk datagebruik ook meegenomen in het ontwerp, de presentatie of de visualisatie van het eindresultaat? Hoe kunnen we misleidende conclusies voorkomen? Let op kleurgebruik, accentueringen, (geo)grafische weergaven en andere keuzes die mogelijk vanuit een eenzijdig perspectief zijn gemaakt.
Hoe verifiëren we of het eindresultaat daadwerkelijk de principes voor eerlijk datagebruik weerspiegeld?

Eindgebruiker

In hoeverre zijn de principes voor eerlijk datagebruik naar mijn tevredenheid uitgewerkt in het ontwerp, de presentatie en de visualisatie van het eindproduct?
Welke conclusies trek ik uit de manier waarop de data worden gepresenteerd of gevisualiseerd in het eindproduct? Zijn deze misleidend of eerlijk?
Hoe verwerk ik de ontwerpprincipes voor eerlijk datagebruik in mijn uitleg, interpretatie en toepassing van het eindresultaat?