Wist je dat algoritmen een cruciale rol spelen in je dagelijkse leven? Ze beïnvloeden de berichten die je ziet op sociale media, de producten die je worden aanbevolen op onlinewinkelsites, en zelfs de uitspraken die worden voorgesteld in rechtbanken. Terwijl deze algoritmen ons leven in veel opzichten gemakkelijker maken, brengen ze ook potentiële risico's met zich mee voor onze mensenrechten.

Hier komt het concept van Impact Assessment Mensenrechten en Algoritmen (IAMA) om de hoek kijken. IAMA is een proces dat wordt gebruikt om de effecten van algoritmen op mensenrechten te beoordelen. Het helpt om de mogelijke schade te identificeren en te mitigeren voordat het in de praktijk wordt gebracht. Net als een milieu-impactassessment de potentiële milieuschade van een project onderzoekt, onderzoekt IAMA de mogelijke schade aan onze rechten en vrijheden door het gebruik van algoritmen.

Een van de grootste risico's van algoritmen is dat ze kunnen leiden tot discriminatie en ongelijkheid. Hoewel ze zijn ontworpen om objectieve beslissingen te nemen, kunnen algoritmen onbedoeld bias overnemen van de gegevens waarop ze worden getraind. Daardoor kunnen ze mensen onterecht benadelen op basis van hun geslacht, ras, religie of andere beschermde kenmerken.

Neem bijvoorbeeld het recente geval in Nederland, waarbij een algoritme werd gebruikt om fraude met sociale uitkeringen te detecteren. Dit algoritme, bekend als het 'SyRI' systeem, werd bekritiseerd omdat het onevenredig mensen in arme en geïmmigreerde gemeenschappen targette. Hoewel het bedoeld was om overheidsmiddelen effectief te beheren, leidde het tot onrechtvaardige discriminatie en schending van de privacyrechten. De Nederlandse rechtbank oordeelde in 2020 dat het gebruik van SyRI onrechtmatig was.

In een ander geval oordeelde het Europese Hof van Justitie in 2019 dat een Brits algoritme dat cijfers voorspelde voor afgelaste examens vanwege COVID-19, discrimineerde tegen studenten van openbare scholen. Hier werden de voorspelde cijfers gedeeltelijk gebaseerd op de historische prestaties van de scholen, wat nadelig was voor studenten van scholen die in het verleden lager presteerden.

IAMA is bedoeld om dit soort incidenten te voorkomen. Het beoordeelt niet alleen hoe een algoritme technisch functioneert, maar ook de bredere maatschappelijke impact. Door vooraf de potentiële schade te identificeren, kunnen we zorgen voor het respecteren van onze mensenrechten in een wereld die steeds afhankelijker wordt van technologie. Daarom is het essentieel dat IAMA een integraal onderdeel vormt van elk project dat algoritmen gebruikt, van de ontwerpfase tot de implementatie en het onderhoud. Het is geen eenmalige controle, maar een doorlopend proces dat ervoor zorgt dat algoritmen verantwoordelijk, eerlijk en respectvol blijven ten opzichte van onze rechten.

IAMA omvat een reeks stappen, waaronder het identificeren van de risico's, het inschatten van hun impact, het ontwikkelen van mitigerende maatregelen en het monitoren van de daadwerkelijke impact na de implementatie van het algoritme. Het maakt gebruik van een interdisciplinaire aanpak, waarbij expertise wordt ingebracht vanuit verschillende domeinen zoals mensenrechtenwetgeving, datawetenschap, ethiek en sociologie.

(bron: Overheid)

Maar een succesvolle IAMA gaat verder dan alleen technische en juridische kennis. Het vereist ook een diep begrip van de maatschappelijke context waarin het algoritme zal worden gebruikt, evenals betrokkenheid van degenen die het meest door het algoritme zullen worden beïnvloed. Door stakeholders zoals gebruikers, gemeenschappen en burgerrechtenorganisaties te betrekken bij het beoordelingsproces, kunnen we ervoor zorgen dat IAMA de verschillende perspectieven weerspiegelt en het algoritme op een inclusieve manier wordt ontworpen en geïmplementeerd.

Het toepassen van IAMA betekent echter niet dat alle risico's volledig kunnen worden geëlimineerd. Maar het stelt ons in staat om een evenwicht te vinden tussen de voordelen van algoritmen en de bescherming van onze mensenrechten. Het helpt ons ook om meer transparantie en verantwoording in het gebruik van algoritmen te brengen, waardoor we meer controle kunnen uitoefenen over de technologieën die ons leven beïnvloeden.

In onze steeds meer gedigitaliseerde wereld, waarin technologie en mensenrechten elkaar kruisen, is het van cruciaal belang dat we proactief zijn in het beschermen van onze rechten. Door gebruik te maken van instrumenten zoals IAMA, kunnen we navigeren in deze complexe ruimte en een veilige, rechtvaardige en inclusieve digitale toekomst opbouwen.

Impact Assessment Mensenrechten en Algoritmes document

Bronnen:

1. Voor een algemeen begrip van wat algoritmen zijn en hoe ze ons leven beïnvloeden, zie bijvoorbeeld O'Neil, Cathy. "Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy.".
2. Voor het concept van Impact Assessment Mensenrechten en Algoritmen (IAMA), kun je kijken naar de studie "Algorithmic Impact Assessments: A Practical Framework For Public Agency Accountability" van de AI Now Institute (Reisman, D., Schultz, J., Crawford, K., & Whittaker, M. 2018).
3. Informatie over de discriminatie die kan ontstaan door algoritmen is te vinden in het artikel ‘What is AI Bias?’ en ‘Why algorithms can be racist and sexist’
4. Het voorbeeld van het Nederlandse SyRI-systeem kan worden gevonden in een artikel van NOS getiteld "Anti-fraudesysteem SyRI moet van tafel, overheid maakt inbreuk op privéleven" (NOS, 2020).
5. Het voorbeeld van het Britse algoritme voor examenprognoses is te vinden in een artikel van CNBC Tech met de titel " How a computer algorithm caused a grading crisis in British schools" (Sam Shead, 2020).