‘Ook algoritmes hebben vooroordelen’

Inge Strijker doet bij Windesheim onderzoek naar bias, ofwel ingebakken vooroordelen bij digitale algoritmes. Vanuit haar onderzoekersrol bij het lectoraat Digital Business & Society schoof ze aan bij een tafelgesprek met staatssecretaris Alexandra van Huffelen. 

Wat was het belang van het gesprek? 

‘De laatste jaren zijn er verschillende gevallen van bias nadrukkelijk in het nieuws geweest, waarvan de toeslagenaffaire qua maatschappelijke impact misschien wel de meeste indruk maakte. Sindsdien is de vraag hoe je vooroordelen in digitale systemen kunt opsporen en verwijderen urgenter dan ooit. Het idee dat digitalisering niet ten koste mag gaan van mensen duidt de overheid aan als waardengedreven digitalisering. Daar hebben we met een aantal mensen over gesproken samen met de staatssecretaris. Het viel me op dat ze erg goed is geïnformeerd en een helder verhaal had over de ontwikkelingen, ook in Europees verband en op mondiaal niveau. Ze was het met me eens dat er in de curricula van ICT-opleidingen meer nadruk zou mogen liggen op het beter voorbereiden van onze hbo-studenten op hun latere rol in het werkveld en op het gericht laten nadenken over de vraag wat hun bijdrage kan zijn aan de maatschappij.’

Wat is bias?

‘Het zijn vooroordelen die zijn terechtgekomen in algoritmes of in stukjes code. Dat gebeurt meestal onbewust en is niet gewenst. Dat kan gebeuren in oude regel-gebaseerde systemen, maar ook in nieuwe data-gedreven systemen. Zo worden bewuste en onbewuste vooroordelen onderdeel van ICT-systemen. Deze ‘foutjes’ kunnen allerlei ongewenste maatschappelijke consequenties hebben.’ 

Heb je voorbeelden?

‘Er was bijvoorbeeld een verzekeringsmaatschappij wier software hogere premies rekende voor mensen die woonden op huisnummers met een toevoeging. Blijkbaar maakte het systeem zelf data-analyses en concludeerde het dat mensen op dergelijke adressen meer of vaker schade veroorzaken. Maar er zijn ook andere voorbeelden zoals DUO dat bij fraudeonderzoek de etnische achtergrond liet meewegen, of AI-software die alleen mensen met een witte huidskleur herkende. Er zit vaak een heel verhaal van cultuur en beleid omheen voordat het in een algoritme terecht komt.’

Kun je iets vertellen over het project van onze ICT-studenten bij de Dienst Toeslagen?

‘Via I-Partnerschap(opent in nieuw tabblad), een organisatie die samenwerking tussen hbo, mbo, universitair onderwijs en rijksoverheid bevordert, kwamen we in contact met de Dienst Toeslagen. Bestuurders wilden meewerken met dit onderzoek om de transparantie te bevorderen én om een frisse blik te krijgen van studenten op vraagstukken rondom vooroordelen in algoritmes. De studenten gingen aan de slag met de vraag hoe je kunt zorgen dat vooroordelen minder kans krijgen om te infiltreren in algoritmes. Het is een heel mooi project geweest. De ICT-studenten die hebben meegewerkt waren ook erg goed en kregen een 8,5 voor hun werk. Ze hebben gekeken naar het proces en de techniek en concludeerden dat IAMA (Impact Analyse Mensenrechten voor Algoritmes) een hele goede kapstok om is om de verschillende toetsen die de Dienst Toeslagen al doet, aan op te hangen. Als je een eerlijke dataset wilt hebben heb je allerlei tools die daarbij kunnen helpen en daar hebben de studenten over geadviseerd.’

Hoe kun je überhaupt vooroordelen uit software halen?

‘Dat kan door de processen om te komen tot die software te beïnvloeden. Je kunt de tooling en de data die daaronder liggen trainen om eerlijker te zijn en tot slot de mensen die het maken trainen. Het is ook wenselijk om met zo divers mogelijke teams aan dit soort projecten te werken, om blinde vlekken te voorkomen. Ook het vermogen van teamleden om ethische dilemma’s en vraagstukken te herkennen is belangrijk. Én om de huidige studenten er goed van te doordringen hoe je daar mee om kunt gaan. De ICT-studenten van nu zijn de makers van de toekomst dus het is goed dat zij er tijdens hun studie al goed over nadenken. Eigenlijk is het voor alle studenten belangrijk om te weten hoe algoritmes werken.’

Wat zou de rol van de overheid volgens jou moeten zijn? 

‘Ik zou graag zien dat de overheid meer gaat doen en meer gaat reguleren om vooroordelen in algoritmes te voorkomen. Zaken als AI, zoals ChatGPT hebben een steeds grotere impact op ons leven. Om op het voorbeeld van die huisnummers terug te komen: we moeten voorkomen dat we iets doen alleen omdat het systeem het zo heeft gezegd terwijl niemand weet waarom die beslissing zo genomen is. Op dat gebied kan de overheid meer invloed uitoefenen en ik hoop dat we daarover in gesprek blijven!’

Van links naar rechts:

•    Joost Schrage, communicatie adviseur van I-Partnerschap
•    Inge Strijker, docent onderzoeker HBO-ICT van Hogeschool Windesheim
•    Anouk Provily, medewerker project ‘Versterking capaciteit Informatiehuishouding’
•    Alexandra van Huffelen, staatssecretaris Digitalisering en koninkrijksrelaties
•    Shimi Goossen, senior adviseur recruitment Tweede Kamer
•    Emilie Adegeest, projectleider ‘Versterking capaciteit Informatiehuishouding’
•    Anika Beynon, eventmanager ‘Versterking capaciteit informatiehuishouding’
•    Sander Verhoeckx, projectleider I-Partnerschap/ Informatiehuishouding
•    Chris van Riet, productowner Kennisportfolio van I-Partnerschap

Inge Strijker is docent bij de opleiding HBO-ICT en onderzoeker bij het lectoraat Digital Business & Society