Het College voor de Rechten van de Mens publiceerde onlangs een prettig leesbaar onderzoek met de titel ‘Als computers je CV beoordelen, wie beoordeelt dan de computers?’. Een belangrijk en actueel onderwerp, want steeds vaker wordt een deel van wervings- en selectieprocessen overgenomen door technologie. Dit onderzoek laat zien dat er soms discriminerende algoritmes worden gecreëerd. Vaak gebeurt dat onbewust. Hoe voorkomt u dat uw recruitmentsoftware discrimineert?

Menselijke vooroordelen vs. een neutraal algoritme?

Dat er soms wordt gediscrimineerd als mensen het wervings- en selectieproces uitvoeren is bekend. Factoren die daarin meespelen zijn bijvoorbeeld:

  • hoge tijdsdruk
  • beperkte informatie
  • (onbewuste) vooroordelen van HR-professionals
  • de organisatiecultuur

U zou wellicht zeggen dat een algoritme hier geen last van heeft. Een algoritme heeft geen moeite met tijdsdruk, wordt gevoed met allerlei data, heeft geen vooroordelen en wordt niet beïnvloed door de organisatiecultuur. Dan zou zo’n algoritme discriminatie toch juist kunnen voorkomen? Helaas blijkt uit het onderzoek dat een algoritme discriminatie juist kan versterken.

Hoe een algoritme vooroordelen krijgt

Mensen, en dus ook HR-professionals, hebben de neiging om de uitkomst van een algoritmeadvies blind te vertrouwen. Toch is er genoeg reden om niet zomaar op het advies van een algoritme af te gaan. Er kan namelijk een heleboel misgaan:

Onbewuste vooroordelen in het algoritme

Soms gaat een algoritme discrimineren doordat het verkeerd is ontworpen. Bij het ontwerpen van een algoritme zit de duivel in de details. Een keuze die onbeduidend lijkt kan grote gevolgen hebben:

Een statistisch verband is niet altijd een oorzakelijk verband

Een algoritme kan afgaan op een statistisch verband tussen variabelen, terwijl dit niet altijd een oorzakelijk verband hoeft te zijn. Zo bleek uit een onderzoek dat er een statistisch verband bestaat tussen het liken van krulfriet op Facebook en een hogere intelligentie. Of hier ook sprake is van oorzaak-gevolg is zeer de vraag.

Neutrale variabelen die toch niet zo neutraal zijn

Ook kan een variabele neutraal lijken, maar toch tot indirecte discriminatie leiden. Een postcode kan bijvoorbeeld een indicatie zijn van een migratieachtergrond, als deze hoort bij een woonwijk met veel migranten. De variabele ‘onafgebroken dienstjaren’ kan een indicatie zijn van goed functioneren, maar ook van geslacht. Vrouwen hebben namelijk vaker kortere aanstellingen.

Onbewuste vooroordelen van algoritmeontwerpers

Mensen hebben vaak onbewust een voorkeur voor sollicitanten die op hen lijken. Selectiealgoritmes kunnen een digitale variant van de similar-to-me-bias nabootsen en versterken. Bijvoorbeeld doordat algoritmeontwerpers hun eigen voorkeuren in het algoritme verwerken.

Onbewuste vooroordelen in de data

Een computeralgoritme wordt gevoed met data. Ook in deze data kunnen onbewuste vooroordelen terecht komen:

Bestaande of oude vooroordelen

In de data die het algoritme voedt kunnen al vooroordelen aanwezig zijn. Bijvoorbeeld doordat de data uit een tijd komt waarin bepaalde groepen minder kansen kregen. Of doordat een manager bepaalde werknemers lager beoordeeld heeft, vanwege zijn of haar eigen (onbewuste) vooroordelen. Een algoritme kan deze vooroordelen vervolgens nabootsen.

Data die niet representatief is voor de doelgroep

Ook is het mogelijk dat data niet representatief is voor bepaalde doelgroepen. Ouderen en mensen met een beperking zijn bijvoorbeeld minder actief op social media. Zo kan het dus gebeuren dat een algoritme onvoldoende data verzamelt over deze groepen, waardoor het verkeerde conclusies trekt.

Zelflerende algoritmes

Er bestaan ook zelflerende algoritmes. Deze algoritmes leggen zelf verbanden op basis
van eerder behaalde resultaten en trainingsdata. Vervolgens maken ze zelf nieuwe beslisregels. Dit soort algoritmes kunnen menselijke discriminatie verder versterken. Bijvoorbeeld als een HR-professional bepaalde profielen vaak afwijst en het algoritme op basis van die data zelf discriminerende beslissingen gaat nemen. Een ander gevaar is dat deze algoritmes zo complex kunnen worden dat zelfs de ontwerpers het niet meer snappen.

Sollicitanten die het algoritme bespelen

Als laatste bestaat er nog een gevaar dat sollicitanten met kennis van het algoritme het gaan proberen te bespelen.

Hoe voorkomt u dat een algoritme gaat discrimineren?

Het onderzoek maakt duidelijk dat we al in de ontwerpfase rekening moeten houden met mogelijke discriminatie (non-discrimination by design). Het geeft een aantal voorbeelden van tegen-algoritmes die vooroordelen in het algoritme moeten opsporen.

Het rapport eindigt met de volgende aanbevelingen:

  • Vergroot het bewustzijn van het risico op discriminatie bij het gebruik van algoritmes.
  • Maak als algoritmeontwerper inzichtelijk op basis van welke variabelen sollicitanten beoordeeld worden.
  • Voer als algoritmeontwerper regelmatig validaties uit op de daadwerkelijke werking van de software.
  • Informeer als werkgever de sollicitanten over de rol van algoritmes bij de selectie.
  • Stimuleer sollicitanten om het te melden als zij discriminatie vermoeden.

Wij helpen om op algoritmegebruik te sturen

Wij helpen u graag bij het versterken van het algoritmegebruik binnen uw organisatie. Zo beperkt u risico’s en voorkomt u problemen, zoals discriminatie. Eén van de instrumenten die we hiervoor inzetten is de Algoritme Effect Beoordeling. Hiermee brengen we de baten en negatieve effecten van het algoritmegebruik binnen een toepassing in beeld. Vervolgens bekijken we de soorten risico’s waarop gestuurd moet worden en met welk type maatregelen u die risico’s kunt beperken.

Meer weten over hoe we u kunnen helpen? Neem contact met ons op.


Over de auteur

Terug naar het overzicht