Russische bedrijven bieden ‘racistische’ gezichtsherkenning aan

het stijgende gebruik van gezichtsherkenning gaat samen met steeds luidere stemmen die wijzen op mogelijk onethisch gebruik van de technologie.

Mirko Tobias Schäfer / flickr (CC BY 2.0)

Gezichten scannen voordat mensen worden toegelaten tot een gebouw, de politie die verdachten herkent in een menigte: het gebruik van gezichtsherkenning stijgt. En dat gaat samen met steeds luidere stemmen die wijzen op mogelijk onethisch gebruik van de technologie.

Bedrijven die zulke technologie ontwikkelen, hebben nu software gemaakt waarmee iemands etniciteit vastgesteld kan worden, zo blijkt uit een nieuw rapport van Amerikaanse onderzoekers dat maandag gepubliceerd werd.

Groepen die zich inzetten voor digitale burgerrechten stellen dat de software ‘doelbewust gemaakt is voor discriminatie.’

‘De onderzoeksresultaten onderstrepen het racisme dat in deze systemen zit ingebakken.’

Het Amerikaanse onderzoeksbureau IPVM bekeek handleidingen voor ontwikkelaars en coderingsvoorbeelden. Daaruit bleek dat de software waarmee de vier grootste Russische bedrijven op het gebied van gezichtsherkenning adverteren, gezichten kan indelen naar verondersteld ras of etniciteit, op basis van kunstmatige intelligentie (AI).

Er zijn geen aanwijzingen dat de Russische politie deze technologie heeft ingezet tegen minderheden. Maar de bedrijven in kwestie, AxxonSoft, Tevian, VisionLabs en NtechLab, verkopen de software wel aan autoriteiten en bedrijven in Rusland en daarbuiten.

Uitgeschakeld

Het Moskouse AxxonSoft zei in reactie op vragen van de redactie dat de functionaliteit waarmee etniciteit gedetecteerd kan worden, inmiddels is uitgeschakeld. Het bedrijf stelt ook niet geïnteresseerd te zijn ‘in het promoten van technologie die een basis kan zijn van etnische segregatie.’

Burgerrechtengroepen maken zich zorgen om de bevindingen van IPVM, ze stellen dat raciale profilering normaal is in het land. Ze zeggen ook dat de autoriteiten al AI gebruiken om tegenstanders van de regering te identificeren en vast te zetten. ‘De onderzoeksresultaten onderstrepen het racisme dat in deze systemen zit ingebakken’, zegt Edin Omanovic, directeur Belangenbehartiging bij Privacy International, een mensenrechtenorganisatie in Londen.

Hoewel wereldwijd tientallen bedrijven software voor etniciteitsanalyse ontwikkelen, vooral in China, zijn Russische bedrijven prominent aanwezig in de markt van gezichtsherkenning.

‘Dit zijn niet zozeer goedaardige veiligheidsinstrumenten die misbruikt kunnen worden, maar eerder tools die diepgeworteld zijn in een van de meest destructieve ideeën van de mensheid en doelbewust gemaakt voor discriminatie.’

De Russische minister van Binnenlandse Zaken en NtechLab reageerden niet op een verzoek om commentaar.

De drie andere bedrijven toonden zich sceptisch over de huidige capaciteit van hun technologie voor misbruik, maar stelden zich bewust te zijn van de ethische zorgen met betrekking tot het gebruik ervan.

Vadim Konushin, ceo van Tevian (ook wel bekend als Video Analysis Technologies), ontkent dat het huidige gebruik van de software door de politie kan leiden tot discriminatie. VisionLabs stelt dat zijn analysesoftware voor etniciteit alleen ontwikkeld is voor interne onderzoeksdoeleinden.

“Negroïde”

Detectie van is ras onderdeel van een steeds breder wordende reeks analytische diensten die gezichtsherkenningsbedrijven leveren. De klant kan met deze technologie fysieke kenmerken vaststellen, zoals haarkleur en gezichtsuitdrukking, en daar informatie uit afleiden zoals leeftijd, geslacht en emoties.

De software die ontwikkeld is door AxxonSoft en Tevian, en VisionLabs – een Russisch bedrijf met een hoofdkantoor in Nederland – delen mensen die hun camera’s passeren grofweg in in dezelfde groepen: Aziatisch, zwart, wit en Indiaas.

In het Face Intellect tool van AxxonSoft werden categorieën aangetroffen met gedateerde en als beledigend beschouwde termen “Mongools” en “negroïde”. Het bedrijf schrijft die termen toe aan een vertaalprobleem. Ze zijn inmiddels verwijderd uit de bedrijfsliteratuur. Bij NtechLab, dat deels gefinancierd wordt door en eigendom is van de Russische overheid, staat “ras” vermeld als een van de eigenschappen die de software kan detecteren.

Oproep tot verbod

Bedrijven die gezichtsherkenningssoftware ontwikkelen staan de laatste tijd steeds meer onder druk vanwege het potentieel van hun technologie voor mensen- en burgerrechtenschendingen.

De volgtechnologie speelt een sleutelrol bij de onderdrukking van de Oeigoeren, volgens mensenrechtengroepen.

In juni drong een groep van vijftig investeerders, samen goed voor meer dan 4,5 biljoen dollar, er bij bedrijven op aan te garanderen dat hun herkenningsproducten op een ethische manier worden ontwikkeld en gebruikt. In dezelfde maand tekenden meer dan 170 mensenrechtengroepen een open brief waarin ze opriepen tot een wereldwijd verbod op het gebruik van gezichtsherkenning en biometrische identificatie op afstand die doelgerichte massale en discriminatoire surveillance mogelijk maken.

Hoewel wereldwijd tientallen bedrijven software voor etniciteitsanalyse ontwikkelen, vooral in China, zijn Russische bedrijven prominent aanwezig in de markt van gezichtsherkenning. Volgens IPVM zijn ze goed voor een omzet van 40 miljoen dollar en breiden ze uit in het buitenland.

Oeigoeren

Dat gezichtsherkenningssoftware op een kwalijke manier kan worden ingezet blijkt in China, waar AI-bedrijven software ontwikkelden die Oeigoeren, een islamitische minderheid, kan identificeren, volgen en monitoren, zegt Matt Mahmoudi, onderzoeker AI en mensenrechten bij Amnesty International.

Functionarissen van de Verenigde Naties stellen dat China de regio Xinjiang, waar veel Oeigoeren wonen, transformeert in een ‘één groot interneringskamp”. De volgtechnologie speelt een sleutelrol bij de onderdrukking, volgens mensenrechtengroepen.
De Chinese ambassade in Washington D.C. zegt dat camera’s die in gebruik zijn op openbare plaatsen in Xinjiang niet bedoeld zijn voor “een bepaalde etniciteit” en dat de kampen in de regio bedoeld zijn voor beroepsopleiding en het terugdringen van extremisme.

Surveillance in Moskou

In Rusland, waar mensenrechtengroepen zeggen dat migranten, vooral uit Centraal-Azië, vaak doelwit zijn van raciale profilering, arbitraire detentie en geweld, is de potentiële inzet van rasdetectie zorgelijk, zegt Mahmoudi.

‘De rechten van minderheden die geassocieerd worden met een bepaalde mate van afwijkend gedrag of criminaliteit, kunnen aangetast worden als technologie breed ingezet wordt. Bijvoorbeeld hun recht op vergadering.’

Een woordvoerder van het Moskouse departement voor Technologie, dat verantwoordelijk is voor het surveillancesysteem in de stad, zegt in een reactie via e-mail dat videoanalyse gebruikt wordt om de veiligheid te verbeteren en overtreders te vinden.

‘Wat ik angstaanjagend vind, is het theoretische geval waarin iedereen automatisch raciaal geprofileerd wordt en de politie een signaal krijgt om etnische minderheden na te trekken.’

Er werd niet gereageerd op vragen over detectie van ras, de reactie stelde alleen dat de stad algoritmen gebruikt van verschillende, onafhankelijke ontwikkelaars.

AxxonSoft, in Rusland bekend als ITV, en Tevian geven aan dat handhavingsinstanties hun producten gebruiken voor onderzoek naar criminaliteit. Meestal is dat om verdachten te vinden op basis van beschrijvingen.

De website van NtechLab meldt dat de FindFace-software van het bedrijf werkt ter ondersteuning van het gezichtsherkenningssysteem in Moskou. De autoriteiten zeggen hierover dat het helpt misdaad terug te dringen en de lockdownmaatregelen in verband met covid-19 te handhaven.

Onopzettelijke etniciteitsanalyse

Sommige Russische technologiebedrijven zeggen zich ervan bewust te zijn dat hun software ingezet kan worden voor discriminatie. Anton Nazarkin, verkoopdirecteur bij VisionLabs, zegt dat de software van het bedrijf wordt aangeboden op de website, maar dat het bedrijf er nooit licenties voor heeft uitgegeven vanwege ethische en juridische problemen. Het zou in strijd kunnen zijn met de Europese wetgeving op het gebied van gegevensbescherming.

De website van AxxonSoft meldt dat er wereldwijd meer dan twee miljoen camera’s zijn geïnstalleerd. Azret Teberdiev, hoofd marketing bij AxxonSoft, zegt dat etniciteitsanalyse “onbedoeld” in het product is beland door de integratie met software van een derde partij. Het bedrijf zegt tegen de redactie de functionaliteit te zullen uitschakelen.

‘Een dergelijke functionaliteit is niet in overeenstemming met de ethische standaarden van ons bedrijf’, aldus Teberdiev.

Konushin van Tevian zegt in een reactie dat gezichtsherkenning op dit moment nog niet ver genoeg ontwikkeld is om specifieke etnische minderheidsgroepen herkennen, maar noemt het potentieel van de technologie zorgelijk. ‘Wat ik angstaanjagend vind, is het theoretische geval waarin iedereen automatisch raciaal geprofileerd wordt en de politie een signaal krijgt om etnische minderheden na te trekken’, zegt hij. ‘Als algoritmen sterk verbeteren, zou dat in theorie kunnen – en dat is angstaanjagend.’

Dit artikel verscheen oorspronkelijk bij IPS-partner Thomson Reuters Foundation