‘Artificiële intelligentie is gedoemd om vooroordelen over migratie te bestendigen’

Identiteitsbewijzen in het kamp voor vluchtelingen op het Griekse eiland Lesbos.

Toon Lambrechts

Europa schaaft aan een wet die het gebruik van artificiële intelligentie in goede banen moet leiden, ook op het vlak van migratiemanagement. Dat is een belangrijke stap, zegt de Griekse migratie-experte Niovi Vavoula. Want datagedreven toepassingen staan centraal in de Europese migratieaanpak. ‘Migranten en vluchtelingen hebben maar weinig zeggenschap over hun eigen data.’

Het precieze aantal slachtoffers zullen we nooit kennen, maar naar schatting 500 mannen, vrouwen en kinderen kwamen op 14 juni om het leven in de wateren van de Middellandse Zee. De Adrianna, een aftandse vissersboot, was enkele dagen eerder vanuit de Libische stad Tobruk vertrokken richting Italië. Aan boord: honderden vluchtelingen uit Syrië, Palestina, Afghanistan en Pakistan.

Voor de kust van Pylos, in het westen van Griekenland, kwam het schip onder nog onduidelijke omstandigheden tot zinken. Slechts 104 mensen overleefden de ramp. Nog maar eens werd pijnlijk duidelijk hoe dodelijk de Europese aanpak van migratie is.

Die aanpak is sinds 2015 steeds verder verhard. Landen aan de buitengrenzen van de EU doen er alles aan om die grenzen potdicht te houden. Daarbij worden steeds vaker hoogtechnologische middelen ingezet, zoals thermische camera’s en drones die automatisch verdachte bewegingen opsporen.

Niet alleen bij het controleren van de buitengrenzen, maar in migratiemanagement in het algemeen, maken de Europese lidstaten meer en meer gebruik van datagedreven systemen en artificiële intelligentie. Om de herkomst van vluchtelingen en migranten te bepalen bijvoorbeeld, of om migratiepatronen te detecteren.

Veel van die systemen maken hun beloftes niet waar, maar dat belet de EU niet om verder in te zetten op technologie om migratie in te dammen.

AI aan banden

Momenteel wordt op Europees niveau onderhandeld over een wettekst die de krijtlijnen voor het gebruik van artificiële intelligentie uitzet. De zogenaamde AI Act wordt de eerste internationaal gedragen wet om de wildgroei aan AI-toepassingen te reguleren.

Ook een aantal toepassingen op vlak van migratiemanagement en grenscontrole staan in de voorlopige versie van de AI Act. Bemoedigend, want tot nu toe ontbrak elke vorm van regulering voor het gebruik van AI aan de buitengrenzen. Toch blijft er reden tot bezorgdheid, zo verduidelijkt Niovi Vavoula, professor aan de Queen Mary University of London, en gespecialiseerd in migratie en veiligheid.

‘De AI Act is een eerste poging om te komen tot een internationaal gedragen regulering van AI.’

‘Het belang van de AI Act valt niet te onderschatten. De tekst geldt als equivalent van de Europese Privacywet (GDPR) op het vlak van artificiële intelligentie. Daarom is het van essentieel belang dat de bescherming die de nieuwe wet biedt sterk en holistisch is.’

Het initiële voorstel van de Europese Commissie vertoonde heel wat tekortkomingen, legt Vavoula uit. Zo bleef emotieherkenning door AI toegelaten, al kreeg de technologie het label ‘erg risicovol’. ‘Voorspellende analyse met behulp van AI stond niet in de tekst, net zomin als het gebruik van AI voor controle en toezicht. En dat terwijl de AI Act migranten en vluchtelingen expliciet erkent als kwetsbaar voor schadelijke toepassingen van AI.’

‘De stemming van de wet in het Europees Parlement heeft een aantal van die tekortkomingen en achterpoortjes weggewerkt. Er staat een verbod op emotieherkenning in de nieuwe tekst en ook voorspellende analyse en AI-surveillance worden vermeld. Een stap vooruit dus.’

Niovi Vavoula

© Niovi Vavoula

De AI Act komt nu op de tafel te liggen bij de Raad van Europa. Verwacht u nog grote veranderingen?

Niovi Vavoula: De tekst moet nog een heel onderhandelingsproces doorlopen. Ik verwacht dat een aantal van de beschermingsmaatregelen die het parlement heeft geïntroduceerd uiteindelijk zullen sneuvelen. Zelfs mocht dat niet het geval zijn, zie ik nog wel enkele tekortkomingen.

Voorspellende analyse bijvoorbeeld, gebruikt om mensen buiten de EU-grenzen te houden, zou niet in de categorie van technologie met een hoog risico moeten zitten, maar in die van schadelijke AI-toepassingen.

Wat ook ontbreekt, is een verbod op geautomatiseerde risicoanalyse. Daarbij schat een AI-systeem in of een individu een risico vormt op vlak van migratie of volksgezondheid. Dat er geen verbod op deze technologieën komt, is geen verrassing. Zowel ETIAS (Europees systeem voor reisinformatie en -autorisatie, een registratiesysteem voor niet-EU burgers die zonder visa de Unie binnen mogen) als VIS (Visuminformatiesysteem, een databank voor wie met een visum naar de EU reist) steunen op geautomatiseerde risicoanalyse.

Vluchtelingen en migranten vormen een kwetsbare groep, ook als het gaat om databescherming en privacy. Tegelijkertijd zien we een boom in datagestuurde technologieën voor grensbewaking en migratiemanagement. Ziet u de AI Act als een voorzichtige stap in de goede richting voor de bescherming van vluchtelingen en migranten tegen schadelijke AI-toepassingen?

Niovi Vavoula: De AI Act heeft een duidelijke ambitie om de standaard te zetten. Het is een eerste poging om te komen tot een internationaal gedragen regulering van AI. Men hoopt op het Brusseleffect, waarbij Europese standaarden de toon zetten, ook voor landen buiten de EU.

De AI Act zal zeker zijn invloed hebben. Maar: je moet in het achterhoofd houden dat de EU geen koploper is in de ontwikkeling van AI. Of de AI Act echt invloedrijk wordt, zal afhangen van de uiteindelijke tekst en welke reikwijdte die heeft.

Blind vertrouwen in technologie

Een veelgebruikt argument om AI-toepassingen voor grensbewaking en migratiemanagement te verdedigen, is dat zulke systemen neutraler zijn dan mensen. Niet waar, klinkt het in het kamp van de tegenstanders. AI-systemen bevatten evengoed ingebouwde vooroordelen en zijn allerminst neutraal.

Niovi Vavoula: Het is belangrijk om goed te begrijpen hoe vooroordelen AI binnensluipen en hoe AI deze ook bestendigt. De algoritmes van AI-systemen die bedoeld zijn om bijvoorbeeld in te schatten of er een risico is dat iemand mogelijk wil migreren, werden ontworpen door mensen. Ze steunen daarnaast op een enorme hoeveelheid statistische data, gegenereerd door beslissingen die in het verleden werden genomen.

‘Migranten en vluchtelingen hebben maar weinig zeggenschap over hun data.’

Een concreet voorbeeld. Een groot aantal Albanezen met een specifiek profiel – mannelijk en laaggeschoold – wordt de toegang tot Griekenland geweigerd door Griekse ambtenaren aan de grens. Omdat er een vooroordeel heerst dat deze groep illegaal op het grondgebied zal blijven.

Die situatie genereert een hoeveelheid statistische data om algoritmes mee te voeden. Die algoritmes zullen op hun beurt sneller Albanezen met een dergelijk profiel als risicovol bestempelen wanneer ze de EU binnen willen komen.

Maar zelfs als een AI-systeem iemand als een risico labelt, is er nog altijd iemand die dat resultaat evalueert. Ook die kan vooroordelen hebben en sneller geneigd zijn om het oordeel van de AI te volgen wanneer dat in lijn is met wat hij zelf denkt. Dat oordeel versterkt opnieuw de statische data die aan de basis liggen van de algoritmes van het AI-systeem.

Zo ontstaat er een vicieuze cirkel: eerdere vooroordelen sluipen de AI binnen en bevestigen de vooroordelen van de grensbeambten. De beslissingen van de grensbeambten bestendigen opnieuw de algoritmes van de AI. Daarom is elk AI-systeem gedoemd om patronen van discriminatoire beslissingen uit het verleden te herhalen.

Mensen op de vlucht in Bosnië, 2019.

Toon Lambrechts

Critici van AI-toepassingen en datasurveillance in migratiemanagement en grensbewaking stellen dat het EU-beleid lijdt aan ‘technosolutionisme’. Wat bedoelt men met die term?

Niovi Vavoula: In de context van migratie gaat het om beleidsmakers die technologie als een wondermiddel zien om problemen van migratiemanagement, grensbewaking en asielprocedures op te lossen. Het gaat om een overmatig vertrouwen in technologie, en een sterke nadruk op efficiëntie en modernisering.

Tegelijkertijd blijft men blind voor de vicieuze cirkel die technologische oplossingen creëren. Want het gebruik van technologie schept nieuwe problemen, onder andere door data van slechte kwaliteit. Problemen die op hun beurt weer om nieuwe technologische oplossingen vragen.

De EU past datagedreven technologieën en AI-systemen in de eerste plaats toe bij de bewaking van de buitengrenzen en de beheersing van mobiliteit van niet-EU-burgers. Ziet u dergelijke controle- en analysesystemen een bredere ingang vinden?

Niovi Vavoula: Migranten en vluchtelingen hebben maar weinig zeggenschap over hun eigen data. Het is ook niet hun eerste bezorgdheid, vaak hebben ze een hele reeks andere problemen. Dergelijke systemen worden hun opgelegd.

Vaak hebben mensen ook geen idee wat er gebeurt met hun data. Dat geldt evengoed voor mensen die een visum voor de EU aanvragen of andere types reizigers. Deze groepen zijn een ideaal testpubliek voor datagedreven controlesystemen. Zij kunnen er maar weinig tegen inbrengen als er met hun privacy een loopje wordt genomen.

De meeste systemen zijn relatief nieuw en worden als het ware uitgetest op migranten en vluchtelingen. Toch zien we achterpoortjes in sommige databanken, zodat ook sommige EU-burgers onder surveillance komen. Neem bijvoorbeeld ECRIS-TCN (European Criminal Records Information System – Conviction Information on Third-country Nationals), een databank met informatie over het strafblad van niet-EU-burgers. Daarin worden ook individuen met een dubbele nationaliteit opgenomen.

Het toont aan hoe dergelijke controlesystemen zich almaar uitbreiden, vaak buiten de oorspronkelijk bedoelde reikwijdte.

Testlabo Griekenland

Wat betekent de digitalisering van het Europese migratiebeleid concreet voor vluchtelingen en migranten?

Niovi Vavoula: Dat verschilt van land tot land. Want naast de systemen die de EU uitrolt, zien we ook individuele staten datagedreven surveillance doorvoeren. In Griekenland heeft men bijvoorbeeld de laatste jaren een hele reeks nieuwe technologieën getest en vervolgens in de praktijk gebracht.

‘Griekenland is het favoriete testlabo van de EU voor technologisch migratiemanagement.’

Neem het nieuwe, semigesloten opvangkamp op het eiland Samos. Dat wordt afgeschilderd als een nieuw model voor centra aan de Europese buitengrenzen. De plek staat onder permanente videosurveillance, op de slaapcontainers na. Het beeldmateriaal wordt doorgestuurd naar een controlekamer in het ministerie van Migratie. Een AI-systeem analyseert vervolgens de beelden en waarschuwt voor potentiële problemen.

Privacy in het kamp is zo goed als onbestaande. Bewoners hebben geen andere keuze dan de situatie te aanvaarden, hoewel de legale basis voor zulke vergaande surveillance ontbreekt.

Samos is geen alleenstaand geval. De laatste jaren heeft de Griekse overheid een hele reeks technologische toepassingen uitgerold bedoeld om migratie in te dijken. Kun je stellen dat Griekenland een koploper is op het vlak van datagedreven migratiemanagement?

Niovi Vavoula: Absoluut. Een deel van deze toepassingen komt uit de hoed van de nationale overheid. Maar als je kijkt naar de door de EU gefinancierde onderzoeksprojecten rond AI en migratie, blijkt dat de meerderheid ervan in Griekenland uitgetest wordt. Griekenland is dus een belangrijke partner in het ontwikkelen van dergelijke systemen en experimenteert enthousiast met nieuwe technologieën.

Zo was er eBORDER, een project waarbij men emotieherkenning en geautomatiseerde biometrische datavergaring uittestte. Voorbeelden genoeg. Griekenland is het favoriete testlabo van de EU voor technologisch migratiemanagement.

Identiteitscontrole in het vluchtelingenkamp Moria op het Griekse eiland Lesbos.

Toon Lambrechts

Illusie van beheersbaarheid

De AI Act lijkt de ontwikkeling van AI-systemen voor migratiemanagement enigszins te reguleren. Tegelijkertijd worden die systemen belangrijker bij de Europese aanpak van migratie. Wat zegt dat over hoe beleidsmakers vluchtelingen en migranten zien?

Niovi Vavoula: Migranten en vluchtelingen worden in de eerste plaats beschouwd als een risico dat berekend en gemanaged moet worden. Het individu aan de grens wordt van zijn individualiteit ontdaan, opgebroken in verschillende categorieën van data, om zo de illusie van voorspelbaarheid en beheersbaarheid te creëren.

Hoe ziet u deze trend verder evolueren?

Niovi Vavoula: Er is maar weinig reden tot optimisme. De uitkomst van de AI Act is nog onzeker. Europese agentschappen die instaan voor migratie, zoals Frontex, investeren fors in nieuwe datagedreven toepassingen. Ze gaan verder op de ingeslagen weg en kijkt alleen naar meer controletechnologie.

Alleen al de vele door Europa gefinancierde onderzoeksprojecten in datagedreven migratiemanagement tonen dat dit veld alleen maar zal groeien. Zo werkt men op dit moment aan AI-toepassingen om documenten te controleren, irreguliere reisbewegingen te detecteren of verdachte schepen bij vertrek op te sporen.

Toch is er hoop. Hoe meer men gebruikmaakt van zulke systemen, hoe meer mensen ermee geconfronteerd zullen worden. En zich dus ook zullen realiseren wat er aan het gebeuren is. Dat schept de mogelijkheid om het gebruik van deze systemen in nationale en Europese rechtbanken aan te vechten.

Niet dat deze systemen zullen verdwijnen, maar juridische uitspraken kunnen duidelijkheid verschaffen over de limieten aan het gebruik ervan. Dat opent de deur naar meer duidelijkheid over deze controlesystemen. Een duidelijkheid die vandaag volledig ontbreekt.