Game of Drones: de automatisering van “Killer Robots”

Een Amerikaanse drone die opstijgt vanuit zijn basis in de Amerikaanse Nevadawoestijn, en na een vlucht van duizenden kilometers vijandige doelwitten onder vuur neemt in Pakistan, Afghanistan, Irak of Jemen. De drone werd niet bestuurd vanuit een controlekamer, en selecteerde zonder enige vorm van menselijke interventie of controle het doelwit waarop hij zijn vernietigende vuurkracht losliet.

Het lijkt een scène die zo weggeplukt is uit Terminator of andere sciencefictionfilms, maar steeds meer stemmen waarschuwen dat dit weldra realiteit kan worden. Een internationale coalitie van 54 ngo’s en middenveldorganisaties uit 25 landen, de Campaign to Stop Killer Robots, drukt burgers en regeringen op het hart dat automatische drones binnenkort geen sciencefiction meer dreigen te zijn.

‘Een nieuw type wapenwedloop is aan de gang, en de uitkomst zal de toekomst van onze planeet vorm geven. Het is geen race tussen twee landen. Het is [een race] tussen de ‘schildpad’ van onze traag veranderende juridische en institutionele standaarden en de ‘haas’ van snelle technologische verandering in de wapenindustrie’, schreef ook Hoge Vertegenwoordiger voor Ontwapeningszaken van de Verenigde Naties Angela Kane in de Amerikaanse krant Huffington Post.

Groeiend internationaal debat

De afgelopen twee jaar werd steeds intensiever gedebatteerd over de wenselijkheid en gevolgen van zo’n nieuwe wapenwedloop.

De Speciale Rapporteur van de VN voor Buitenrechtelijke Executies publiceerde in april 2013 een rapport waarin hij opriep tot nationale moratoria op de productie en het gebruik van deze wapens, en het thema werd sindsdien druk besproken op tal van internationale fora en bijeenkomsten van het Internationale Rode Kruis.

Het Europese Parlement nam begin 2014 ook een resolutie aan die opriep tot een volledig verbod op automatische gewapende drones. De jaarlijkse herzieningsconferentie van de Conferentie voor Conventionele Wapens beslist op 14 november of multilaterale gesprekken over de nieuwe wapens in 2015 verdergezet zullen worden.

‘Bezwaren zijn talrijk’

‘Wapens die opereren zonder betekenisvolle menselijke interventie druisen in tegen de menselijke waardigheid’

Ngo’s huiveren bij het vooruitzicht van automatische oorlogsvoering tussen landen of niet-statelijke actoren.

‘Je moet er niet aan denken dat er straks wapens zijn die zelfstandig hun doelwit selecteren en zonder menselijke tussenkomst beslissen of ze tot een aanval overgaan. Wapens die opereren zonder betekenisvolle menselijke interventie druisen in tegen de menselijke waardigheid’, stelt Miriam Struyk van de Nederlandse vredesorganisatie PAX, medeoprichter van de Stop [Killer Robots](file:///H:/Willem/Killer%20Robots) campagne.

Dat is volgens Struyk niet alles: ‘Andere bezwaren zijn dat een autonoom wapensysteem geen onderscheid kan maken tussen soldaten of burgers, en niet de afweging kan maken of een actie proportioneel is. Landen zullen deze wapens wellicht sneller inzetten, omdat ze er geen manschappen voor hoeven op te offeren. Voor mensen in oorlogsgebieden zal de angst voor dergelijke moordmachines enorm zijn en daardoor haat- en wraakgevoelens oproepen.’

‘Daarnaast is er de vraag wie uiteindelijk verantwoordelijk kan worden gehouden voor het handelen van deze robots en hoe het zit met transparantie en met de verspreiding van zulke wapens.’

Preventief verbod

Volledig automatische gewapende drones bestaan voorlopig nog niet, maar tegenstanders waarschuwen dat de technologie niet stil staat en steeds verder richting automatische drone-oorlogsvoering evolueert.

Verschillende “voorlopers” van automatische gewapende drones, met uiteenlopende niveaus van autonomie en dodelijke vuurkracht, worden al gebruikt door de Verenigde Staten, het Verenigd Koninkrijk, Israël en Zuid-Korea.

Activiteiten betreffende onderzoek en ontwikkeling van volautomatische wapensystemen worden daarnaast gefinancierd door landen als China, Duitsland, India, Israël, Zuid-Korea, Rusland, de VS en het Verenigd Koninkrijk.

De Stop Killer Robot campagne ijvert daarom voor nationale moratoria en een preventief verbod op de ontwikkeling en productie van automatische gewapende drones. Ze wordt daarin bijgetreden door meer dan twintig Nobelprijswinnaars.

Ook de Speciale Rapporteur van de VN voor Buitenrechtelijke Executies, Christof Heyns, riep in 2013 op tot een moratorium op automatische gewapende drones totdat er een duidelijk internationaal aanvaard kader is rond de toekomst van zo’n wapens.

‘Robots humaner dan mensen’

Ronald Arkin, een Amerikaanse roboticus en professor aan het Georgia Institute of Technology, stelt in een reactie aan MO* dat de eis tot een volledig verbod op automatische gewapende drones ‘prematuur’ is.

‘Robots zijn nu al sneller, sterker en in sommige gevallen slimmer dan mensen. Is het dan echt zo moeilijk te geloven dat ze uiteindelijk beter in staat zullen zijn burgers humaner te behandelen op het slagveld?’

‘Is het echt zo moeilijk te geloven dat robots uiteindelijk beter in staat zullen zijn burgers humaner te behandelen op het slagveld?’

Arkin erkent dat er nog behoorlijke technologische uitdagingen bestaan in de ontwikkeling van automatische gewapende drones die het internationale recht volledig naleven. Hij ziet wel geen fundamentele wetenschappelijke barrières om over tien tot twintig jaar robots te ontwikkelen die zich moreler kunnen gedragen dan soldaten.

Arkin sluit zich aan bij de eis tot een moratorium, maar stelt vraagtekens bij de wenselijkheid van een volledig verbod. ‘Als een robot mogelijk een mens kan overtreffen in moreel handelen, waarom zouden we dat dan niet onderzoeken? Laat ons toch vooral het wetenschappelijk onderzoek niet belemmeren omwille van angsten die Hollywood en sciencefiction ons aanpraten’, aldus Arkin.

Arkin wordt echter tegengesproken door 272 ingenieurs, informatici, robotici en experts op het gebied van artificiële intelligentie, die zich in een open brief uit 2013 uitspraken voor een volledig verbod op zo’n wapentechnologie.

‘De technologie van autonome robotwapens zit vol beperkingen en onbekende toekomstige risico’s. Er is geen duidelijk wetenschappelijk bewijs dat zo’n wapens in staat zijn – of in de voorzienbare toekomst in staat zullen zijn- tot een accurate identificering van doelwitten, voldoende situationeel bewustzijn hebben of in staat zijn beslissingen te nemen over het proportionele gebruik van geweld. Beslissingen over het gebruik van geweld moeten niet gedelegeerd worden aan machines’, aldus de 272 experts.

Arkin is het daar niet mee eens: ‘Als je niet investeert [in onderzoek], zal je ook geen bewijzen hebben.’

‘Eerste stap naar automatisering oorlogsvoering’

De 272 wetenschappers worden wel bijgetreden door het Internationale Rode Kruis, dat in 2011 al stelde dat ‘de ontwikkeling van een waarlijk autonoom wapensysteem dat het internationaal humanitair recht kan implementeren een monumentale programmeeruitdaging stelt die misschien wel onmogelijk blijkt te zijn.’

‘Dit is de eerste stap naar de volledige automatisering van oorlogsvoering en het uitbesteden van beslissingen over leven en dood aan computerprogramma’s’

‘Arkin heeft goede bedoelingen, maar creëert een erg gevaarlijk idee’, zegt professor emeritus robotica en voorzitter van het International Committee for Robot Arms Control Noel Sharkey aan MO*.

‘Zijn ideeën zijn niet gebaseerd op een greintje wetenschappelijk bewijs. Denkt hij wel na over de gevolgen als zijn voorspelling van tien tot twintig jaar fout blijkt te zijn? Denkt hij echt dat landen die miljarden dollars hebben geïnvesteerd in onderzoek zullen zeggen ‘oh ja, wel, we hebben geprobeerd en gefaald’? Dit is de eerste stap naar de volledige automatisering van oorlogsvoering en het uitbesteden van beslissingen over leven en dood aan computerprogramma’s.’

Maya Brehm, onderzoekster wapenrecht aan de prestigieuze Geneva Academy of International Humanitarian Law and Human Rights, klinkt in een reactie aan MO* evenmin enthousiast.

‘Ernstige twijfels rond de verenigbaarheid van autonome wapensystemen met het internationale humanitaire recht (IHR) zijn gerechtvaardigd. We kunnen er niet op vertrouwen dat deze wapens kunnen voldoen aan de voorwaarden van IHR, zoals we die vandaag begrijpen.’

Brehm benadrukt het belang van menselijke controle. ‘Staten moeten van betekenisvolle menselijke controle over individuele aanvallen een expliciete juridische voorwaarde maken. De ontwikkeling van wapensystemen die zo’n menselijke controle niet toestaan is ontoelaatbaar.’