Vredesorganisatie PAX heeft van vijftig internationale technologiebedrijven in kaart gebracht in hoeverre ze betrokken zijn bij de ontwikkeling van dodelijke autonome wapens. Onder meer Microsoft en Amazon krijgen kritiek, terwijl Google het juist goed doet.

PAX bracht gisteren het rapport ‘Don’t be evil?’ uit, en bood het vandaag aan aan de Verenigde Naties in Genève.

Het onderzoek draait om wapensystemen die een bepaalde autonomie bevatten, waardoor ze zelf individuen kunnen selecteren en aanvallen. Vaak wordt daarom gesproken van autonome wapens of killer robots. Het ontwikkelen hiervan zien veel mensen als problematisch, omdat we autonome wapens liever niet laten beslissen over leven of dood.
 

AI onmisbaar

De technologie die hierbij meestal centraal staat is kunstmatige intelligentie, ofwel artificial intelligence (AI). Die is onmisbaar bij het analyseren van beelden op zoek naar vijandelijke troepen. Op zich hoeft AI geen probleem te zijn, schrijven de PAX-onderzoekers in hun rapport, wanneer het bijvoorbeeld wordt gebruikt voor het automatisch opstijgen en landen van vliegtuigen, navigatie of het bijtanken in de lucht. Alleen als een kunstmatig intelligent systeem zelf vijandelijke soldaten of voertuigen selecteert en beschiet, dan overschrijden we een ethische grens, meent PAX.
 

Vijftig bedrijven

De vijftig bedrijven uit twaalf landen die PAX heeft onderzocht (pdf-bestand), draaien ofwel al mee in een of ander militair project, ofwel hebben ze technologie die gebruikt zou kunnen worden voor dodelijke autonome wapens. De bedrijven zijn een mix van techreuzen, zoals Apple, Google, Facebook en Microsoft, en minder bekende startups. ‘We volgen deze bedrijfstak al jaren, dus we weten behoorlijk goed welke bedrijven we moeten hebben’, vertelt projectleider Autonome Wapens Daan Kayser van PAX aan de telefoon vanuit Genève. Onder deze vijftig zijn geen Nederlandse bedrijven.

PAX deed zelf onderzoek (via jaarverslagen, mediaberichten en andere publieke informatie) naar deze bedrijven, op basis van drie criteria:

  1. Ontwikkelt het bedrijf technologie die relevant kan zijn voor dodelijke autonome wapens?
  2. Werkt het bedrijf aan militaire projecten?
  3. Heeft het bedrijf zich voorgenomen om niet bij te dragen aan de ontwikkeling van autonome wapens?



Vragenlijst

Ter aanvulling van de eigen research legden de onderzoekers de bedrijven ook een korte vragenlijst voor. Die richtte zich op de huidige activiteiten van het bedrijf op het gebied van autonome wapens en op het beleid dat het bedrijf heeft op dit onderwerp.

Niet alle bedrijven reageerden op dit verzoek, maar op basis van alle verzamelde gegevens stelde PAX een classificatie op in drie soorten bedrijven: ‘Goed’ (7 bedrijven), ‘Gemiddeld’ (22 bedrijven) en ‘Zorgwekkend’ (21 bedrijven).
 

Google goed

Google springt er positief uit, met een beoordeling ‘Goed’. Het bedrijf kwam in 2018 groot in het nieuws doordat werknemers in opstand kwamen tegen de contracten met het Amerikaanse leger (project MAVEN). Maar sindsdien heeft het bedrijf afscheid genomen van dit defensieproject en daarnaast beleid opgesteld rond AI, waarbij ethische principes centraal staan: ‘Google zal geen AI-toepassingen ontwikkelen die te gebruiken zijn in wapens of andere technologieën om mensen te verwonden.’ Het protest van de Google-medewerkers heeft dus effect gehad.

Andere bedrijven die het goed doen, zijn het Russische bedrijf VisionLabs, dat patroonherkenning levert, de Britse dronebouwer Animal Dynamics en de Japanse gigant Softbank, dat tegen PAX zei ‘dat wij geen wapens maken en dat wij ook niet van plan zijn technologieën te ontwikkelen die voor militaire doeleinden gebruikt kunnen worden.’
 

Kritisch op Microsoft en Amazon

Veel kritischer is PAX over Microsoft. Dat bedrijf levert duizenden Hololens-brillen aan het Amerikaanse leger. Dat is een bril die een laagje augmented reality over de beelden uit de werkelijkheid legt. Oorspronkelijk was het apparaatje bedoeld voor monteurs om ingewikkelde machines te repareren. Of voor gamers, om een virtuele wereld te betreden die is vervlochten met de echte. Maar de Amerikaanse krijgsmacht wil soldaten het ding laten gebruiken op het slagveld. Het apparaat moet informatie over de vijand in het gezichtsveld projecteren.
 

Dodelijker worden

Ook dingt Microsoft momenteel mee naar een megacontract van het Amerikaanse leger, ter waarde van 10 miljard dollar (9 miljard euro). Onder de noemer JEDI (Joint Enterprise Defense Infrastructure) wil het Pentagon een digitale infrastructuur laten bouwen om te kunnen communiceren met soldaten op de grond en om allerlei artificial intelligence-toepassingen op te laten draaien. Volgens PAX dient het project ‘om dodelijker te worden’. Voor dit grote contract heeft Microsoft nog één mogelijke concurrent: Amazon.
 

Reputatie

Het nieuwe onderzoek moet bedrijven onder druk zetten om te stoppen met het ontwikkelen van of meewerken aan autonome wapens. ‘Het beeld dat een bedrijf oproept bij consumenten, hun reputatie, is belangrijk’, zegt Kayser. Daarnaast hoopt PAX de medewerkers van de bedrijven te beïnvloeden. ‘Die hebben ook vaak zo hun zorgen over militaire technologie. Mede op basis van ons onderzoek kunnen ze actie ondernemen, zoals binnen het bedrijf hun bezorgdheid aankaarten. Anderen besluiten hun baan op te zeggen.’ PAX wil dit onderzoek jaarlijks gaan herhalen.
 

Aanbevelingen

PAX heeft ook aanbevelingen voor technologiebedrijven:

  • Maak publiekelijk bekend dat je bedrijf niet bijdraagt aan de ontwikkeling van dodelijke autonome wapensystemen
  • Stel duidelijk beleid op om bovenstaande te garanderen. Bijvoorbeeld door:
    • elk nieuw project te laten beoordelen door een ethiekcommissie
    • alle technologie die wordt ontwikkeld te laten beoordelen op het mogelijke gebruik ervan en de gevolgen.
    • in contracten - vooral met overheden en wapenfabrikanten - een clausule op te nemen die zegt dat de betreffende technologie niet gebruikt mag worden in dodelijke autonome wapens.
  • Zorg dat medewerkers altijd goed geïnformeerd zijn over waar ze aan werken; en bevorder open discussie binnen het bedrijf.


Geen beleid

Kayser van PAX is verbaasd dat veel van de onderzochte bedrijven nog geen beleid hadden op het onderwerp ‘autonome wapens’. ‘Ik had meer bewustzijn verwacht.’ Misschien moet de politiek een handje helpen, met regelgeving op dit gebied. Die zit er nog niet direct aan te komen, maar er zit wel - heel langzaam - vooruitgang in. ‘Een handjevol Europese landen wil de onderhandelingen openen over een verdrag. Vandaag is daar Finland bijgekomen, dat was positief om te horen.’

Nederland is minder ambitieus, zegt Kayser. ‘Helaas gaat de diplomatie maar traag, terwijl de killer robots er snel aankomen.’