Maszyna nie męczy się, nie stresuje, nie bywa głodna i nie ma wyrzutów sumienia. Broń, która bez udziału człowieka decyduje, kiedy i kogo zabić, już istnieje i działa. Nic na świecie nie reguluje jej stosowania.
Śmiercionośne systemy uzbrojenia autonomicznego – które często, choć myląco, nazywa się „robotami-zabójcami” – to rodzaj broni, która po aktywowaniu może atakować obiekty i ludzi bez dalszej ludzkiej interwencji. Jako że ponad dziesięć krajów opracowuje już i rozwija bardzo skuteczne wersje takiej broni, której można użyć na lądzie, morzu i w powietrzu, nie mówimy już o zagadnieniu rodem z fantastyki naukowej. Taka broń już istnieje i jest w użyciu w toczących się obecnie konfliktach.
Od 2014 roku na forum ONZ prowadzone są rozmowy dotyczące traktatu w sprawie zakazu systemów uzbrojenia autonomicznego (tzw. AWS, autonomous weapons systems). Do tej pory, oprócz sekretarza generalnego ONZ oraz Międzynarodowego Komitetu Czerwonego Krzyża, poparcie dla podpisania takiego traktatu wyraziło 30 państw. Jednak Stany Zjednoczone i Rosja wspólnie przeciwstawiają się dyskusjom o jakimkolwiek prawnie wiążącym instrumencie. Zamiast niego w 2021 roku Stany Zjednoczone wysunęły postulat opracowania „niewiążącego kodeksu postępowania”.
czytaj także
W prace nad podejściem do systemów broni autonomicznej zaangażowałem się w lutym 2013 roku, gdy otrzymałem przedziwną wiadomość od organizacji strażniczej Human Rights Watch. Od 45 lat analizowałem zagadnienia związane ze stosowaniem sztucznej inteligencji, a przez ponad dekadę pracowałem nad sposobami weryfikacji przestrzegania postanowień traktatu o całkowitym zakazie prób jądrowych. Ponadto przez jakiś czas zasiadałem także w komisji Human Rights Watch w Północnej Kalifornii. Od ponad czterdziestu lat organizacja ta prowadzi śledztwa w sprawie naruszeń praw człowieka na całym świecie – naruszeń, których sprawcami są ludzie.
Teraz zaś Human Rights Watch poprosiło mnie, abym poparł nową kampanię na rzecz wprowadzenia zakazu robotów-zabójców. W wiadomości, którą otrzymałem, była mowa o tym, że roboty te mogłyby przypadkowo zaatakować dzieci bawiące się zabawkową bronią, a jednocześnie nie ograniczałoby ich „ludzkie współczucie, będące istotnym zabezpieczeniem przed zabijaniem ludności cywilnej”.
Kiedy ochłonąłem z początkowego osłupienia, w odpowiedzi napisałem, że być może należałoby zacząć od ustalenia zawodowego kodeksu postępowania dla naukowców i inżynierów zajmujących się programowaniem – czegoś w rodzaju „nie projektuj algorytmów, które mogą podjąć decyzję o zabijaniu ludzi”.
czytaj także
Takie przykazanie wydawało mi się w oczywisty sposób rozsądną zasadą, z którą zgodzi się każdy normalny człowiek. Wkrótce jednak przekonałem się, że „rozsądek” i „normalność” to słowa, które w dziedzinie geopolityki i dyplomacji pojawiają się rzadko, a zwłaszcza tam, gdzie omawia się kwestie kontroli nad bronią. Na tej arenie ścierają się i nakładają na siebie różne interesy. Argumenty merytoryczne odgrywają tu w najlepszym przypadku drugorzędną rolę i mogą nawet zaszkodzić sprawie, o którą walczymy.
Przez ostatnie osiem lat powoli uczyłem się nawigowania po tej krainie. Z początku działałem według standardowego scenariusza: robiłem dziesiątki prezentacji, w tym także na forum ONZ, uczestniczyłem w setkach wydarzeń, udzieliłem setek wywiadów mediom, przewodniczyłem delegacji naukowców do Białego Domu. Stopniowo jednak przekonałem się, że to nie wystarczy. Wypróbowałem zatem inne podejścia, takie jak zainicjowanie petycji, którą podpisało 30 tysięcy osób, oraz wyprodukowanie krótkometrażowego filmu, który obejrzały miliony.
Zanim opiszę, jak przebiegała moja edukacja o kontroli nad nowymi rodzajami broni, chciałbym poczynić pewne zastrzeżenie. Po pierwsze, nie chodzi mi o zakaz wszelkiego użycia sztucznej inteligencji w sferze wojskowości. Niektóre zastosowania, takie jak skuteczniejsze wykrywanie nagłych ataków, mogą być korzystne. Po drugie, nie chodzi tu o ogólną moralną ocenę badań w zakresie obronności. Osobiście uważam, że naukowcy zobowiązani są pomagać tym, którzy w ich obronie gotowi są pójść na śmierć. I ostatnia sprawa – nie mówię tu o dronach rozumianych jako pojazdy latające zdalnie sterowane przez człowieka, jako że drony nie są autonomiczne: nie podejmują samodzielnie decyzji o tym, gdzie i kogo zaatakują. Nie mówię także o technologiach takich jak systemy obrony przeciwrakietowej, które są autonomiczne, ale nie zabójcze, jako że za cel biorą pociski, nie zaś ludzi.
Odpowiedziałem na wiadomość od Human Rights Watch, a potem poświęciłem nieco czasu na zorientowanie się, jak wygląda kwestia regulacji dotyczących broni autonomicznej. Wszystkie rodzaje broni są częściowo objęte przepisami międzynarodowego prawa humanitarnego, w tym konwencji genewskich – a w szczególności Konwencji o zakazie lub ograniczeniu użycia pewnych broni konwencjonalnych, które mogą być uważane za powodujące nadmierne cierpienia lub mające niekontrolowane skutki (z oczywistych powodów częściej nazywanej konwencją CCW).
Jednym z głównych filarów międzynarodowego prawa humanitarnego jest zasada rozróżniania: nie można atakować ludności cywilnej, a także, co za tym idzie, nie wolno używać broni, która nie umożliwia takiego rozróżnienia. W swoim raporcie z 2013 roku ONZ ostrzegało, że broń autonomiczna może być bronią właśnie tego typu – nie umożliwia rozróżnienia i może przypadkowo brać na cel ludność cywilną. Na podstawie tego ostrzeżenia Human Rights Watch przygotowało własny raport. Podaje tam przykład dzieci, które mogłyby stać się celem ataku dlatego, że bawiły się zabawkową bronią.
Wraz z upływem czasu doszedłem do wniosku, że skupianie się na przypadkowym atakowaniu cywilów jest strategicznym błędem, chociaż to właśnie ta kwestia była jednym z głównych przyczynków do pierwszych rozmów na temat broni autonomicznej, jakie odbyły się w 2014 roku na posiedzeniu stron konwencji CCW. Od tego czasu państwa-sygnatariusze spotykają się co roku, aby omówić rozwój zdolności zabójczej broni autonomicznej oraz to, czy i w jaki sposób należałoby ją poddać kontroli.
czytaj także
W 2015 roku zaproszono mnie, abym wystąpił na posiedzeniu stron konwencji CCW w Genewie jako ekspert od sztucznej inteligencji. Miałem wykonać trzy zadania: rozwiać wątpliwości dotyczące znaczenia „autonomiczności”, ocenić techniczną wykonalność broni autonomicznej oraz ocenić korzyści i wady jej stosowania. W swojej naiwności uznałem, że to szansa na przekierowanie debaty na rozsądniejsze tory.
Wyjaśnienie znaczenia autonomiczności nie wydawało się trudne. Dla badacza zajmującego się sztuczną inteligencją autonomia w przypadku broni jest dokładnie tym samym co w programach szachowych. Człowiek pisze program grający w szachy, ale to nie on decyduje o kolejnych ruchach. Naciskamy przycisk „start”, a decyzje podejmuje program. Bardzo szybko program przejdzie do takich pozycji na szachownicy, których nikt wcześniej nie widział na oczy, a wtedy, na podstawie tego, co zobaczy, i własnych złożonych, nieprzeniknionych obliczeń podejmie decyzję, którą figurę ruszy i które figury przeciwnika zbije.
Dokładnie tak definiuje to ONZ: broń autonomiczna po uruchomieniu może wybierać i atakować cele bez interwencji ze strony człowieka. Nie ma w tym żadnej tajemnicy, żadnych złych intencji, żadnej samoświadomości – wyłącznie złożone obliczenia bazujące na tym, co widzi kamera, w którą maszyna jest wyposażona – czyli na informacji, która nie jest dostępna dla operującego maszyną człowieka w momencie, gdy wysyła maszynę na misję.
czytaj także
Drugą kwestią była wykonalność – czy taką broń można było skonstruować przy użyciu dostępnych wówczas technologii, a jeśli nie, to jak długo miałoby to zająć? Z nieznanych mi powodów społeczność odpowiedzialna za kontrolę nad bronią – w tym także Human Rights Watch oraz grupa dwudziestu laureatów Pokojowej Nagrody Nobla – upierała się, że broń taką „można opracować w ciągu 20 do 30 lat”. Znajomi robotycy mówili mi natomiast, że zajmie to „co najwyżej osiemnaście miesięcy”, zaś brytyjskie Ministerstwo Obrony twierdziło, że jakiś zakres autonomii jest dla niektórych scenariuszy „zapewne osiągalny już teraz”. W rzeczy samej, w 2015 roku wszystkie składowe technologie broni autonomicznej już istniały i nietrudno byłoby je złożyć w jedną całość.
Minimalnym wymogiem dla broni autonomicznej jest mobilna platforma. Nawet w 2015 roku istniało już wiele opcji: quadcoptery (drony z czterema śmigłami) sięgające wielkością od 3 cm do metra; stałopłaty, począwszy od hobbystycznych samolotów dostawczych, po pełnowymiarowe drony wyposażone w pociski; bezzałogowe samochody, ciężarówki i czołgi, całe roje uzbrojonych bezzałogowych łodzi, a także – skoro już o tym mowa – szkieletowe humanoidalne roboty.
Odbywały się pokazy quadcopterów łapiących w locie piłki i przelatujących z dużą prędkością bokiem przez pionowe szczeliny – a nawet dużych formacji takich maszyn wlatujących przez wąskie okna i przegrupowujących się wewnątrz budynków. Na firmowych imprezach rutynowo odbywają się obecnie pokazy idealnie skoordynowanych manewrów powietrznych w wykonaniu ponad trzech tysięcy quadcopterów.
Drugi wymóg dotyczy konieczności postrzegania przez maszynę jej otoczenia. W 2015 roku algorytmy stosowane już wówczas w bezzałogowych pojazdach potrafiły śledzić wizyjnie poruszające się obiekty, w tym ludzi i pojazdy. Autonomiczne roboty były już w stanie badać i tworzyć szczegółowe mapy terenu w obszarach miejskich i wnętrz budynków.
Maszyna musi także mieć zdolność podejmowania taktycznych decyzji. Mogą one przypominać decyzje podejmowane przez systemy sztucznej inteligencji w grach komputerowych dla wielu graczy bądź w bezzałogowych pojazdach. Jednak pod wieloma względami opracowanie broni jest łatwiejsze, z tego prostego powodu, że bezzałogowy pojazd nie może popełnić żadnych błędów, natomiast broń AWS, która poprawnie działa w 80 procentach przypadków, jest według wojskowych standardów absolutnie dopuszczalna. (Bo jeśli chodzi tylko o końcowy efekt, wystarczy wysłać trzy sztuki takiej broni zamiast jednej).
Ostatnią kwestią jest zabójczość. Niektóre rodzaje broni były już wtedy instalowane na zdalnie sterowanych dronach, na przykład pociski wyposażone w tryb wizyjny, karabiny maszynowe stabilizowane żyroskopowo oraz izraelska amunicja krążąca Harpy 2, przenosząca ładunek wybuchowy o wadze 51 funtów. Wiele innych zabójczych technologii można byłoby w prosty sposób dostosować do autonomicznych platform.
Po omówieniu wykonalności przeszedłem do wad i zalet: czy państwa powinny opracowywać i stosować broń autonomiczną, czy raczej powinny jej zakazać? Jedną z często przytaczanych zalet autonomiczności broni jest to, że wojny toczone przez armie robotów mogłyby drastycznie zmniejszyć ryzyko dla uczestniczących w walce ludzi. Gdyby jednak tak było naprawdę, o wyniku wojen moglibyśmy decydować, grając w pchełki. W rzeczywistości sądzę raczej, że wojny kończą się, gdy liczba ofiar śmiertelnych i poziom zniszczeń stają się dla jednej lub obu stron po prostu zbyt wysokie.
Najpoważniejszym argumentem za stosowaniem broni autonomicznej jest twierdzenie, że taka broń chroni cywilów. Na posiedzeniach stron konwencji CCW delegacje amerykańska i brytyjska utrzymują, że broń autonomiczna może „ograniczyć ryzyko ponoszone przez ludność cywilną podczas operacji wojskowych poprzez […] automatyzację identyfikacji celów […] w celu zwiększenia szybkości, precyzji oraz celności”. To rozszerzenie argumentacji stosowanej w przypadku zdalnie sterowanych dronów. Systemy sztucznej inteligencji muszą lepiej niż ludzie rozpoznawać właściwe cele, co w 2015 roku prawdopodobnie nie było jeszcze możliwe, choć od tego czasu nastąpił pewien postęp. Argument ten jest problematyczny, ponieważ zakłada, że broń autonomiczna będzie stosowana w sposób bardzo podobny do dronów. Jeśli zaś nie – jeśli broń autonomiczna będzie używana częściej, przez różne strony, przeciwko różnym celom, do wykonywania różnych zadań bądź w mniej przejrzystych okolicznościach – ofiar w ludziach może być o wiele więcej.
Dlatego uważam, że skupianie się na kwestii celności oraz rozróżniania celów było nieporozumieniem, i to w przypadku obu stron tej debaty. Ta kwestia odwraca uwagę od pełnego obrazu sytuacji, a mianowicie tego, że broń autonomiczna całkowicie zmieniłaby charakter działań wojennych, równowagę sił pomiędzy narodami i podmiotami pozapaństwowymi. Wpłynęłaby także znacząco na możliwość egzekwowania prawa do „bezpieczeństwa osobistego”, zapisanego wszak w Powszechnej deklaracji praw człowieka.
Lista najczęstszych zastrzeżeń wobec broni autonomicznej jest długa. Niektóre z nich dotyczą kwestii praktycznych, na przykład faktu, że broń autonomiczna może stanowić cel infiltracji cyfrowej, a w takim wypadku po rozpoczęciu wojny mogłaby się zwrócić przeciwko swoim właścicielom. Może też przypadkowo powodować eskalację konfliktu w momencie, gdy fałszywy alarm wywoła prawdziwy, zautomatyzowany odwet. Zarówno cybernetyczna infiltracja, jak i eskalacja są już bardzo poważnie brane pod uwagę przez wojskowych specjalistów.
Dimitrova: Nie da się przygotować ludzkiej psychiki na wojnę
czytaj także
Prowadzący kampanię przeciwko takiej broni przytaczają także argumenty natury prawnej. Wskazują na przykład na „luki w odpowiedzialności”, które ujawniłyby się w przypadku zbrodni popełnionych przez sztuczną inteligencję. Ci, którzy opowiadają się za użyciem broni autonomicznej, twierdzą jednak, że nie ma tu żadnej nowej luki między zamiarem a niedbalstwem ze strony ludzi, którzy atak taką bronią inicjują.
Pozostają także argumenty moralne i związane z honorem. Międzynarodowe prawo humanitarne zawiera wyraźnie moralny element, zwany klauzulą Martensa, która stanowi, że w przypadkach nieuregulowanych obowiązującymi przepisami osoba ludzka pozostaje chroniona na mocy „zasad humanitarności i wymagań społecznego sumienia”. Echa tej zasady widać w rozmaitych wystąpieniach publicznych: sekretarz generalny ONZ António Guterres powiedział w 2019 roku: „Maszyny mające moc i możliwość odbierania życia bez udziału ludzi są politycznie niedopuszczalne, moralnie odrażające i powinny być w prawie międzynarodowym zakazane”.
Moralny sprzeciw wobec broni autonomicznej wyłonił się także tam, gdzie nikt się go nie spodziewał: na Światowym Forum Gospodarczym w 2016 roku Roger Carr, prezes działającej w sektorze obronności firmy BAE Systems, niespodziewanie stwierdził, że pozostawienie decyzji o zabijaniu w gestii maszyn jest „fundamentalnie złe”, i zobowiązał się, że jego firma nigdy do tego nie dopuści. W 2017 roku Paul Selva, wiceprzewodniczący amerykańskiego Kolegium Połączonych Szefów Sztabów, powiedział w amerykańskim Kongresie: „Nie sądzę, by było rozsądnym z naszej strony pozostawiać robotom decyzje dotyczące odbierania i oszczędzania ludzkiego życia”.
Nie ma wątpliwości co do tego, że żołnierze mają poczucie honoru. Na spotkaniach z wysokiej rangi wojskowymi z różnych krajów uderzyło mnie to, jak poważnie podchodzą do swojej odpowiedzialności za życie i śmierć. Oczywiście, rozumieją także, że pewnego dnia broń autonomiczna może zaatakować także ich samych.
Mimo wszystko nie wierzę, że argumenty z moralności i honoru mogą same w sobie przekonać rządzących, zwłaszcza jeśli ci nie ufają moralności i poczuciu honoru wszystkich innych rządzących. Ostatecznie więc, przygotowując się do posiedzenia stron konwencji CCW, przeanalizowałem także kwestę tego, jak wyglądałaby ewolucja broni autonomicznej w przyszłości. Jakiego rodzaju broń będzie możliwa za sprawą sztucznej inteligencji, w jaki sposób broń ta będzie wykorzystywana i jak może to zmienić samą wojnę?
Krótko mówiąc, zamiast odwoływać się do uczuć wyższych, miałem nadzieję przemówić do rozsądku państwom dbającym o własne interesy.
Uznałem, że sztuczna inteligencja, poprzez usunięcie elementu ludzkiego, umożliwiłaby powstanie zabójczych jednostek, które byłyby o wiele mniejsze, tańsze i zwinniejsze niż jakikolwiek czołg, śmigłowiec bojowy czy żołnierz z karabinem. Śmiercionośny czterośmigłowy dron sterowany przez SI mógłby mieć rozmiary puszki z pastą do butów i unieść choćby trzy gramy ładunku wybuchowego – wystarczająco dużo, aby uśmiercić kogoś z bliskiej odległości.
Nietrudno sobie wyobrazić, że ostatecznie tego rodzaju broń można byłoby tanio wytwarzać na masową skalę. Jako że, z definicji, żadna ze sztuk takiej broni nie wymagałaby ludzkiego nadzoru, można byłoby wysyłać je wszystkie na misję za jednym zamachem – co uczyniłoby z broni autonomicznej tanią, selektywną, skalowalną broń masowego rażenia. Wydawało mi się oczywiste, że z punktu widzenia bezpieczeństwa międzynarodowego byłaby to katastrofa – a co za tym idzie, katastrofa z punktu widzenia interesów uczestniczących w posiedzeniu przedstawicieli rządów i dyplomacji.
Ku mojemu zdumieniu okazało się, że po mojej genewskiej prezentacji sympatią do mnie zapałali ambasadorzy z Kuby, Pakistanu i Wenezueli, ale nie ich koledzy i koleżanki ze Stanów Zjednoczonych czy Wielkiej Brytanii. Niechęć tych ostatnich, jak podejrzewam, wynikała z tego, co postrzegali jako Realpolitik: utylitarną potrzebę utrzymania militarnej przewagi nad wszelkimi potencjalnymi wrogami, którzy mogliby opracować broń opartą na SI.
Zachód kontra Chiny i Rosja. Kto zwyciężyłby w tej konfrontacji?
czytaj także
Pomimo że amerykański i brytyjski sprzeciw wobec traktatu opóźniły postępy w Genewie, nadal mam nadzieję, że także i te kraje w końcu zrozumieją, że właściwie one same już dawno zaakceptowały potrzebę zapobieżenia powstaniu nowej kategorii taniej, skalowalnej broni masowego rażenia. W 1966 roku koalicja amerykańskich biologów i chemików zwróciła się do prezydenta Lyndona Johnsona z pismem, w którym wyjaśniała, że broń biologiczna, gdy już zostanie dopracowana, stałaby się tanią, powszechnie dostępną bronią masowej zagłady.
Następca Johnsona, Richard Nixon, doszedł do przekonania, że taka broń ostatecznie zmniejszyłaby bezpieczeństwo Stanów Zjednoczonych, w związku z czym w 1969 roku jednostronnie się jej wyrzekł. Z kolei Wielka Brytania przyczyniła się do zainicjowania negocjacji w sprawie międzynarodowego traktatu zakazującego użycia broni biologicznej, który ostatecznie stał się Konwencją o broni biologicznej.
Mimo że trwają debaty nad definicją broni masowego rażenia, wydaje mi się jasne, że jeśli można wklepać na klawiaturze polecenie, nacisnąć klawisz „wykonaj” i zmieść z powierzchni ziemi milion osób, to mamy do czynienia z bronią masowego rażenia. Konsekwencje dla bezpieczeństwa wynikające z małej przeciwpiechotnej broni autonomicznej mogą być nawet większe niż w przypadku innych rodzajów broni masowego rażenia.
Odpowiednio zaprogramowany rój mógłby, powiedzmy, wyeliminować wszystkich mężczyzn w wieku pomiędzy 12 a 60 lat w danym mieście albo wszystkich członków pewnej grupy etnicznej lub wyznaniowej. W przeciwieństwie do broni jądrowej taki rój nie pozostawiłby żadnego radioaktywnego krateru ani nie niszczyłby wartościowych nieruchomości. Jednak, jak pisali już inni, największa różnica pomiędzy autonomiczną bronią AWS a bronią jądrową polega na skalowalności tej pierwszej: konflikty mogłyby płynnie eskalować z dziesięciu do tysiąca, a następnie do setek tysięcy ofiar śmiertelnych, bez przekraczania jakiegokolwiek progu poczucia zagłady.
Po spotkaniu w Genewie w 2015 roku dla osób postulujących taki traktat w środowisku specjalistów od sztucznej inteligencji było już jasne, że aby przekonać innych, potrzeba czegoś więcej niż kilku slajdów prezentacji. W lipcu 2015 roku opublikowaliśmy list otwarty, w którym nawoływaliśmy do wprowadzenia takiego zakazu. Podpisało go 4667 badaczek i badaczy specjalizujących się w SI, w tym niemal wszystkie wiodące autorytety w tej dziedzinie, a do nich dołączyło 27 tysięcy innych sygnatariuszy. W mediach na całym świecie pojawiły się artykuły na ten temat. Nawet „Financial Times” – zazwyczaj nieprzychylny obrońcom pokoju – poparł zakaz, określając broń autonomiczną „koszmarem, którego świat nie ma powodu wynajdywać”.
Uświadomiłem sobie także, że jakiekolwiek próby podjęcia debaty wokół kwestii zabójczej broni autonomicznej w domenie publicznej komplikuje rozpowszechnienie mylnych pojęć. Media wciąż utożsamiają broń autonomiczną z robotami pokroju filmowego Terminatora, a to sprawia, że opinia publiczna wciąż mylnie uważa broń autonomiczną za czyste science fiction.
Motyw Terminatora sprawia także, że problemem wydaje się filmowy Skynet – ogólnoświatowy system oprogramowania sterujący zabójczymi robotami – który nagle zyskuje świadomość, nienawidzi ludzi i stara się nas wszystkich zabić. Świadomy, złośliwy Skynet nigdy nie stanowił rzeczywistego zagrożenia, ale owa narracja wyraźnie wymagała kontry. Nabrałem przekonania, że musimy za pomocą środków wizualnych naświetlić problem broni automatycznej.
W 2017 roku wraz z pisarzami i filmowcami z firmy Space Digital, zajmującej się efektami specjalnymi i cyfrowymi do filmów, przy wsparciu środków przyznanych przez Instytut Future of Life, stworzyliśmy film Slaughterbots („rzeźnickie boty”). Linie fabularne były dwie: jedną była prezentacja prezesa firmy wytwarzającej broń, który pokazywał maleńki czterośmigłowy dron i to, jak można go użyć do selektywnych ataków na masową skalę, druga linia zaś pokazywała mnóstwo ataków niewiadomego pochodzenia, skierowanych między innymi przeciwko członkom amerykańskiego Kongresu, a także studentkom i studentom na uczelniach w kilku różnych krajach.
Premiera filmu odbyła się na posiedzeniu stron konwencji CCW w listopadzie 2017 roku. Reakcje w innych gremiach były w większości pozytywne – wkrótce film miał miliony odsłon w sieci, a CNN nazwał go „najbardziej koszmarną, dystopijną produkcją 2017 roku”. Film przyniósł także inny, poboczny skutek: fotosy ze Slaughterbots stopniowo zaczęły wypierać w mediach wizerunki Terminatorów jako ilustracje doniesień o broni autonomicznej.
Wiele moich koleżanek i kolegów z branży SI uznało, że prezes wypowiadający się w filmie to prawdziwa, a nie fikcyjna postać, co dobitnie świadczy o tym, jak zaawansowana była ta technologia już wtedy. Jednak na posiedzeniu CCW rosyjski ambasador zareagował na moją prezentację gniewnym pytaniem: „Czemu zajmujemy się science fiction? Taka broń nie pojawi się przez następne 25–30 lat!”.
A jednak nieco wcześniej w tym samym roku powiązany z rządem wytwórca broni z Turcji ujawnił swój najnowszy produkt: dron Kargu. Kargu 2, jego obecna wersja, to tzw. wielośmigłowy dron (multicopter) wielkości talerza. Osiąga prędkość ponad 140 km na godzinę i przenosi około 1,5 kg ładunku wybuchowego – wystarczająco dużo do niszczenia pojazdów i uszkadzania budynków oraz zabijania i ranienia ludzi.
Według raportu ONZ z 2021 roku drony Kargu zostały użyte rok wcześniej w Libii, kiedy wycofujący się członkowie jednej z frakcji zostali przez nie autonomicznie „namierzeni i zdalnie zaatakowani”. Problem w tym przypadku nie polegał na przypadkowym atakowaniu cywilów, ale na celowym atakowaniu wycofującej się strony konfliktu (co narusza zasadę konieczności wojskowej) – a to wszystko w kontekście nałożonego przez ONZ całkowitego embarga na sprzedaż tej broni.
czytaj także
W pełni autonomiczna broń jest niestety faktem dokonanym, a przeciwnicy i zwolennicy tych systemów teraz znaleźli się w chwiejnym impasie – chwiejnym, ponieważ technologia rozwija się coraz szybciej. Wiele państw opowiada się za wprowadzeniem zakazu, podobnie jak Parlament Europejski, Organizacja Narodów Zjednoczonych, Ruch Państw Niezaangażowanych, setki organizacji społeczeństwa obywatelskiego oraz – według niedawnego sondażu – 61 proc. dorosłych w 28 krajach. Mimo to dążenie do zakazu broni AWS pozostaje na razie bezowocne, ponieważ rządy Stanów Zjednoczonych i Rosji, przy pewnym wsparciu Wielkiej Brytanii, Izraela i Australii, twierdzą, że taki zakaz nie jest konieczny.
Kiedy napotyka się tak nieugięty opór, coraz energiczniejsze wyrażanie własnego stanowiska nie prowadzi donikąd – zwłaszcza gdy druga strona ma wszystkie asy w rękawie. Dlatego niewielka grupa zwołana pod koniec 2019 roku przez pracującego w MIT fizyka Maxa Tegmarka zdecydowała się zbadać możliwość osiągnięcia lepszych wyników przez dobrze umotywowaną i kolegialną debatę.
Spotkaliśmy się w domu u Maxa w Bostonie. Wśród uczestników spotkania byli zarówno zwolennicy, jak i przeciwnicy broni autonomicznej – w tym naukowcy zajmujący się SI, specjaliści z dziedzin wojskowości, kontroli nad bronią oraz przedstawiciele świata dyplomacji.
Po rozmowach i debacie, które wydawały się donikąd nie zmierzać, zaczęliśmy rozważać rozwiązania kompromisowe, takie jak okrojony zakaz, który ustanowiłby minimalną dozwoloną wagę obciążenia ładunkiem wybuchowym – po to, by wyeliminować małoformatową autonomiczną broń przeciwpiechotną.
czytaj także
Istnieje interesujący precedens, zwany deklaracją petersburską z 1868 roku. Początki tej deklaracji trącą dziś myszką: oto rosyjski inżynier wynajduje amunicję do muszkietu, która eksploduje wewnątrz ciała, a rosyjscy dyplomaci bardzo szybko orientują się, że tak nieludzka broń może doprowadzić do wyścigu zbrojeń. Zwołują posiedzenie, a będąca jego wynikiem deklaracja wprowadza zakaz używania pocisków wybuchowych o wadze poniżej 400 gramów – zakaz, który pozostaje w mocy, przynajmniej teoretycznie, do dzisiaj.
Podobny zakaz małoformatowej autonomicznej broni przeciwpiechotnej mógłby wyeliminować roje stosowane jako broń masowego rażenia. Pozwoliłby jednak wielkim mocarstwom na rozwijanie autonomicznych łodzi podwodnych, czołgów i bojowych samolotów jako sposobu na zapobieżenie nagłym działaniom wroga.
Porozumienie tego typu byłoby lepsze niż nic, zwłaszcza biorąc pod uwagę porażkę ostatniej rundy negocjacji na forum CCW w 2021 roku. Byłoby też jednak dalekie od ideału, ponieważ zasada, że maszyny mogą decydować, kogo zabić, zostałaby tym samym ogólnie przyjęta. Całkowity zakaz utrzymałby moralną stygmatyzację broni autonomicznej i stosowania jej co do zasady, natomiast zakaz obejmujący wyłącznie mniejszą broń byłby stale podważany przez wytwórców broni, dążących do opracowania broni coraz tańszej i sprawniejszej. Poza tym zapewne wyłoniłby się czarny rynek.
Myślę, że o skuteczności zakazów dotyczących broni chemicznej i biologicznej stanowi po części ich moralna prostota – zakazem objęte są na przykład bojowe zastosowania drażniących i znieczulających środków chemicznych, mimo że w wielu państwach prawo krajowe dopuszcza ich stosowanie do celów zapobiegania przestępczości.
Co dalej? W nieunikniony sposób działania dyplomatyczne przeniosą się na forum Zgromadzenia Ogólnego ONZ, gdzie osiągnięcie postępu nie wymaga jednomyślności (na przykład Traktat o całkowitym zakazie prób z bronią jądrową został przyjęty przez Zgromadzenie Ogólne w 1996 roku po tym, jak nie udało się go przeforsować na wymagającej konsensusu Konferencji Rozbrojeniowej). Zakaz może również dojść do skutku poza parasolem ONZ, jak stało się to w przypadku Konwencji o zakazie min przeciwpiechotnych, przyjętej 30 lat temu, kiedy to sześć organizacji pozarządowych zwarło szeregi, tworząc międzynarodowy ruch monitorowania użycia min przeciwpiechotnych i dążenia do zakazu takiej broni.
Obecnie ważnym elementem strategii jest nakłonienie środowiska osób zajmujących się sztuczną inteligencją i robotyką oraz ich branżowych przedstawicielstw do zajęcia wspólnego stanowiska. Zatrudniający 400 tysięcy pracowników Instytut Inżynierii Elektrycznej i Elektroniki opracowuje właśnie strategiczny dokument, a ja zaczynam tworzenie zespołu zadaniowego ds. broni autonomicznej przy Stowarzyszeniu na rzecz Maszyn Obliczeniowych, które jest główną organizacją zrzeszającą osoby zajmujące się informatyką. Planujemy organizowanie debat podczas konferencji naukowych, utworzenie komitetów ds. etyki w celu przeanalizowania argumentów oraz wspieranie działań strategicznych. Niektórzy przedstawiciele naszej branży zgłaszają sprzeciw, twierdząc, że nie mają kontroli nad tym, jak wykorzystywane są ich wynalazki. Sądzę, że jest jednak jasne, że zaniechanie działań jest w istocie opowiedzeniem się za bezustannym rozwojem i stosowaniem takiej broni.
Koniec świata, jaki znamy, czyli cztery przyszłości po kapitalizmie
czytaj także
Działania rzecznicze na forum krajowym i międzynarodowym, uświadamianie opinii publicznej oraz porozumienia osiągnięte w ramach małych grup ekspertów niespecjalnie się do tej pory sprawdziły. A tymczasem technologia napędzająca rozpowszechnianie systemów broni autonomicznej stale się rozwija. Nadszedł czas, aby społeczność parająca się sztuczną inteligencją podjęła działania, tak jak zrobili to fizycy przeciwko broni jądrowej, chemicy przeciwko chemicznej, biolodzy przeciwko biologicznej, a lekarze przeciwko egzekucjom, w których przychodziło im uczestniczyć. Historia pokazuje, że w takich sprawach głos naukowców się liczy.
Zachęcam zatem koleżanki i kolegów, aby dołączyli do mnie w tej wyczerpującej, drobiazgowej, dezorientującej i często frustrującej pracy na rzecz umożliwienia istotom ludzkim względnie bezpiecznego życia.
**
Stuart Russell jest profesorem informatyki na Uniwersytecie Kalifornijskim w Berkeley, wybitnym specjalistą w dziedzinie sztucznej inteligencji. Założył i prowadzi Ośrodek na rzecz sztucznej inteligencji zgodnej z ludzkimi potrzebami oraz Ośrodek im. Freda Kavliego na rzecz etyki, nauki i opinii publicznej. Podręcznik jego autorstwa dotyczący SI jest używany na ponad 1500 uczelniach w 135 krajach.
Artykuł opublikowany w magazynie issues.org. Dziękujemy za zgodę na przedruk. Z angielskiego przełożyła Katarzyna Byłów.
