Gdy aplikację do rozpoznawania twarzy wypróbowano na zdjęciach amerykańskich kongresmenów, aż 28 z nich zostało błędnie zidentyfikowanych jako znani policji przestępcy. W tej grupie – czy trzeba to dodawać? – znalazło się nieproporcjonalnie wiele osób niebiałych. Mimo to takiej „sztucznej inteligencji” używa już policja w USA.
IBM wycofuje z rynku swoje oprogramowanie do rozpoznawania twarzy. Amazon zawiesza udostępnianie analogicznego softu organom ścigania, na razie na rok. Czy za tymi decyzjami stoi poczucie odpowiedzialności za technologię, która okazała się, delikatnie rzecz ujmując, nieobojętna na płeć i kolor skóry, a w Ameryce po zabójstwie George’a Floyda nikt nie chce dawać siłom porządkowym takich narzędzi? A może jednak, jak zwykle, chodzi o pieniądze?
Obie decyzje zapadły po tym, jak przez największe miasta w USA i na świecie przetoczyła się fala protestów po śmierci 46-letniego Afroamerykanina, uduszonego w czasie policyjnej interwencji w Minneapolis.
czytaj także
Na pierwszy rzut oka trudno dopatrzyć się związku między oprogramowaniem Amazona czy IBM a sprawą George’a Floyda. Nikt nie użył tych aplikacji, żeby go zidentyfikować czy zatrzymać. Policjanci przyjechali na wezwanie właściciela sklepu, w którym Floyd miał zapłacić sfałszowanym banknotem za papierosy. Na pobliskiej ulicy bez wsparcia „wysokich technologii” znaleźli mężczyznę, który odpowiadał rysopisowi. A później przez niemal dziewięć minut poddawali go torturom, które doprowadziły do jego śmierci.
To nie ohydny spektakl, który widzimy na nagraniach z tej interwencji, ani nawet nie ogólnokrajowe protesty przeciwko przemocy ze strony policji skłoniły giganty technologiczne do reakcji. Chodzi o rozpoczynającą się właśnie w Stanach Zjednoczonych dyskusję nad metodami, jakie wolno lub nie stosować siłom porządkowym. Jedną z tych najbardziej spornych jest identyfikowanie twarzy za pomocą aplikacji opartych na sztucznej inteligencji.
Maszyna z uprzedzeniami
Zacznijmy od tego, że w branży IT określenie „sztuczna inteligencja” jest traktowane jak medialna metafora. Fachowo mechanizm działania takich aplikacji nazywa się machine learning. Maszyna „uczy się” rozpoznawania np. obrazów, analizując obrazy z własnej bazy danych. Im więcej obrazów w bazie, tym lepsza skuteczność takiego narzędzia. Jednak nie rozpoznamy, powiedzmy, gatunku rośliny napotkanej na łące, jeśli w aplikacji w telefonie będziemy mieli nawet miliony jej zdjęć, tylko że wykonanych z jednej perspektywy. Klucze do skuteczności działania takich narzędzi są więc dwa: jak największy zasób jak najbardziej różnorodnych danych porównawczych oraz jak najsprawniejszy mechanizm do ich analizy.
Kiedy aplikacji opartych na machine learning zaczęto używać do rozpoznawania twarzy, natychmiast pojawił się szereg wątpliwości prawnych. Dotyczyły one nie tylko ochrony wizerunku, ale również możliwości, jakie te aplikacje oferowały organom ścigania. Oprogramowanie, które może „wypatrzyć” w tłumie poszukiwanego przestępcę czy zaginione dziecko, wydaje się idealnym narzędziem pracy dla policji. Diabeł tkwi jednak w szczegółach.
W 2018 roku zespół badaczki Joy Buolamwini z Massachusetts Institute of Technology przeanalizował, jak aplikacje do rozpoznawania twarzy Microsoftu, IMG i Face++ radzą sobie z analizą wizerunków kobiet i mężczyzn o ciemnych i jasnych karnacjach. Przy białych mężczyznach ich skuteczność wahała się od 99 do 100 procent, ale już przy mężczyznach ciemnoskórych spadała do 88–94 procent. Twarze białych kobiet zostały poprawnie zidentyfikowane w 93–98 procentach przypadków. Najgorzej każda z aplikacji radziła sobie z wizerunkami kobiet o ciemniejszej karnacji. Oprogramowanie IBM miało skuteczność na poziomie 65 procent, a najlepszy w tej konkurencji Microsoft – 79 procent.
Kiedy rok później ci sami naukowcy wzięli pod lupę aplikację Rekognition od Amazona, wyniki były podobne. Aż 19 procent białych kobiet zostało uznanych za mężczyzn. W przypadku kobiet ciemnoskórych margines błędu wynosił aż 31 procent. Wśród osób, które zostały błędnie zidentyfikowane, znalazła się jedna z najbardziej znanych Afroamerykanek – Oprah Winfrey.
Firma Jeffa Bezosa broniła się w sposób typowy dla gigantów technologicznych: wytknęła naukowcom, że nie testowali najnowszej wersji Rekognition oraz że do określenia płci osób na zdjęciach użyli niewłaściwej funkcji („facial analysis”, która analizuje mimikę czy np. obecność zarostu lub okularów, zamiast „facial identification”, która dopasowuje skanowane wizerunki do obrazów z bazy). Co ciekawe jednak, firmy, których produkty zespół Buolamwini sprawdzał wcześniej, położyły uszy po sobie i zobowiązały się poprawić ich jakość. Jedynie Amazon niczego takiego nie obiecał, choć już od roku było wiadomo, że z jego oprogramowania korzystają komendy policji, biura szeryfów oraz instytucje odpowiedzialne za realizowanie polityki imigracyjnej USA.
Gra w „Najlepszy z pięciu”
O tym, że takie technologie wykorzystują służby wysokiego szczebla, było wiadomo od dawna. FBI od 2011 roku wykonała w aplikacji do rozpoznawania twarzy 390 tysięcy wyszukiwań, posługując się przy tym bazą zdjęć 117 milionów dorosłych Amerykanów. Ta ostatnia liczba niepokoi, ale nie oszukujmy się – zwykły obywatel ma jednak niewielkie szanse zostać zatrzymany przez federalnych. FBI po pierwsze nie zajmuje się drobnymi przestępstwami, po drugie – zatrudnia lepszych specjalistów niż szeregowa komenda policji.
A właśnie na trop współpracy Amazona z miejskimi oddziałami policji wpadła ACLU (American Civil Liberties Union), szanowana amerykańska organizacja non profit, która stoi na straży konstytucyjnych praw obywateli. W maju 2018 roku informowała, że aplikacją Rekognition posługuje się komenda policji w Orlando na Florydzie. Miesiąc później pracownicy Amazona napisali do prezesa Jeffa Bezosa list, w którym domagali się, aby firma przestała udostępniać aplikację służbom odpowiedzialnym za bezpieczeństwo wewnętrzne i kontrolę imigracji. Z podobnym apelem zwróciła się do Bezosa ACLU, która powołała się na… rekomendacje samego Amazona dla policji, dotyczące używania aplikacji do rozpoznawania twarzy. Według firmy stróże porządku powinni wykorzystywać tylko oprogramowanie o udowodnionej skuteczności na poziomie 99 procent. W przypadku Rekognition ta skuteczność wynosiła zaledwie 80 procent.
czytaj także
Jak na życzenie w spór włączyła się policja z Orlando, która oświadczyła, że po okresie próbnym zaprzestała używania produktu Amazona, a w ogóle to „nigdy nie dotarła do etapu sprawdzania obrazów”. Zawiniły rzekomo słabe łącze internetowe i przestarzała infrastruktura.
Jednak w 2019 roku „Washington Post” opisał komendę policji, która jak najbardziej „dotarła do etapu sprawdzania obrazów”, a nawet do zatrzymywania ludzi na podstawie wskazań Rekognition. Jako pierwsi, jeszcze przed kolegami z Florydy, oprogramowanie Amazona dostali do testowania funkcjonariusze z hrabstwa Washington na obrzeżach stanu Oregon. Oni również usłyszeli wytyczne o słynnych 99 procentach, po czym dostali aplikację, która każdej skanowanej twarzy przyporządkowywała… pięć fotografii z bazy (każdy użytkownik może za opłatą wczytać własną bazę stosownie do potrzeb; w przypadku policji będą to np. zdjęcia osób poszukiwanych i wcześniej notowanych). Policjanci sami decydowali, która jest najbardziej podobna. W ciągu roku dokonali w ten sposób około tysiąca wyszukiwań, których rezultatem było śledzenie czyjegoś profilu na Facebooku, odwiedzenie go w domu czy nawet aresztowanie. Amazon zasugerował im tylko, aby w podobnych sytuacjach „nie traktowali wskazań Rekognition jako decydującego czynnika”.
czytaj także
Był to pierwszy artykuł opisujący tak kompleksowo pracę policji z aplikacjami tego rodzaju, ale o podobnych incydentach było głośno już wcześniej. Timnit Gebru, starsza specjalistka z Google’a, poinformowała na stronie Women’s Forum for the Economy & Society, że w 2015 roku policja z Baltimore używała technologii do rozpoznawania twarzy podczas protestów po śmierci Freddiego Graya (25-letniego Afroamerykanina, który zmarł z powodu urazu kręgosłupa spowodowanego niewłaściwym sposobem transportowania go w policyjnym vanie). Funkcjonariusze szukali wśród demonstrantów osób z zaległymi nakazami aresztowania. Szukali ich profili w mediach społecznościowych, co często pozwalało im dotrzeć do ich krewnych czy miejsc zamieszkania. Wtedy po raz pierwszy w social mediach pojawiły się apele, aby nie publikować na indywidualnych profilach zdjęć z protestów.
Wszystko to brzmi niepokojąco, biorąc pod uwagę, jak szybko i bezrefleksyjnie amerykańskim policjantom zdarza się stosować przemoc wobec zatrzymanych o niebiałej karnacji. Tym bardziej że kolejne testy aplikacji do rozpoznawania twarzy nadal kompromitowały jej twórców. Kiedy ACLU przeskanowała za pomocą Rekognition twarze kongresmenek i kongresmenów, 28 spośród nich zostało błędnie zidentyfikowanych jako osoby niegdyś aresztowane, przy czym fałszywe rozpoznania statystycznie częściej dotyczyły osób niebiałych. Organizacja zaznaczyła, że wykorzystała do tego aplikację w wersji oferowanej szeregowym klientom, w której wykonanie jednego testu kosztuje nieco ponad 12 dolarów – mniej niż duża pizza.
Kiedy nie wiadomo, o co chodzi…
…może chodzić o pieniądze. Żadnemu z producentów oprogramowania do rozpoznawania twarzy nie udało się osiągnąć stuprocentowej skuteczności w identyfikowaniu wizerunków osób o kolorze skóry innym niż biały. Amazonowi uporczywe próby przyniosły straty wizerunkowe, a IBM nigdy nie osiągnął sukcesu na rynku produktów dla zwykłego konsumenta.
Wycofanie oprogramowania z rynku może więc być ruchem czysto taktycznym. Tak uważa choćby Eva Blum-Dumontet z brytyjskiej organizacji charytatywnej Privacy International, zajmującej się ochroną prawa do prywatności. W rozmowie z BBC przypomniała, że to IBM stworzył koncepcję „smart city”, której kluczowym elementem jest sieć kamer przemysłowych oraz czujników kontrolowanych przez siły porządkowe, a następnie sprzedawał oprogramowanie obsługi takich urządzeń. W dodatku z oświadczenia IBM wynika, że firma wycofa się z udostępniania aplikacji „ogólnego przeznaczenia”, co oznacza, że w przyszłości może nadal oferować takie produkty skrojone pod potrzeby konkretnego klienta. A tym może być policja, która naszą zgodę na monitoring i późniejsze wykorzystanie naszych wizerunków może potraktować jako „domyślną”. W Londynie w monitorowanych punktach miasta pojawiły się plakaty z informacją o kamerach, ale mężczyzna, który przeszedł przez taką strefę z twarzą osłoniętą szalikiem, dostał mandat wysokości 90 funtów.
Komu wierzyć? Firmom, które nagle zaangażowały się w obronę praw człowieka po latach niejasnych układów ze służbami porządkowymi? Samym służbom, które w jednym stanie miały w ogóle niczego nie testować i używać zaawansowanej technologii opartej na AI co najwyżej do skanowania własnych tyłków (pomysł z czasów pierwszych kserokopiarek w polskich biurach), a w drugim wybierały „jednego z pięciu” do zatrzymania? A gdzie indziej odnotowały tak absurdalne wpadki, że dziś mogą one uchodzić za anegdoty? W Nowym Jorku w 2017 roku poszukiwano złodzieja, którego jedyna fotografia była tak niewyraźna, że posłużono się zamiast niej zdjęciem… podobnego do niego aktora Woody’ego Harrelsona (rzecz jasna, bez jego zgody). W zeszłym roku Amarę Majeed, aktywistkę ze Sri Lanki, która studiuje na amerykańskim Uniwersytecie Browna, obudziło 35 porannych telefonów z informacją, że jest podejrzana o udział w zamachach, do których w Wielkanoc doszło w jej rodzinnym kraju. Powód? System przypisał jej personalia terrorystki na podstawie jej fotografii.
Stąd obawy, że nie tylko przy zatrzymaniach, ale również w czasie obecnych protestów ruchu Black Lives Matter policja może tak samo nieumiejętnie używać technologii, które zresztą same w sobie nie są doskonałe – zwłaszcza jeśli chodzi o twarze inne niż białe. Chyba pozostaje poczekać na ruch Kongresu i zobaczyć, jak zachowają się giganci technologiczni i ich klienci po wprowadzeniu przepisów regulujących korzystanie z takich aplikacji.
Jak rozwój sztucznej inteligencji zmieni świat w latach dwudziestych
czytaj także
Amerykańska policja pilnie potrzebuje nowych wytycznych. Nawet jeśli jej perypetie z AI brzmią jak scenariusz na komedię w stylu Big Short, mogą się za nimi kryć realne dramaty niesłusznie zatrzymanych. Prawo zobowiązuje wprawdzie policję do poszukiwania także realnych, a nie tylko wirtualnych dowodów czyjejś winy. Jednak George Floyd i wielu innych zginęło z rąk mundurowych jeszcze w czasie zatrzymania. Według „Washington Post” od 2015 roku policjanci w USA oddali śmiertelne strzały do 5400 osób. Wśród nieuzbrojonych ofiar zdecydowaną większość stanowili Afroamerykanie i Latynosi. To jasno pokazuje, że ostatnią rzeczą, jakiej potrzebują amerykańscy stróże prawa, są aplikacje, które mogą jedynie utwierdzić ich we własnych uprzedzeniach.
