Algorytmy – czyli napędzane danymi modele informatyczne – coraz częściej podejmują za ludzi kluczowe decyzje o zatrudnieniu, finansach czy zdrowiu, a także o naszej zdolności kredytowej czy szansach na... lepszą resocjalizację po wyjściu z więzienia. Konsekwencją modeli biznesowych opartych na big data jest więc handel naszym życiem, sieciami kontaktów, naszymi przyzwyczajeniami i działaniami. Rzadko kiedy jednak jesteśmy podmiotem w tej transakcji – najczęściej nie jesteśmy nawet świadomi jej przebiegu i istnienia. Tekst Jędrzeja Niklasa.
Późnym wieczorem, w piątek około 20 osób ubranych w ciemne kurtki z napisem ICO wchodzi do londyńskiego biura firmy Cambridge Analityca. To inspektorzy z biura brytyjskiego Komisarza ds. Informacji (ang. Information Comssioner Office – ICO), organu zajmującego się ochroną danych osobowych. Mają przeszukać siedzibę firmy odpowiedzialnej za jeden z najgłośniejszych skandali związanych z nielegalnym korzystaniem z informacji w ostatnich latach. Po siedmiu godzinach, o trzeciej nad ranem w sobotę, śledczy wychodzą z pudłami pełnymi dokumentów. Tak demokratyczne państwo próbuje bronić się przed kapitalizmem nadzoru.
Afera związana z Cambridge Analityca (CA) wybuchła gdy jej były pracownik, Christopher Wylie ujawnił jak firma korzystała z danych 50 milionów użytkowników Facebooka dla profilowania ich upodobań oraz poglądów politycznych. Cała historia została opisana przez dziennikarki i dziennikarzy śledczych z The Guardian i New York Times, miejscami przypomina scenariusz taniego filmu sensacyjnego. Firma założona przez młodych naukowców, dofinansowana przez kontrowersyjnego amerykańskiego miliardera próbuje wpływać na przebieg demokratycznych (oraz mniej demokratycznych) wyborów na świecie. W tle są spotkania na parkingach, wynajmowanie udawanych biur i szantaże rodem z serialu House of Cards. Brzmi niewiarygodnie, jednak jest niestety prawdą.
czytaj także
Metodologia opracowana przez CA miała też pomóc obozowi Donalda Trumpa w trakcie wyborów prezydenckich w 2016 roku. Dzięki szczegółowym informacjom o życiu, upodobaniach i sieci kontaktów użytkowników Facebooka, polityczni marketingowcy mieli tworzyć spersonalizowany przekaz adresowany do konkretnych wyborców. Podobny mechanizm miał być również wykorzystywany w trakcie brytyjskiego referendum przez obóz agitujący za Brexitem.
Winny kapitalizm nadzoru
To był jeden z największych wycieków danych w historii – tak wiele mediów relacjonuje aferę CA. Nie jest to do końca prawda. Początkowym źródłem informacji w tym przypadku był quiz umieszczony na Facebooku, w którym udział wzięło prawie 300 tys. osób. Wyraziły one zgodę nie tylko udostępnienie swoich danych, ale również informacji o zachowaniu i lajkach swoich znajomych. Stąd relatywnie niewielka, początkowa pula danych niczym epidemia poszerzyła się nie o tysiące, ale miliony użytkowników.
O legalności takiego rozwiązania można oczywiście dyskutować, jednak pokazuje ono coś znacznie ważniejszego – upiorność i dysfunkcjonalność modeli biznesowych opartych na przetwarzaniu danych. Modelu, który leży u podstawy działalności gospodarczej Facebooka i innych cyfrowych gigantów – w skrócie kapitalizm nadzoru.
Kapitalizm nadzoru (ang. surveillance capitalism) to termin wymyślony przez prof. Shoshanę Zuboff z Harwardu. Rozumie ona przez niego zakrojony na szeroką skalę proceder gromadzenia, analizowania i przetwarzania danych dla zysku. W grę wchodzi korzystanie z dużych zbiorów danych (ang. big data), które opisują życie milionów ludzi, pozwalając na ich identyfikację, tworzenie korelacji i wzorów zachowań, a w konsekwencji ich przewidywanie.
Takie dane zazwyczaj dostarczane są przez samych użytkowników – poprzez ich aktywność w sieci. Możliwość analizy i prognozy ludzkich wyborów jest potem monetyzowana. W centrum tego modelu biznesowego znajduje się marketing behawioralny – spersonalizowana reklama ma nakłonić klienta do takich a nie innych działań. Ten typ marketingu jest permanentnie udoskonalany przez testowania różnych wariantów reklam, na kolejnych grupach demograficznych. Konsekwencją modeli biznesowych opartych na stosowaniu danych jest więc handel naszym życiem, sieciami kontaktów, zwyczajami i działaniami.
Tego typu informacje są również podstawą dla tworzenia profili, które są sprzedawane w mechanizmie przypominającym giełdę. Są kupcy i handlarze. Rzadko kiedy jednak jesteśmy podmiotem w tej grze – najczęściej nie jesteśmy nawet świadomi jej przebiegu i istnienia. Powstaje więc ogromna dysproporcja wiedzy, a w efekcie – władzy. Użytkownicy nie mogą negocjować regulaminu udostępniania danych przez cyfrowych gigantów. Wyrażanie przez nich zgody na udostępnianie danych o sobie staje się więc niewiele znaczącym, bezalternatywnym rytuałem. Jeżeli więc dane mają być nowym, kluczowym zasobem współczesnej gospodarki, to mamy obecnie do czynienia z jej rabunkową eksploracją.
czytaj także
Wybory – to tylko czubek góry lodowej
Problem masowego korzystania z danych jednak wykracza daleko poza obszar marketingu i wpływu na demokratyczne wybory. Analizowanie wielkich zbiorów staje się powszechne w różnych obszarach naszego życia. Dotyczy to różnych gałęzi biznesu i państwa. Algorytmy – czyli pewne napędzane danymi modele informatyczne – coraz częściej podejmują decyzje o zatrudnieniu, naszych finansach czy zdrowiu.
Banki do oceny zdolności kredytowej potrafią stosowań setki, a nawet tysiące zmiennych – od cech demograficznych po wybory konsumenckie. Podobne mechanizmy stosowane są w działach kadr do procesów rekrutacyjnych. To bardzo często automat na podstawie licznych informacji ma dokonać pierwszego odsiewu kandydatów. W wielu państwach korzysta się również z predykcyjnych systemów do wykrywania nadużyć podatkowych. Algorytmy są także stosowane w pomocy społecznej, gdzie decyzje o zasiłkach coraz częściej są zautomatyzowane. Policja i różne służby stosują zaś analitykę danych do szacowania ryzyka, poszukiwania domniemanych terrorystów i zarządzania bezpieczeństwem.
Formalizacja dyskryminacji
Złożenie stojące przed takimi systemami jest dosyć proste – ma być szybciej i skutecznej. Jednak po drodze okazuje się, że analityka i automatyzacja decyzji mogą powodować „szkody uboczne”.
Jednym z nich jest dyskryminacja. Jak wykazali dziennikarze i dziennikarki z portalu Pro Publica, amerykański system służący do oceny recydywy potencjalnych skazanych inaczej oceniał Afroamerykanów od białych. Brytyjska szkoła medyczna St. George’s, automatyzując rekrutację studentów, dyskryminowała kobiety i osoby spoza Europy. W Polskim systemie profilowania osób bezrobotnych kobiety, zwłaszcza te wychowujące samotnie dzieci, były gorzej oceniane, co wpływało na ich dostęp do pomocy ze strony państwa.
Tego typu sytuacje nie zawsze muszą być intencjonalne. Zresztą bardzo często nie są – mogą wynikać z błędów czy niedbalstwa. W przypadku brytyjskim system bazował np. na danych historycznych, odzwierciedlając i formalizując wieloletnie uprzedzenia wobec konkretnych mniejszości. Dane nie są też zbierane „po równo” od wszystkich grup społecznych. Brak należytej reprezentacji wpływa na kształt algorytmu i w efekcie może przynosić krzywdzący efekty. Wreszcie systemy mogą być po prostu błędnie zaprojektowane, co miało miejsce w stanie Michigan, gdzie błąd w „maszynie” doprowadził do odebranie w nieuprawniony sposób prawa do zasiłku prawie 20 tys. osób.
W związku z tym, że automatyczne systemy są zazwyczaj stosowane na dużą skalę, więc taka będzie również skala potencjalnych nadużyć. Co równie niepokojące – wyszukane metody analizy i coraz nowsze rozwiązania technologiczne utrudniają wykrycie tych negatywnych efektów. Problemem nie jest tylko technika, ale również prawo, które często obejmuje tego typu systemy tajemnicą handlową.
Silne państwo się broni
Świat oparty na danych wydaje się rozproszony, niewidoczny i trudny do uchwycenia. Jednak nie oznacza to, że państwa nie próbują go objąć swoimi machinami kontroli i regulacji. Dosyć tradycyjnym modelem są tutaj różne systemy ochrony danych osobowych. To one regulują sposób korzystania z informacji oraz tworzą organy kontroli – jak chociażby wspominany na początku ICO.
czytaj także
W Europie reżim korzystania z danych przechodzi dynamiczne przemiany, dając chociażby instytucjom publicznym silny oręż w walce z cyfrowymi gigantami. Obok tego dyskutuje się nad różnymi rozwiązaniami dotyczącymi regulacji sztucznej inteligencji czy algorytmów. W grę wchodzić mogą np. różne komisje oceniające skutki stosowania technologii automatycznych. Swoje miejsce mają również parlamenty – po skandalu wokół Cambridge Analytica zarówno amerykański kongres, jak i Parlament Europejski zażądały wyjaśnień od Facebooka.
Takie propozycje uwidaczniają się w państwach demokratycznych. Jednak ci z bardziej autorytarnymi inklinacjami chcą iść o krok dalej. Chiny od wielu lat postulują (i wprowadzają w życie) swoją doktrynę o suwerenności internetowej. O ile dziś jej przejawem jest cenzura konkretnych treści, to w dalszej przyszłości jej zakres może objąć również to, kto zarządza i czerpie korzyści z gospodarki danych. W tym wypadku silne państwo, regulując korporacje, nie daje większych praw obywateli.
czytaj także
W tle pojawiają się również, wysuwane mniej lub bardziej na serio, postulaty nacjonalizacji niektórych cyfrokorpów. Mimo tych różnych pomysłów wciąż nie do końca wiadomo, czy państwo będzie faktycznie umiało ujarzmić transnarodowych gigantów żywiących się danymi.
czytaj także
Afera Cambridge Analityca pokazuje dobitnie pewne przesunięcia w debacie publicznej. Temat korzystania z danych przestał interesować już tylko technologicznych geeków. Stał się pełnoprawnym i ważnym elementem dyskusji politycznej. Big data oraz automatyzacja mają ogromny potencjał do zmiany świata, ale równie dobrze mogą mu szkodzić. Otwarte natomiast pozostaje pytanie – czy obecna demokracja parlamentarna z jej procedurami i regulacjami sprosta tym cyfrowym przemianom? Nie jest to do końca oczywiste.
**
Jędrzej Niklas – jest doktorem nauk prawnych, pracuje obecnie na London School of Economics, gdzie bada wpływ nowych technologii na prawa człowieka i państwo.
12 dowodów, że smartfony i bycie online czynią nas głupszymi
czytaj także
