Jacek Dukaj: „Chcesz zamknąć AI w pokoju? Powodzenia!”

Łukasz Lamża: Masz możliwość opowiedzenia się po stronie maszyny, a nie po stronie człowieka. Bierzesz pod uwagę taki wybór?

Jacek Dukaj: Bardzo to ogólne. Potrzebny mi konkretniejszy scenariusz.

Wyobraźmy sobie świat, w którym agenci AI są w stanie generować zysk i być podmiotem praw, np. zakładać firmy i nimi kierować. Powstaje alternatywna ekonomia, w której to człowiek ma możliwość tworzenia dla AI za pieniądze. Miałbyś z tym problem?

Zakładam, że nie chodzi o trenowanie AI na treściach pochodzących od człowieka, ale o konsumpcję kultury tworzonej przez ludzi, na podobieństwo ludzkiego przeżywania sztuki? Taka sytuacja nie była jeszcze rozważana jako model. Jesteśmy na etapie scenariusza, w którym to AI tworzy kulturę dla nas.

Tak, pytam spekulatywnie o dalszy scenariusz. Agent AI potrzebuje pewnej treści, którą na razie potrafi wygenerować tylko człowiek, i wrzuca ogłoszenie na giełdę pracy adresowaną do człowieka. Przyjąłbyś takie zlecenie?

To mnie nie dotyczy, bo nie piszę na zamówienie, ale gdybym był programistą, to czemu nie? Już dziś ludzie wykonują niektóre podzadania agentów AI, wynajmowani do tego w serwisach online.

Czyli nie ma dla Ciebie znaczenia, czy pracujesz dla bezosobowej maszyny?

Ogromna większość ludzi we współczesnym kapitalizmie pracuje dla takich systemów. Dla pracowników nie ma znaczenia, czy są zarządzane przez konkretnego człowieka, czy są systemami bezosobowymi, zbiorami procedur.

Skąd wiesz?

A ileż się wylało w Polsce od lat 90. opowieści o niewoli w systemie kapitalistycznym i korporacyjnym? Cała fala literatury i publicystyki na ten temat. To nie były opowieści o tym, że jeden zły kapitalista nas zniewala, zmienimy go i wszystko będzie dobrze, tylko narracje o opresji systemu.

I nie ma znaczenia, czy tym systemem zarządza człowiek, czy maszyna?

Jeżeli weźmiesz średnią, to nie. Ludzie i tak czują się zniewoleni i sprowadzeni do roli odpodmiotowionych wykonawców. Jako niewolnik korporacji robię to, co nakazuje mi procedura. Ktoś postawiony wyżej w strukturze pilnuje jej wykonania. I nawet nie mogę się na tego biednego zwierzchnika zdenerwować ani go za nic winić, bo przecież on też robi tylko to, co nakazuje mu procedura, i ma nad sobą nadzorców procedury. Być może ja też mam kogoś pod sobą, i też za niego tak odpowiadam przed korporacją. 

Jak dzwonisz na infolinię banku i człowiek w call center odpowiada ci według skryptu, to czy gniewasz się na niego, nawet jeśli bank oskubał cię właśnie z grubej forsy? Co dopiero, gdy nie potrafisz go odróżnić od dialogowego AI.

Jednak wciąż można winić człowieka, który tę procedurę zatwierdził.

I co to zmienia?

Zobacz. Idziesz sobie po górach, odszczepia się kawałek kamienia, spada Ci na głowę i zabija. Nie można pozwać albo winić kamienia, bo nie ma on podmiotowości.

Przypomnij sobie Occupy Wall Street. To był protest przeciwko systemowi.

A nie przeciwko bogaczom?

Był wymierzony w system – nie w zmianę składu osobowego jednego procenta, ale w sam układ, gdzie mamy ten jeden procent versus dziewięćdziesiąt dziewięć pozostałych.

No dobrze, przypuśćmy, że w system. Nie uważasz, że to nie jest rozsądne? Że równie dobrze można wygrażać chmurom i niebiosom?

A pamiętasz, jak Kserkses kazał biczować morze, ponieważ mu się sprzeciwiło?

No i zobacz: jeszcze 2,5 tysiąca lat później się z niego śmiejemy.

Obiektywnie rzecz ujmując, są to takie same akty sprzeciwu wobec porządku, w obliczu którego jednostka czuje się bezsilna.

Nie przeczę, że ludzie mają skłonność do winienia systemów czy pozbawionych podmiotowości sił. Natomiast z filozoficznego punktu widzenia wypada nam chyba dokonać rozróżnienia pomiędzy czymś, co ma podmiotowość, a czymś, co jej nie ma.

Tak, ale to nie zmienia samego aktu nieposłuszeństwa.

Ale może sprawia, że jeden z nich jest bardziej uzasadniony. Sprzeciwiać się bezosobowej sile to coś zupełnie innego, niż buntować się przeciw ludzkiemu tyranowi.

Być może, ale często nie jesteśmy w stanie powiedzieć, czy to zniewolenie jest osobowe, czy nie. Jako żuczek na dole systemu nie masz sposobu tego stwierdzić. Oba warianty są nieprzejrzyste: człowiek, który pełni rolę szefa, jest tylko wyżej zamontowanym w maszynie trybikiem, nawet jeśli uważa się za samowładnego. Niektórzy politycy też miewają takie złudzenia.

I na odwrót. Przynajmniej częściowo podmiotowi winowajcy chętnie i skutecznie ukrywają się za systemem: gdyby nie ja, to samo zrobiłby ktoś inny. Korporacje jawnie dążą do ideału absolutnej wymienialności wszystkich pracowników. Jedyną stałą pozostaje sama struktura. W jaki sposób masz dokonać analizy odkrywającej w tym wielopiętrowym splocie zależności „prawdziwy podmiot”?

Weźmy inny przykład. Oglądam dwa obrazy. Jeden został wygenerowany przez AI, drugi stworzony przez człowieka. Są identyczne co do ostatniego piksela. Wielu ludzi jest skłonnych powiedzieć, że kupią, albo choćby zalajkują, tylko ten, za którym stoi człowiek.

Mówimy tu o czymś innym. O przeżywaniu kultury, gdzie domyślnie, przeżywając dzieło, przeżywasz także jego twórcę. Dla pewnej części odbiorców, aby w ogóle mogli się otworzyć na takie przeżycie, konieczne jest przekonanie, że wiersz czy obraz wyszedł z ludzkiego umysłu.

Ale to w dużym stopniu cecha pokoleniowa. Zwróć uwagę na popularność tzw. AI-owych dziewczyn – wszyscy wiedzą, że to twory cyfrowe, a mają setki tysięcy fanów, którzy śledzą je w sieci i przeżywają. Zresztą... widziałeś, jaka muzyka trenduje teraz na Spotify?

Nie mówię, że takie zjawisko nie ma miejsca, tylko dostrzegam problem związany z brakiem człowieka po drugiej stronie. Moim zdaniem to tożsame sytuacje: przypadek sztuki i przypadek władzy.

Nie. Czym innym jest system, który cię do czegoś przymusza i ty miałbyś aktywnie mu się sprzeciwiać, a czym innym – wolny wybór konsumenta kultury.

W obu przypadkach masz wybór. Pracownik korporacji zastanawia się, czy zatrudniać się w firmie, której szefem jest program komputerowy, czy w zarządzanej przez człowieka. Nawet jeśli nigdy go nie spotkam, głowię się, czy w tym gabinecie siedzi mięso ludzkie, czy krzem. I mogę się na to godzić lub nie. Być może z tych samych powodów, dla których w ludziach budzi sprzeciw fakt, że dokładnie takie same piksele wygenerował komputer, a nie mięso.

Nie, ponieważ w obecnym systemie kapitalistycznym, jeśli należę do tej większości po prostu sprzedającej własną pracę, najczęściej nie mam wyboru. Gdziekolwiek pójdę, trafię w sieć tych samych relacji.

To są czysto abstrakcyjne dociekania, czy na szczycie korporacji stoi człowiek, siedem funduszy inwestycyjnych, czy program, który optymalizuje zyski na Wall Street. Pracownik na dole nawet nie jest w stanie tego skonceptualizować.

Kolektywy ludzkie, zachowujące się jako emergentna całość, to jedno – od setek lat istnieją systemy urzędnicze, prawne, ekonomiczne, rządzone de facto przez chmurę ludzi, zasad i algorytmów. 

Natomiast wydaje mi się, że właśnie pojawia się coś nowego: zjawisko „syntetycznych podmiotów”, które niebawem mogą być traktowane prawnie tak, jakby miały sprawczość i podmiotowość.

Oczywiście, z punktu widzenia czystej ontologii tych bytów – tak. Ale my mówimy o doświadczeniu najniższych pracowników, którzy wchodzą w kontakt z pewną strukturą i dla nich ona jest tak czy owak nieprzejrzysta.

Podam inny przykład. Edukacja. Czytałem o badaniu wykonanym na sporej grupie młodzieży. Spytano ją, czy zaakceptowałaby program komputerowy dostarczający materiały dydaktyczne takiej samej albo lepszej jakości niż nauczyciel. Dominująca odpowiedź brzmiała: nie.

A gdzie było wykonane to badanie? W USA? Bo w Azji się to akceptuje. Mieli tam olbrzymie programy państwowe, po wioskach chińskich i indyjskich rozdawano setki milionów tabletów-nauczycieli. Nie było sprzeciwów. Azja, ze specyficzną koncentracją owego fenomenu w Japonii, nie jest tak wyczulona na problemy z granicą ludzkie-nieludzkie, człowiek-robot, człowiek-AI. Dziwią się tam podobnym dyskusjom ludzi Zachodu.

No dobrze, czyli zgodziliśmy się, że można do tego problemu podejść na dwa sposoby. Można tę nie/ludzkość zaakceptować lub nie.

To są fakty, tu nie ma czego nie akceptować.

Może przecież dojść do niezgody.

Nie bardzo rozumiem. Wewnętrznym impulsem mogę się nie zgadzać na mnóstwo rzeczy, ale dopóki czegoś w praktyce nie zrobię, nic z tego nie wynika.

Zwracam uwagę na fakt, że nieludzkość budzi w ludziach sprzeciw, a czytając i słuchając Ciebie dochodzę do wniosku, że dla Ciebie nie ma to znaczenia. Jesteś funkcjonalistą, nie wnikasz w to, czy źródłem informacji, rozkazu lub oferty jest podmiot, czy przedmiot, dopóki spełnia pewną funkcję.

Trochę inaczej bym to sformułował. Uważam, że w większości przypadków człowiek na dole nie jest w stanie dociec, jakie jest prawdziwe źródło: osobowe czy nie.

Myślę, że nie doceniasz ludzi.

Ja myślę, że projektujesz na ogół swoje cechy i nastawienia. 

Zapytam więc inaczej. Czy Twoim zdaniem powinny istnieć w nas siła i niezgoda, które doprowadziłyby do buntu przeciwko maszynowym podmiotom? 

Można przyjąć różne wartości, na podstawie których osądzamy, czy coś być powinno, czy nie. Można wziąć podstawę rozmaitych etyk humanistycznych bądź religijnych. Albo podstawę antropologiczną: człowiek nie został stworzony – w sensie ewolucji – do życia w sposób, w jaki technologia dziś go przymusza, żeby żył. Jest więc coraz bardziej nieszczęśliwy, a zarazem coraz szybciej rozwija tę technologię. 

Z tego punktu widzenia nie powinien poddawać się dyktatowi maszyn, prawda? Nie potrzeba więc wielkich systemów etycznych, wystarczy kryterium życia ludzi w zgodzie ze swoją naturą, osiągających równowagę psychiczną i dobrostan.

Wymieniłeś cały katalog możliwych odpowiedzi. A ja pytam, która jest Twoim zdaniem najlepsza i mogłaby posłużyć jako podstawa do wywołania niezgody na rozwój tych technologii.

Coraz trudniej wyobrazić sobie scenariusze, w których rozwój się zatrzymuje. Jak do tej pory, realizuje się taki, w którym technologia dąży do maksimum, czyli do Technologicznej Osobliwości. Ciągle dopuszczam rozmaite zdarzenia zewnętrzne, np. wyciek z wojskowego laboratorium wirusa powodującego zarazę o stopniu śmiertelności Czarnej Śmierci. W konsekwencji mamy decymację populacji, ustaje normalny rozwój cywilizacji, załamują się struktury społeczne i państwowe. Tym samym zatrzymuje się, albo i cofa, postęp technologiczny.

Pytanie, czy coś mogłoby nas skłonić do kontrolowanego zejścia z tej ścieżki, bez katastrofy?

Największym problemem w twoim pytaniu jest podmiot. Kim są ci „my”? Bo jedyny logiczny scenariusz takiego zakłócenia wymagałby zgodnego sprzeciwu całej ludzkości.

A broń jądrowa? Istnieje, ale jest kontrolowana. I nie zrobiła tego cała ludzkość, tylko grupa ludzi u władzy.

Jak to „kontrolowana”?

Były dwa przypadki jej użycia przeciwko ludności cywilnej, a mógłby być tysiąc.

Tak, ale jej rozwoju nie zaprzestano. Liczy się to, że jest produkowana i ulepszana. Technologiczna Osobliwość stanowi bezpośrednią konsekwencję ciągłego ulepszania AI.

Przypuśćmy zatem, że AI rozwija się na ściśle odgrodzonych poletkach, za zamkniętymi drzwiami, na komputerach niepodłączonych do internetu. Cokolwiek się wydarzy, zamknie się w tym pokoju. Możemy sobie do niego zajrzeć, zobaczyć, i tyle.

W momencie, w którym AI jest w stanie sama się ulepszać, poza twoją wiedzą, nigdy nie jesteś w stanie zagwarantować, że ci nie ucieknie z tego pokoju.

Oczywiście, że jesteś! Jeżeli nie wysyła sygnału do świata zewnętrznego, nie wyjdzie z pokoju.

Chcesz to zamknąć w pokoju? Powodzenia!

W takim razie wytłumacz, jak to będzie możliwe.

Czyli to ja mam być tym AI po Osobliwości i wymyślić teraz technologie postludzkie? Domagasz się tu złamania paradoksu Poppera.

A co, jeżeli osoba sprzątająca ten pokój wyleje kubeł wody i wywoła spięcie? Bzzz i po rewolucji.

Zniszczona zostanie co najwyżej jedna instancja AI poosobliwościowej, ale nie sama Technologiczna Osobliwość. Podobnie rozumując, mógłbyś usiłować zniszczyć fizykę kwantową, nasyłając skrytobójców na Heisenberga czy Bohra.

Wszelki opór jest zatem beznadziejny.

Nie jestem deterministą. Może zajść wiele zdarzeń, które cały ten proces wywrócą. Moglibyśmy się przecież wysadzić w powietrze bombami atomowymi.

Czyli jesteś fatalistą?

Uważam, że istnieje bardzo mocna bezwładność, siła inercyjna wynikająca z samego procesu kumulacji wiedzy. Kluczowe dla niego było odkrycie przez Homo sapiens operacji na symbolach, a następnie upodmiotowienie symboli w postaci pisma. Od tego momentu wiedza o naturze rzeczywistości może się rozwijać poza pojedynczym umysłem człowieka.

Operacje na symbolach generują pewną nadwyżkę wiedzy, przekładalną następnie z powrotem na rzeczywistość materialną. Jej częścią są nośniki symboli i operatory. Poza szybkością procesunku nie ma różnicy, czy dane operacje przeprowadzane są na zbiorach kamyków, w biologicznym mózgu, czy w nieorganicznym komputerze. Toteż bez jakichś dramatycznych wypadków zewnętrznych trudno sobie wyobrazić naturalny stop z wewnątrz tego procesu.

Nie wierzysz w to, że da się z tego wycofać?

Nie używałbym czasownika „wierzyć”. Analizuję i wyciągam wnioski: jest to wysoce mało prawdopodobne.

A ja widzę w ludziach zarzewie buntu. Przez tysiąclecia wydawało nam się, że nie czekamy na nic innego jak na jakąś obcą inteligencję, umysł większy od naszego. Jak nie bogowie, to kosmici. Ale teraz, kiedy zaczyna się pojawiać, wcale nie jest tak fajnie. 

Ty się tym fascynujesz zawodowo i akceptujesz to, jakby było najbardziej naturalną rzeczą w świecie, ale sądzę, że jesteś w mniejszości. Mam wrażenie, że to ludzi obrzydza z metafizycznego punktu widzenia.

A ja mam z kolei wrażenie, że to obrzydzenie jest cechą twojej bańki. Jak mówiłem, w kulturach Wschodu nie istnieje tak twarda granica między ludzkim a nieludzkim. Ta dyskusja jest głęboko chrześcijańska, w orygenesowym sensie dychotomii ciało-duch.

No dobrze, niech będzie, że w głębi serca jestem dualistą. Widzę w świecie tę fundamentalną różnicę pomiędzy podmiotem i przedmiotem. Ale wydaje mi się, że nie jestem w tym osamotniony.

A nie sądzisz, że cały XX wiek to historia coraz większej podejrzliwości wobec tego dualizmu i dekonstrukcja podmiotowego „ja”?

Oczywiście! Co nam mówią neuronauki albo ekonomia? Twój mózg jest jedynym, co nas interesuje. Twój mózg to ty. Twoja decyzja jest tylko procesem naturalnym. Widzę, że to się dzieje, ale potrafię sobie też wyobrazić taką możliwość, że w – po heglowsku – „duchu ludzkim” pojawia się protest przeciwko nachalnemu przekonywaniu, że nie jesteśmy podmiotami, tylko przedmiotami. 

Wydaje mi się, że to, co się teraz dzieje – możliwość pojawienia się jakiegoś innego „ja” na tej planecie – zaczyna nas budzić do sprzeciwu. Tylko wymaga to uświadomienia sobie naszej podmiotowości. Nowe, zewnętrzne „ja” pobudzi nasze stare, zapomniane „ja”.

A jak się do tego ma wschodni punkt widzenia, który prowadzi do wyzbycia się jakiegokolwiek przekonania o swoim „ja”?

Oj, do tego chyba nie dorośliśmy. Jasne, hindus powiedziałby Ci, że Twój atman to jest Brahman, albo że tego atmana w ogóle nie ma. Ale ja mówię z perspektywy naszej kultury, gdzie „ja” od zawsze jest silne.

Jest jeszcze inna wersja endgame’u technologicznego, zupełnie inna od ścieżki przez Technologiczną Osobliwość, do której jestem faktycznie trochę przyzwyczajony i może znieczulony przez zajmowanie się nią od lat. Mam na myśli konsekwencje połączenia mózg-maszyna. 

Oznacza ono umożliwienie połączenia poziomego teoretycznie nieskończonej liczby mózgów, czyli doświadczania przeżyć niezwiązanych żadnym pojedynczym „ja”, a w dalszej konsekwencji – delokalizację samego aktu przeżywania. To całkowite rozpuszczenie klasycznie rozumianej podmiotowości.

Interfejsy mózg-komputer podpięte do wspólnej bazy przeżyć?

Te interfejsy to tylko link między mózgami. Nie musi istnieć żadna baza. Są tylko mózgi, przez które przepływają strumienie doświadczeń „odpiętych” od „ja”. I to jest endgame, w którym nawet rozmowa w dotychczasowym języku o zniewoleniu i nieposłuszeństwie nie może być prowadzona. Rozpada się leksyka całego dyskursu o nieposłuszeństwie – kto wobec czego miałby być nieposłuszny?

Nie istnieją indywidualne punkty soczewkujące przeżycia. A ocean przeżyć?

Tak. Nie można powiedzieć, że istnieje jakiś überopresor, którego my, głupie małpy, próbujemy sobie wyobrazić. Chodzi o to, że już nie jesteś w stanie wysłowić, ani nawet pomyśleć, tej wersji zniewolenia ani żadnego potencjalnego sprzeciwu. Nie ma zniewalanego podmiotu i nie ma zniewalających. I to jest prawdziwy kres dyskusji o (nie)posłuszeństwie.

Nie ma buntu, jeżeli nie ma podmiotów, które by się mogły buntować? Czyli nawet jeżeli w tej sieci przeżyć występuje przeżycie nieposłuszeństwa, to nie jest uwiązane do konkretnego bytu. Jak ocean uderzający w klif – klif się kruszy i kamień wpada do wody, ale nie ma dwóch aktów woli, które przeciwko sobie się kierują.

Można odnaleźć wielką harmonię w takim totalnie bezosobowym świecie, gdzie są tylko oceany, kamienie, wiatr.

Buddysta byłby wniebowzięty.

Jacek Dukaj będzie gościem 18. edycji Festiwalu Conrada.

Tematyczny przewodnik po twórczości Dukaja 

Wszystkie wymienione książki ukazały się nakładem Wydawnictwa Literackiego:

▪ PO PIŚMIE – o tym, jak pismo, które stoi u podstaw cywilizacji człowieka, znalazło się w odwrocie na rzecz technologii bezpośredniego transferu przeżyć (telewizja, internet, wirtualna rzeczywistość i in.). U progu nowej ery człowiek staje się maszyną do przeżywania na usługach stworzonych przez niego narzędzi. 

▪ LINIA OPORU – powieść-symulacja, która pokazuje, co dzieje się z człowiekiem, kiedy przestają istnieć kolejne granice. Usuwająca linie oporu technologia pozwala mu kształtować się według woli – tylko czyjej? 

▪ IMPERIUM CHMUR – rzecz o zmierzchu kultury samurajów i narodzinach nowoczesnej Japonii otwierająca na rozważania o relacji języka do rzeczywistości, o iluzji „ja” człowieka Zachodu, o czystym przeżywaniu, i o transferze znaczeń między umysłami i kulturami. 

▪ STAROŚĆ AKSOLOTLA – wizja świata, w którym nastąpiła zagłada życia biologicznego, a nielicznym udaje się przekopiować swoje scyfryzowane umysły do maszyn – czy w takich warunkach ludzkość jest w stanie dojrzeć samodzielnie? 

Paulina Frankiewicz