Biokomputery, które myślą jak my? [Miłego antropocenu! #21]

Czym różni się przetwarzanie informacji przez prawdziwy neuron od obliczeń cyfrowych? Czy w przyszłości nasze komputery będzie trzeba podlewać zamiast ładować? I czy to, co dziś wygląda jak science fiction, może w ciągu dekady zrewolucjonizować sztuczną inteligencję?
To rozmowa o granicach między człowiekiem a maszyną, biologiczną materią a sztuczną inteligencją, wydajności energetycznej i filozoficznych pytaniach o świadomość.
Fot. ArtistryAxis / Adobe Stock
Fot. ArtistryAxis / Adobe Stock

W najnowszym odcinku „Miłego antropocenu!” rozmawiamy o jednej z najbardziej futurystycznych dziedzin współczesnej nauki – biokomputingu. Naszą gościnią jest dr Ewelina Kurtys, neurobiolożka i inżynierka związana ze szwajcarską firmą Final Spark, która pracuje nad komputerami zbudowanymi z... żywych neuronów. 

Dowiecie się, dlaczego dzisiejsze biokomputery potrafią zapamiętać jeden bit informacji – ale być może już za kilka lat staną się sercem nowych systemów obliczeniowych, milion razy bardziej efektywnych niż dzisiejsze modele językowe. Jeśli interesuje Was przyszłość AI, neurobiologia i przełomy technologiczne, ten odcinek jest obowiązkowy.


WIELKIE WYZWANIA: ANTROPOCEN

Przyglądamy się największym wyzwaniom epoki człowieka oraz drodze, która zaprowadziła nas od afrykańskich sawann do globalnej wioski. Omawiamy badania naukowe i dyskusje nad interakcjami między człowiekiem i innymi elementami przyrody – zarówno tymi współczesnymi, jak i przeszłymi.


Pełna transkrypcja rozmowy

Poniższy tekst powstał w oparciu o transkrypcję maszynową, może zawierać usterki językowe.


Wojciech Brzeziński

Dzień dobry, nazywam się Wojciech Brzeziński, witam Państwa serdecznie w podcaście Miłego Antropocenu, podcaście tygodnika powszechnego, w którym rozmawiamy o tym, w jaki sposób nauka i technika zmieniają nasz świat i w jaki sposób nasz świat dzięki tym zmianom będzie wyglądał w najbliższej przyszłości. W ostatnich miesiącach, latach może technologicznym tematem numer jeden jest sztuczna inteligencja.

Próbujemy nauczyć komputery rozumować i zachowywać się tak jak my. tyle tylko, że sztuczna inteligencja zawsze jest, no właśnie, sztuczna. Może można inaczej, może można zbudować komputery tak, żeby przypominały nas nie tylko w sposobie rozumowania, ale w ogóle w tym, w jaki sposób są zbudowane.

Może można zbudować komputery w oparciu o te same komórki, same neurony, o które oparty jest nasz mózg. I o tym właśnie będziemy rozmawiać w dzisiejszym odcinku.

dr Ewelina Kurtys

Z tygodnika powszechnego. Weź, słuchaj.

A naszą gościnią jest dr Ewelina Kurtys, badaczka, która pracuje dokładnie nad technologiami, które wykorzystują żywe neurony do przetwarzania informacji. Porozmawiamy o tym, czym właściwie jest biokomputer i czy nasze własne komórki mogą zastąpić krzem. Witam serdecznie.

Dzień dobry.

Jak w ogóle wyglądała Twoja ścieżka naukowa? W jaki sposób zaczęłaś się zajmować czymś tak na pozór fantastycznym jak biokomputery?

Zawsze byłam zafascynowana ludzkim mózgiem i chciałam też zawsze być naukowcem. Takie było moje marzenie. Więc zaczęło się od tego, że robiłam doktorat z neurobiologii. No i później, jak już nasyciłam się tą przygodą z badaniami na uniwersytecie, zdecydowałam się opuścić uczelnię i zobaczyć, co dzieje się w prawdziwym świecie.

No i wtedy odkryłam, co można zrobić z technologiami. Dowiedziałam się o sztucznej inteligencji i strasznie mnie to zafascynowało i zaczęłam pracować z różnymi firmami, które się zajmowały właśnie oprogramowaniem komputerowym, przetwarzaniem sygnałów i sztuczną inteligencją. No ale, że tego było mało, więc dalej bardzo się interesowałam różnymi, tym co się dzieje powiedzmy na granicy możliwości obecnej nauki. No i zainteresowałam się tematem niekonwencjonalnych obliczeń. No i dowiedziałam się, że jest wiele rzeczy, wiele tematów w tak zwanych niekonwencjonalnych obliczeniach, czyli alternatywach, nad którymi pracują naukowcy, alternatywach do naszych cyfrowych komputerów i dowiedziałam się, że wiele z tych rzeczy jest inspirowanych ludzkim mózgiem, ponieważ ludzki mózg, który też będzie taki wydajny energetycznie.

Ponieważ nasze obecne komputery są bardzo szybkie, mogą przetwarzać bardzo duże ilości danych, ale niestety zużywają strasznie dużo energii na wiele obliczeń, które nie są konieczne. No i mimo, że to jest wszystko szybko i łatwo, to jednak bardzo dużo kosztuje. No i szczególnie obecnie, jak widzimy modele językowe, które są najbardziej chyba żarłoczne energetycznie.

Widzimy, że to się zaczyna tworzyć problem jednak z tym zużyciem energii. Więc im więcej sztuczna inteligencja zużywa energii, tym bardziej potrzebne są nowe metody na to. No więc tak też się zainteresowałam też tym tematem i zaczęłam pracować z firmą Final Spark, która się znajduje w Szwajcarii i która jest fascynująca, prowadzi te fascynujące badania, które są właśnie na granicy biologii, neurobiologii, czyli biologii mózgu i technologii, czyli dwóch tematów, które mnie najbardziej fascynują.

To czym w zasadzie jest biokomputer? Gdybyś miała to wytłumaczyć dziecku?

Biokomputer to jest komputer, w którym tranzystory są zastąpione przez żywe neurony, czyli nie mamy już silikonowych chipów, tak jak w naszych komputerach osobistych czy smartfonach, tylko mamy chipy zbudowane z żywych neuronów. I to jest bardzo nowatorski temat. Są obecnie praktycznie dwie firmy na świecie. Jedna w Australii, która się nazywa Cortical Labs, no i nasza Final Spark w Szwajcariatem, czyli staramy się zbudować komputery, które będą przetwarzały informacje w żywych neuronach, in vitro, w laboratorium. 

Czy to oznacza, że kiedyś ja swojego iPhona zamiast ładować będę musiał nakarmić albo podlać?

Tak, są takie pytania. My bardziej skupiamy się na takich centralnych jednostkach. Chcemy dostarczyć coś w stylu AWS-u dla biokomputingu, czyli to będą bardziej takie centralne laboratoria, w których będą przechowywane neurony i do których się będzie można podłączyć i wykorzystać ich moc obliczeniową, tak samo jak obecnie mamy z różnymi serwerami cyfrowymi, ale są też pomysły, to akurat nasza konkurencja na tym pracuje, żeby stworzyć jakieś przenośne maszyny, które będą właśnie zasilane żywymi neuronami. Czyli teoretycznie nie wykluczam, że będzie kiedyś taka możliwość, chociaż osobiście bardziej wierzymy w sens takich centralnych laboratoriów, bo jednak żywe neurony wymagają specjalistycznej obsługi.

I też wydaje nam się, że takie neurony w centralnym miejscu mogą żyć o wiele dłużej, ponieważ jak patrzymy na ludzki mózg, to możemy zaobserwować, że neuron może żyć nawet do 100 lat albo i dłużej, bo nasze neurony praktycznie są cały czas te same przez nasze całe życie. No i wierzymy, że właśnie takie warunki laboratoryjne pozwolą na takie bardzo, bardzo długie przechowywanie tych samych neuronów.

To w takim razie, bo kiedy mówimy o sztuftach inteligencji, mówi się o sieciach neuronowych, o symulowaniu neuronów w obrębie krzemu, krzemowego komputera. Czym to się różni od neuronów prawdziwych? Dlaczego tutaj mamy rozróżnienie? Czy neurony biologiczne, realne są lepsze od tych wirtualnych? 

One opierają się na pewnych zasadach, które są zainspirowane ludzkim mózgiem, ale nie działają tak samo. Nie działają, na przykład taką zasadniczą różnicą jest bug propagacja, czyli kiedy te neurony się uczą, te cyfrowe, one są uaktualnione wszystkie, wszystkie naraz. Natomiast wiemy, że w mózgu tak się nie dzieje, bo mogą się pojedyncze czy malutkie grupy neuronów uczyć, a nie musi się aktualizować cały mózg. Więc jest wiele różnic. Można powiedzieć, że te cyfrowe neurony są tylko tak bardzo delikat nawet niekoniecznie ludzki, jest o wiele, wiele bardziej skomplikowany, ponieważ on ma taką membranę, na której się dzieje bardzo dużo rzeczy, bardzo dużo różnych molekul, różnych receptorów, które wpływają na przetwarzanie informacji przez taki neuron. Można też powiedzieć, że naukowcy starają się budować różne modele neuronów, takie w krzemie właśnie, ale nigdy nie udało się zbudować neuronu sztucznego, który byłby tak bardzo skomplikowany, jak neuron ten prawdziwy biologiczny, który ma strasznie dużo różnych właśnie receptorów i substancji chemicznych, które biorą udział w przetwarzaniu sygnałów w neuronie.

To jak wygląda taki biokomputer? Czy to jest chip, czy to jest probówka, czy to jest całe laboratorium, czy to jest jak w latach 50-tych taki pulsujący mózg z zielonym oświetleniem, który wydaje polecenia. Jak to wygląda?

No więc mamy in vitro takie zlepki komórek. Obecnie robimy te nasze eksperymenty na bardzo małej skali, bo to wystarczy. Mamy takie okrągłe zlepki komórek, które składają się około 10 tysięcy komórek jedna i one mają około pół milimetra wielkości, średnicy. No i takie zlepki komórek umieszczamy na elektrodach. No i komórki in vitro, żywe, muszą mieć dostarczone wszystkie składniki odżywcze w takim specjalnym medium, takim płynie, który przepływa przez nie przez cały czas. Muszą być też w odpowiedniej temperaturze, niecałe 37 stopni Celsjusza, odpowiednim pH. Wszystkie warunki muszą być fizjologiczne, tak samo jak by były w organizmie te komórki. No więc można powiedzieć, że to jest właściwie całe laboratorium. Natomiast biokomputer to byłaby właśnie ta mała część naszego laboratorium, czyli właśnie te neurony umieszczone na elektrodach.

I obecnie na naszej stronie internetowej fanialspark.com można zobaczyć widok na żywo z naszego laboratorium, z kamery i też nasze sygnały elektryczne z neuronów. Można obserwować i można zobaczyć, że obecnie takie nasze zlepki komórek są umieszczane na takich płytkach na ośmiu elektrodach każda.

No i te elektrody są po to, żeby móc wysyłać sygnały elektryczne do neuronu i żeby móc też odbierać sygnały elektryczne z neuronu. I celem zbudowania właśnie tych komputerów jest to, żebyśmy mogli uzyskać sensowne relacje pomiędzy tym, co wysyłamy neuronom i tym, co odbieramy. Tak samo jak w naszych komputerach. Dajemy jakiś input, jakąś informację do naszego komputera i dostajemy jakąś sensowną odpowiedź. Czyli to jest tak zwane uczenie się in vitro i to jest to, nad czym teraz najbardziej pracujemy. To teraz tak.

Jedna rzecz, którą można powiedzieć o komputerach klasycznych, to jest to, że możemy je zaprogramować. Możemy kazać im wykonywać konkretne polecenia. I teraz ja, jako zlepek neuronów, nie wiem jak się czuję z tym, że mówicie, że moje neurony można też zaprogramować tak jak komputer i kazać im wykonywać poszczególne polecenia.

Jak to wygląda? To znaczy, to jest zupełnie inaczej niż w ludzkim mózgu, ponieważ ludzki mózg jest bardzo skomplikowany i ma wiele różnych rejonów, których my nie staramy się odtworzyć. My wykorzystujemy tylko jednostki budulcowe, czyli neurony, czyli to nie będzie dokładnie tak samo jak ludzki mózg. Natomiast na pewno ten projekt jest bardzo ważny,, mogą mieć też przełożenie na prawdziwy mózg. No i może być tak, że pomoże to rozwiązać jakieś nowe technologie, na przykład tak jak Neuralink pracuje nad technologiami takimi, żeby zdalnie, żeby powiedzmy myślami, różne rzeczy kontrolować. No i też do tego potrzebne jest właśnie rozumienie, jak ludzki mózg przetwarza informacje, żeby móc te sygnały elektryczne interpretować. 

To jest dla mnie szczererze mówiąc, bardzo fascynujące, bo jakby jak spojrzymy wstecz w całą historię komputerów, w zasadzie od Alana Turinga i lat 40-tych, 50-tych, jego pierwszych rozważań o tym, co to jest uniwersalny komputer, to zawsze punktem odniesienia był ludzki mózg. Komputer miał być czymś, co potrafi robić podobne rzeczy jak nasz mózg.

Ale mimo tego, że minęło 80 lat, to my chyba jeszcze do końca nie wiemy, co robi nasz mózg. Ale mimo tego, że minęło 80 lat, to my chyba jeszcze do końca nie wiemy, co robi nasz mózg.

Tak, to prawda. To jest cały czas tajemnica dla naukowców, mimo że tak bardzo dużo już nam się udało odkryć, to jednak cały czas nie wiemy, jak mózg dokładnie przetwarza informacje, jak je koduje. Wiemy, że mózg zachowuje informacje w czasie i przestrzeni i za pomocą sygnałów elektrycznych i też za pomocą sygnałów chemicznych. Natomiast nikt tak do końca nie wie, jak poszczególne te sygnały interpretować z zewnątrz, jeżeli je odczytujemy.

Ale tutaj zawsze pojawi się pytanie pewnie ludziom, którzy wyobrażają sobie właśnie takie neurony zawieszone w probówkach gdzieś w laboratorium. OK, mówimy o pojedynczych komórkach, ale jakby zawsze jest ten próg, kiedy... I znowu, to jest próg, którego sami do końca nie znamy. Jeśli zbudujemy wystarczająco dużo neuronów, to te neurony stają się świadome. My jesteśmy świadomi. Mój pies prawdopodobnie jest świadomy. Rozumiem, że te komputery zakładacie, że nie są. 

Zakładamy, że nie są, aczkolwiek to też nie jest nasza działka, ponieważ my jesteśmy inżynierami, naukowcami, więc też nie jesteśmy ekspertami w tym. Ja osobiście nie wierzę w świadomość tych komputerów, ale to jest temat dla filozofów i my też z nimi nawiązaliśmy kontakt. Byłam w zeszłym roku na konferencji na przykład w Holandii, na Uniwersytecie w Delft, gdzie właśnie była taka konferencja na temat etyki i filozofii w technologii. Jest dużo pytań takich na temat tego, jaka jest granica pomiędzy ludzkim, człowiekiem a technologią, albo właśnie czy takie neurony, czy w ogóle jakiekolwiek komputery mogą mieć kiedyś świadomość, więc są takie pytania i my bardzo zachęcamy naukowców, właśnie filozofów do tego, żeby zastanawiali się nad tym tematem i zawsze staramy się popularyzować nasz projekt, bo chcemy, żeby specjaliści właśnie tego typu mogli odpowiedzieć na pytania, czy to jest etyczne i czy może być to akceptowalne, bo chcielibyśmy, żeby nasza technologia, jeśli ją zbudujemy, żeby ona była akceptowana przez społeczeństwo, więc na pewno są też rozmyślania na ten temat. Myślę, że najwięcej pokaże praktyka, bo na razie w takich neuronach jesteśmy w stanie zachować jeden bit informacji, także jest to bardzo malutko.

Zresztą trzeba powiedzieć, że neurony są wykorzystywane od wielu lat, od kilkudziesięciu lat i też inne komórki w badaniach biomedycznych, tylko po prostu nasze zastosowanie jest trochę inne, bo my staramy się przetwarzać sygnały, a nie na przykład odkrywać nowe leki. Ale ogólnie neurony są stosowane in vitro w badaniach już od wielu, wielu lat. Natomiast jeśli kiedyś, kiedy już nam się uda zbudować komputery, no to na pewno będzie trzeba testować. Jeszcze nikt nie znalazł testu na świadomość. Jest to też temat dla filozofów. Jeśli może kiedyś ktoś będzie miał pomysł na to. Na razie nie ma. Ale na pewno będzie trzeba obserwować zachowanie takich komputerów i pewnie tak samo będzie z robotami. Jeżeli będą jakieś przesłanki, że możemy wnioskować, że mają one świadomość, to będzie trzeba dać im jakieś prawa i traktować je inaczej. Ale to na razie są tylko spekulacje.

To w takim razie, gdzie jesteśmy dzisiaj? Bo jakby to wszystko brzmi jak fantastyka, ale z drugiej strony cała Wasza działka badań brzmi trochę jak fantastyka. Gdzie tak naprawdę dzisiaj jesteśmy, jeśli idzie o budowę biokomputerów, jeśli idzie o budowę komputerów opartych na neuronach?

Dzisiaj mamy całkiem dobrze funkcjonujący prototyp. Nasze laboratorium jest całe w czujnikach, jest dostępne zdalnie 24 godziny na dobę, 7 dni w tygodniu do przeprowadzenia eksperymentów na biokomputingu. No i możemy te eksperymenty przeprowadzać automatycznie, wszystko jest programowane w Pythonie, można za pomocą wyszukiwarki internetowej dostać się do laboratorium i pracować nad nim. Jesteśmy na takim etapie.

Robimy różne eksperymenty na tym, jak neurony przetwarzają informacje i staramy się odnaleźć jakiś sens w tych elektrycznych sygnałach, jakie neurony produkują w odpowiedzi na nasze różne stymulacje też sygnałami elektrycznymi, więc jesteśmy w takim momencie. Opublikowaliśmy artykuł naukowy, taki techniczny w magazynie Frontiers.

Ten artykuł jest w górnym 1% jeżeli chodzi o popularność w tym magazynie. Tam są opisane status, jaki był w chwili pisania tego artykułu, czyli rok temu, co można zrobić, jakie mamy plany. Planujemy też nie tylko stymulować te neurony za pomocą sygnałów elektrycznych, ale też za pomocą sygnałów chemicznych. Robiliśmy już eksperymenty z dopaminą, teraz zaczynamy z serotoniną, bo jak wiadomo neurony w mózgu uczą się nie tylko dzięki sygnałom elektrycznym, ale także za pomocą sygnałów chemicznych. Także można powiedzieć, że na dzisiaj mamy bardzo dobrą platformę, na której można eksperymentować z neuronami.

No i pracują z nami już naukowcy z całego świata, mamy współpracę z dziewięcioma uniwersytetami z całego świata. Mamy też pierwszych nawet klientów komercyjnych, co też było takim, można powiedzieć, nieoczekiwanym efektem ubocznym naszej pracy, ponieważ okazało się, że niektórzy są zainteresowani, żeby nawet zapłacić nam, żeby dostać właśnie dostęp do naszego laboratorium i móc się pobawić w biokomputing.

Także, no ale na tym etapie to jest wszystko, to są badania fundamentalne na temat tego, jak neurony przetwarzają informacje. One jeszcze nie są w stanie wykonać żadnego zadania typu rozpoznawanie obrazu lub też dźwięku czy coś w tym stylu. Także to na razie są tylko badania eksperymentalne. Ale na przykład był taki projekt ostatnio, jeden zespół z Korei i ze Stanów starał się wykorzystać sygnały z naszych neuronów do tworzenia tweetów. Także może to nie jest artykuł naukowy, tylko bardziej taki komercyjny, marketingowy, ale jest to ciekawy pomysł.

Ale na razie one nie są w stanie wytwarzać tekstu albo wykonywać jakichś obliczeń. Na razie to są raczej takie podstawowe zadania, podstawowe badania w dziedzinie przetwarzania sygnałów, to co robimy.

To co one robią w tej chwili, a co Waszym zdaniem będą w stanie zrobić za 5 lat?

Więc obecnie mogą zachować jeden bit informacji, czyli dosyć mało, to prawda. Natomiast za 5 lat, no mamy nadzieję, że w ciągu najbliższych 3-4 lat uda nam się rozwiązać problem uczenia się in vitro. To jest też powód, dla którego zbieramy fundusze, rozmawiamy z inwestorami, bo dotychczas projekt jest finansowany tylko przez dwóch założycieli w całości, natomiast rozmawiamy z inwestorami, żeby móc powiększyć nasze badania, żeby móc właśnie zatrudnić więcej naukowców i popchnąć te badania. No i mamy nadzieję, że uda nam się rozwiązać właśnie ten problem uczenia się in vitro, czyli jak zmienić zachowanie neuronów in vitro, jak uczyć je, żeby wykonały jakieś proste zadanie in vitro. Więc wydaje nam się, że powiedzmy za 3-4 lata będzie to możliwe. Natomiast biokomputery przewidujemy będą gotowe za jakieś 10-12 lat. No i wtedy mamy takie założenie, że one będą lepszym substratem do sieci neuronowych, czyli do sztucznej inteligencji.

Czyli tak jak obecnie mamy sieci neuronowe, które są cyfrowe, one zużywają bardzo dużo energii, bo są uproszczone. Oczywiście nie są takie same jak w ludzkim mózgu i przetwarzają wszystkie informacje, jakie mają dostępne, bez żadnej selekcji. Natomiast w neuronach to przetwarzanie informacji jest dużo bardziej wydajne energetycznie. No i mamy nadzieję, że będziemy mogli dostarczyć coś takiego jak web Amazon Service, tylko że na biokomputerach. Takie mamy założenie. 

To czym różni się to, w jaki sposób żywy neuron przetwarza informacje, od tego, w jaki sposób przetwarza informacje neuron symulowane?

No to jest bardzo ciekawe pytanie. Jeszcze do końca nie wiemy, ale jest wiele różnic, o których już wiemy. To znaczy na przykład wiemy już, że komputery cyfrowe zapisują informacje w postaci zer i jedynek, no i wszystko się praktycznie opiera na różnych operacjach algebraicznych, liniowych, gdzie przetwarzamy te wszystkie dane, te wszystkie ciągi 0 i 1.

Natomiast żywe neurony działają inaczej. One przetwarzają informacje za pomocą sygnałów elektrycznych w czasie i w przestrzeni, czyli jak mamy mózg, to ma znaczenie gdzie i kiedy neuron jest aktywny. To jest taka powiedzmy jedna różnica. Druga różnica, o której wiemy na pewno, to jest taka, że nasze komputery cyfrowe mają różne miejsca na pamięć i na przetwarzanie informacji, bo w komputerach mamy na przykład RAM, natomiast informacje są przetwarzane na przykład na GPU albo CPU płytkach, natomiast w mózgu zarówno pamięć, jak i przetwarzanie informacji odbywa się w tym samym miejscu i to też wpływa na to, że mózg jest bardziej wydajny energetycznie.

Też na pewno uczenie jest zupełnie inne, ponieważ sieci takie neuronowe, cyfrowe, one kiedy się uczą, to są uaktualniane wszystkie naraz, jakby wszystkie części sieci podczas tak zwanej bug propagacji. Natomiast wiemy, że neurony mogą się uczyć lokalnie i to też ma wpływ na zużycie energii. Bo neurony generalnie tym się charakteryzują i tym się bardzo różnią od właśnie systemów cyfrowych, tym, że one są aktywne tylko, jeśli to jest potrzebne, tylko jeżeli mają jakąś informację, która jest potrzebna. Na przykład jeżeli my obserwujemy to, co jest przed nami, obraz przed nami, no to też mamy pewne pola widzenia, nad którymi się koncentrujemy, nie widzimy wszystkiego z taką samą uwagą, co jest też ważne, jeżeli nasze otoczenie się zmienia, to my też rejestrujemy to, co się zmienia w otoczeniu, a nie na przykład jeżeli jedziemy samochodem, to nie analizujemy cały czas nieba, tylko wyłącznie te elementy, które się zmieniają i to też wpływa na ogromne oszczędności, jeżeli chodzi o zużycie energii. Natomiast komputery cyfrowe działają w ten sposób, że dla nich tak naprawdę wszystkie piksele są tak samo ważne. Oczywiście teraz się pracuje nad różnymi metodami, żeby to trochę ograniczyć, ale jednak ta umiejętność właśnie analizowania, filtrowania informacji to jest coś takiego, co jest bardzo charakterystyczne dla ludzkiego mózgu, a czego komputery nie mają. I to też wpływa na bardzo duże zużycie energii, bo komputery analizują wszystkie dane z taką samą ważnością.

I co też jest ważne, nie tylko wszystkie dane analizują z tak samą ważnością, ale też precyzyjne są czasami za bardzo, ponieważ my czasami jak obserwujemy otoczenie, to nie wszystko musimy mieć obliczone co do milimetra i nasz mózg też oszczędza energię przez to. Natomiast komputery, jeżeli są ustawione, mają jakieś parametry, to analizują z taką samą precyzją wszystkie dane, nawet jeśli nie jest to potrzebne i też zużywają więcej energii przez to. Także jest bardzo dużo takich rzeczy, które możemy zaobserwować właśnie obserwując ludzki mózg i komputery, jakie są różnice, natomiast tak naprawdę, jak już mówiłam, nikt jeszcze nie wie tak do końca, jak neuron koduje informacje. Wiemy tylko, że one wytwarzają te różne sygnały elektryczne, ale tak naprawdę nie wiemy, jak te sygnały tak dosłownie przetłumaczyć na różne dane.

Ile neuronów w tym momencie ma Wasz taki najbardziej zaawansowany w cudzysłowie procesor, a ile powinien mieć, żeby był rzeczywiście taką użyteczną jednostką? 

Obecnie mamy takie malutkie zlepki komórek, około pół milimetra średnicy i około 10 tysięcy neuronów każdy zlepek. I wydaje nam się, że na tym etapie to wystarczy. Już zresztą osiągnęliśmy bardzo duży postęp, bo na początku było bardzo trudno utrzymać te neurony przy życiu przez dłuższy czas, a obecnie jesteśmy w stanie utrzymać je przy życiu przez trzy miesiące, co jest dosyć dużym sukcesem. One mogą żyć na elektrodach przez trzy miesiące, co jest bardzo trudne. Mamy zresztą opatentowane różne rozwiązania na to. Więc na razie to jest malutkie, dlatego że badamy te podstawowe, fundamentalne procesy przy przetwarzaniu informacji, czyli na przykład zachowanie jednego bitu informacji, to jest bardzo fundamentalne zadanie. Wydaje nam się, że na tym etapie to wystarczy. Natomiast wyobrażamy sobie, że w przyszłości to będą ogromne przestrzenie, ponieważ neurony mają tą ogromną zaletę, że można je bardzo łatwo produkować w dużych ilościach. Czyli nie jest to taki problem jak z płytkami krzemowymi, które jednak mają pewne ograniczenia i szczególnie w obecnej sytuacji, kiedy mamy jakieś konflikty między Chinami i Stanami, które mogą wpłynąć na dostęp na przykład płytek krzemowych, to jednak z neuronami tak nie jest. Neurony można bardzo łatwo produkować w dużych ilościach w laboratorium. No i wyobrażamy sobie, że kiedyś będziemy budować takie struktury, które będą nawet dochodziły do 100 metrów długości i szerokości i 10 centymetrów grubości. Tak sobie to wyobrażamy, że będziemy mieć taką ogromną tkankę neuronową, która będzie mogła przetwarzać informacje. Ale to są wszystko cały czas spekulacje i jeszcze nie wiemy oczywiście, jak to się rozwinie, no ale tak sobie wyobrażamy to, że będziemy skalować, będziemy się starali stworzyć taką ogromną tkankę z neuronów. 

Czy śmiertelność jest problemem? Jest problemem dla ludzi oczywiście. Nie była do tej pory problemem dla komputerów. No jeśli coś zapisałem na twardym dysku, to poza jakimiś smutnymi wypadkami te dane tam pozostawały. Neuron może umrzeć. Dane zawarte w neuronie mogą w ten sposób, jak rozumiem, zniknąć. Jak można rozwiązać ten problem?

Tak, wszystko co żywe umiera, więc to jest problem też w żywych komputerach. Myślę, że one nie będą raczej, ich zaletą nie będzie przechowywanie danych, bo jeżeli chodzi o pamięć, to komputery cyfrowe zdecydowanie będą lepsze. Są i będą. Nam się wydaje, że te biokomputery będą raczej do przetwarzania informacji, czyli powiedzmy, będziemy mogli dostać odpowiedź na jakieś pytanie, czyli to będzie raczej do wykorzystania w czasie rzeczywistym powiedzmy. Na pewno obecnie, tak jak mówiłam, 3 miesiące to już jest wielki sukces. Biologicznie wiemy, że neurony mogą żyć nawet do 100 lat, bo żyją w naszych mózgach, a w czasie naszego życia mamy raczej w większości te same neurony cały czas, bo one nie dzielą się, szczególnie u dorosłych, więc można przewidywać, że one będą żyły do 100 lat, przynajmniej powinny, natomiast jeszcze dużo, dużo innowacji będzie trzeba dokonać po to, żeby można było osiągnąć tak długi czas. I wydaje nam się, że będzie trzeba jakoś transferować umiejętności z jednych neuronów do drugich. Także to na pewno będzie koniecznie. Wyobrażamy sobie, że jeżeli rozwiążemy ten problem uczenia się in vitro, to będziemy też w stanie jakoś przenosić tą informację. Ale to jest też spekulacja. Na razie nie jest to problemem, bo na razie wszystkie te neurony, które mamy, są wykorzystywane do eksperymentów, więc jeżeli zastąpimy je następnymi, to nie ma znaczenia. wszystko, co jest zapisane w jednym neuronie, znaczy w jednym zlepku neuronów, że będziemy musieli transferować do nowych neuronów, bo na pewno nie będą mogły one żyć nieskończoność.

To skoro jesteśmy przy transferowaniu, jeszcze jeden, tylko ostatnie pytanie, że tak powiem w tej części naszej rozmowy. Jeszcze jedną zaletą, cechą, jaką mają konwencjonalne komputery, to jest to, że mogę takie komputery zresetować. Bez względu na to, jak bardzo namieszam wcześniej, jak bardzo sam sobie utrudnię życie, robiąc różne dziwne rzeczy z moim komputerem.

Mogę wcisnąć przycisk, wydać komendę, parę minut później ten komputer jest jak nowonarodzony. Czy tak się da z neuronami?

Jeszcze nie wiemy tego. Myślę, że będzie to na pewno trochę trudniejsze, bo tak jak wiemy, jak działa ludzki mózg, nie jest tak łatwo wcale usunąć informacji. Także myślę, że to jest cały czas etapem badań i powiem szczerze, że nie wiem, czy będzie można zresetować żywe neurony tak całkowicie, ale będziemy pewnie próbować w eksperymentach.

Jak patrzysz na to, jak ludzie widzą Twoją, że tak powiem, dziedzinę nauki, jakie są największe mity, jeśli idzie o biokomputery, jakie są największe mity, jeśli idzie o ich zastosowanie w sztucznej inteligencji? 

Największym nieporozumieniem jest to, że czasami są publikacje na TikToku, czyli na różnych social mediach, które przedstawiają graficznie, że mamy neurony w probówce, co nie jest prawdą, że mamy mózgi w probówce, co nie jest prawdą, bo tak jak mówiłam, my wykorzystujemy te same jednostki budelcowe, czyli neurony, natomiast nie staramy się zbudować mózgu in vitro, bo to byłoby bardzo trudne, wręcz niemożliwe, bo mózg jest bardzo skomplikowany i zresztą nie jest to naszym celem. Także myślę, że to jest największe nieporozumienie. Natomiast jeżeli chodzi o możliwości neuronów, to też dostajemy, bo my dostajemy bardzo dużo informacji, bardzo dużo wiadomości od ludzi z całego świata, którzy chcą mieć dostęp do naszego laboratorium albo którzy się chcą czegoś dowiedzieć o naszej pracy. No i największym nieporozumieniem jest to, że czasami ludziom wydaje się, że my już możemy tworzyć tekst, tak jak large language model, a nie jest to prawdą. Niestety na tym etapie możemy zachować jeden bit informacji i na tym etapie też użytkownicy, którzy mają dostęp do naszego laboratorium, oni robią podstawowe badania w dziedzinie przetwarzania sygnałów przez neurony.

Także nie mogą rozpoznawać obrazów, nie mogą też obrazów, nie mogą też minować bitcoinów, bo to też mieliśmy parę pytań. I także czasami wydaje mi się, że czasami niektórzy przeceniają to, co możemy zrobić na tym etapie badań. 

Ale jakie są perspektywy? Bo rozumiem, że na początku, na razie jesteśmy na etapie takich bardzo wczesnych komputerów cyfrowych. Gdzieś tak lata 40-te, 50-te pewnie, jeśli idzie o możliwości. Jak szybko to się rozwija?

My przewidujemy, że to nam zajmie 10 lat zbudowanie takiego serwera centralnego i dostarczenie czegoś w stylu Amazon Web Service, ale dla biokomputingu. Także wydaje nam się, że to zajmie co najmniej 10 lat. Perspektywa jest taka, że będziemy w stanie dostarczyć sztuczną inteligencję, która będzie milion razy bardziej wydajna energetycznie w porównaniu do cyfrowej, no i też obliczyliśmy sobie, że szacunkowo będzie to i tak już przyniesie bilionowe zyski.

Także tak to widzimy w perspektywie, że główną zaletą, jaką przewidujemy, będzie właśnie to niskie zużycie energii. Ale może być też wiele innych zalet, których jeszcze nie znamy, ponieważ jest ciężko powiedzieć, jak neurony żywe będą przetwarzać informacje, dopóki nie będziemy mogli tego robić naprawdę. Więc jak już będzie można je programować, no to wtedy może się okazać, że one mają jakieś właściwości, umiejętności, o których jeszcze nie wiemy. Tak samo jak zresztą było w latach 40. czy 50. z pierwszymi komputerami. Nikt nie przewidywał wtedy, że będziemy mieć wszyscy komputer w domu, maile, że będziemy mieć smartfony, więc wiele rzeczy ciężko jest przewidzieć, jakie będą konsekwencje nowych technologii. To zawsze pokazuje czas.

Ale rozumiem, że może się okazać, że w przyszłości sztuczna inteligencja będzie dużo mniej sztuczna.

Tak, oczywiście. Może się okazać, że będziemy przeprowadzać, przetwarzać informacje na wielkiej płachcie, tkance zbudowanej z żywych neuronów.

Okej, to jeszcze jedno pytanie, szczerze mówiąc techniczne. Skąd są te neurony? Czy to są ludzkie neurony, czy to są neurony zwierzęce? Skąd one pochodzą oryginalnie? I czy to ma znaczenie?

Na razie chyba nie do końca, bo na takich podstawowych badaniach powiedzmy nie ma to znaczenia, ale wierzymy, że w przyszłości, kiedy będziemy mogli robić zaawansowane algorytmy, będzie miało to znaczenie. Więc korzystamy z komórek neuronów ludzkich, bo zakładamy, że one są najlepsze, najlepiej rozwinięte. No i jak je otrzymujemy? Od około 15 lat można produkować komórki macierzyste z komórek skóry człowieka. Była za to Nagroda Nobla.

No i dzięki tej wspaniałej metodzie możemy otrzymać komórki macierzyste, a z tych komórek macierzystych możemy otrzymać teoretycznie każdy typ komórki, jaka jest w ludzkim ciele, więc również neurony. Więc możemy ich produkować bardzo dużą ilość w bardzo łatwy sposób. Nikt nie musi się na to poświęcać. No i praktycznie takie komórki macierzyste można już dostać komercyjnie, czyli można je kupić w firmach, które dostarczają różnych odczynników laboratoryjnych i również różnych biologicznych odczynników. Można sobie je kupić i w laboratorium wyprodukować z nich neurony w bardzo dużych ilościach i bez problemu. Oczywiście wszystkie kwestie etyczne takiego uzyskiwania neuronów czy w ogóle uzyskiwania tych komórek skóry ludzkiej na początek.

One są już rozwiązane i były też przedyskutowane przez wiele lat, ponieważ takie badania in vitro na różnych komórkach ludzkich są już wprowadzone od kilkudziesięciu lat. Także są na to procedury i metody. Już nie jest tak jak kiedyś, że pobierały się komórki od pacjentów bez pytania ich. Takie były historie dawno, dawno temu, może z 50 lat temu. Teraz to już wszystko jest ustandardyzowane i łatwo jest otrzymać ludzkie neurony in vitro.

To teraz pytanie może bardziej filozoficzne. Skoro szeci neuronowe są symulacją, są pewnego rodzaju przybliżeniem tego, w jaki sposób nasz mózg działa. Próbą symulowania tego, w jaki sposób działa nasza własna inteligencja, chociaż w oparciu o inne zasady. Jednym z głównych argumentów przeciwników tych technologii jest to, że one tylko udają, że one tylko zgrabnie symulują to, że myślą, chociaż tak naprawdę to jest tylko statystyka, to jest tylko matematyka i tam nic w głowie tego systemu nie siedzi. Czy to może być inaczej? w głowie tego systemu nie siedzi. Czy tu może być inaczej? Czy jeśli zbudujemy wystarczająco duży, żywy system, czy on będzie rzeczywiście myślał, czy on w dalszym ciągu będzie symulował, że myśli?

Tego na razie nie wiemy. Jest bardzo dużo pytań na ten temat. Właśnie, czy takie komputery mogą mieć świadomość? My nie jesteśmy ekspertami, więc ciężko się wypowiadać. Natomiast nawiązaliśmy kontakty z różnymi filozofami, którzy zajmują się kwestiami też etycznymi nowych technologii. No i chcemy, zachęcamy ich, żeby zajmowali się tym tematem i żeby też odpowiedzieli na te pytania, bo bardzo nam zależy na tym, żeby nasza praca była akceptowalna społecznie. No i chcielibyśmy, żeby właśnie wszelkie rozterki mogły być rozwiązane przez filozofów. Ja osobiście w to nie wierzę. Wydaje mi się, że to jest taka antropomorfizacja, czyli taka rzecz, że często widzimy we wszystkim cechy ludzkie w komputerach, nie wiem, w przedmiotach, ale to jest nasze takie po prostu dlatego, że jesteśmy ludźmi, więc czasami widzimy ludzkie cechy we wszystkim. Ja osobiście myślę, że nie będą to świadome komputery, dlatego że świadomość wydaje mi się, że jest połączona też z całym ciałem, że nie jest to tylko mózg, ale na to jest wiele różnych teorii filozoficznych, jest wielu filozofów, którzy mają bardzo różnorodne zdania na ten temat.

Także jeszcze nikt nie odkrył, mogę tylko powiedzieć, że jeszcze nikt nie odkrył właściwie metody, żeby udowodnić świadomość, że ona istnieje, także jest to cały czas temat otwarty dla filozofów. Ale na tym etapie, kiedy zachowujemy tylko jeden bit informacji, to na pewno o świadomości nie można mówić. jeden bit informacji, to na pewno o świadomości nie można mówić. Może można się nad tym zastanawiać w przyszłości, kiedy takie komputery będą większe i kiedy będą mogły wykonywać bardziej skomplikowane zadania. To na pewno będzie to temat do przetestowania. 

Ale to musi być ciekawe też być w takim miejscu na styku biologii, technologii i filozofii. 

Tak, jest to bardzo fascynujące. Jest to taka praca, która się nigdy nie nudzi, ponieważ zawsze jest coś ciekawego, nowego. No i ma to różne, właśnie tak jak mówię, można na ten projekt spojrzeć też z różnych perspektyw, właśnie od strony filozoficznej, od strony biologicznej albo od strony technologicznej. Także jest dużo różnych ciekawych problemów do przemyśleń.

Czy to jest technologia, która zmieni świat?

Na pewno, na pewno. Jeśli te komputery będą działać, to zmienią świat, ponieważ zrewolucjonizują sztuczną inteligencję na pewno, będą bardzo wydajne energetycznie i te technologie, które mamy obecnie, nie będą mogły z nimi konkurować, jeżeli chodzi o zużycie energii. Co jest najbardziej ekscytującego w tej robocie? Najbardziej ekscytujące jest to, że to jest bardzo taki projekt, który wymaga wiedzy z różnych dziedzin jednocześnie, że nie można być ekspertem na przykład tylko w komputerach albo tylko w biologii. Trzeba się interesować co najmniej dwoma tematami jednocześnie, czyli właśnie czymś od strony biologicznej i czymś od strony technologicznej. Jest to nowy nurt. Są już na niektórych uczelniach pierwsze takie kursy, które przygotowują studentów właśnie do takiego uczenia, bo bardzo często dotychczas kształciliśmy ludzi tylko właśnie jako biologów albo jako inżynierów.

Natomiast w przyszłości będą na pewno potrzebne osoby, które będą musiały rozumieć obie dziedziny. Bo jest bardzo dużo, to zresztą też nasz projekt nie jest jedyny, jest dużo takich kierunków, które będą wykorzystywać właśnie zarówno biologię jak i technologię. Myślę, że to jest najbardziej fascynujące, bo dzięki temu nigdy się nie nudzimy, bo mamy różne problemy, które wymagają też trochę innych umiejętności, więc dzięki temu mamy wielką różnorodność, jeżeli chodzi o różne zadania, jakie wykonujemy. No i jest to też ciekawy temat dla mediów i też budzi wyobraźnię, pobudza wyobraźnię, bo ludzie zaczynają sobie wyobrażać, jak te komputery będą wyglądać, co będzie można z nimi zrobić, jak ten świat będzie wyglądał.

Więc myślę, że to też bardzo, że w ogóle nowe technologie bardzo pobudzają wyobraźnię, bo możemy sobie wyobrazić coś, czego jeszcze nie ma, a jak może być w przyszłości. Więc to jest też bardzo ciekawe.

To skoro jesteśmy przy wyobraźni, to czy za, rozumiem, że Wy macie perspektywę w tej chwili taką pięciodziesięcioletnią, ale czy za 30 lat mój laptop, mój Mac Mini, który stoi obok, to nie będzie urządzenie, tylko to będzie istota, z którą ja będę rozmawiał.

Nie wiadomo czy istota, może maszyna, tylko nieświadoma. Tak, jest szansa, że w przyszłości nasi konkurenci budują komputer taki przenośny z żywymi neuronami, także jest szansa, że będziemy mieć różne narzędzia, różne sprzęty, w których będą żywe neurony. Na pewno one nie zastąpią całkowicie cyfrowej technologii, bo wydaje nam się, że te nowe metody obliczeń, tak samo jak quantum computing, że one raczej będą uzupełniać obecne technologie, a nie zastąpią ich całkowicie, więc wydaje mi się, że to czego jestem pewna, patrząc na to jak się rozwija technologia i co zresztą już widać przy takich prostszych projektach, że na przykład jest coraz więcej różnych płytek FPGE, takich do różnych szczególnych obliczeń, więc wydaje mi się, że w przyszłości na pewno nasze maszyny, różne komputery, większe i mniejsze, będą na pewno się składały z bardzo różnych płytek. Nie tak jak teraz, że tylko CPU albo GPU, tylko będzie ich o wiele większa różnorodność i będą różne płytki dostosowane do konkretnych jakichś zadań i optymalizowane na konkretne zadania. Także będą różne płytki, no i być może też właśnie neurony, procesory neuronowe, czyli komputery będą miały różne procesory.

Dwie ostatnie kwestie. Po pierwsze, jakie pytania powinniśmy sobie zadawać, jeśli idzie o tę technologię? Jako ktoś, kto siedzi w środku. Jakie etyczne, technologiczne, społeczne kwestie będą ważne za 10-15 lat, jeśli mówimy o biokomputerach?

Myślę, że jeżeli chodzi o etyczne kwestie, to na pewno będą pytania odnośnie tego, jaka jest granica pomiędzy człowiekiem a maszyną. Chociaż ta granica się cały czas zmienia, bo tak już filozofowie zauważyli współcześni, że na przykład smartfony bardzo nas zmieniły i że tak naprawdę nawet smartfon może być uznany obecnie za pewnego rodzaju przedłużenie człowieka, bo już jesteśmy inni używając ich.

Kiedy na przykład szukamy drogi, korzystamy z mapy, już nie jest tak samo jak kiedyś, mamy trochę takie większe mózgi dzięki temu, więc na pewno technologia bardzo nas zmienia i też co jest ważne, to jest percepcja społeczeństwa, więc to są też ciekawe tematy też dla filozofów, mamy też projekt właśnie, który być może się zacznie niedługo, w którym będziemy być może pomagać, nie brać bezpośrednio udziału filozofów angielskich, którzy będą właśnie badać percepcję społeczeństwa na takie nowe technologie, tak jak też biocomputing. No więc takie różne etyczne pytania. Myślę, że im bardziej komputery będą bardziej inteligentne, myślę, że jest taka szansa, że zaczniemy się z nimi przyjaźnić. Powstało już kilka filmów na ten temat i wydaje mi się, że im bardziej one będą mogły z nami nawiązywać kontakt taki, że będzie nam się wydawało, że rozmawiamy z człowiekiem, mimo, że nie rozmawiamy, to zaczniemy może widzieć w nich cechy ludzkie.

Myślę, że do tego może to doprowadzić, że będziemy kiedyś może traktować właśnie, tak jak dzisiaj mamy psa albo kota, to będziemy mieć też robota. Myślę, że jest na to szansa, jeżeli będzie można się z nimi komunikować. I taka mi się wydaje natura ludzka do tego doprowadzi. A czy to jest dobrze, czy źle, no to już jest pytanie osobne na o wiele dłuższą dyskusję. Natomiast jeżeli chodzi o kwestie techniczne, to podstawowe pytanie to jest jak neuron przetwarza informacje. To jest pytanie za milion dolarów, zarówno w biologii, jak i w technologii. We wszelkich właściwie technologiach, które inspirują się ludzkim mózgiem. Bo jest też wiele badań, które niekoniecznie wykorzystują neurony, ale też takie tradycyjne cyfrowe technologie, ale starają się w jakiś sposób odtworzyć przetwarzanie informacji przez mózg i wszystkie te dziedziny zadają sobie to samo pytanie. Jaki jest właśnie framework na przetwarzanie informacji? Jakie są te takie główne, podstawowe zasady, dzięki którym neurony przetwarzają informacje? Jeżeli odkryjemy to, to będzie to ogromny postęp zarówno dla medycyny, jak i dla technologii.

I dla biokomputerów też.

Rozumiem, że to jest technologia, która jest na etapie szybkiego rozwoju takiego dziecięcego. Jak można śledzić to, jak ona się rozwija? Gdzie można szukać informacji o tym, w jaki sposób biokomputery się rozwijają? Gdzie one będą za rok, dwa, pięć lat? Żeby nie być zaskoczonym.

Jest na to wiele sposobów. Można dowiadywać się u źródła, czyli od nas. Na naszej stronie internetowej można zapisać się do newslettera. Wysyłamy takie newslettery jedynie co sześć miesięcy, żeby nie obciążać naszych subskrybentów. To jest dobry sposób. Innym sposobem, bardzo dobrym, jest też dołączenie do naszej grupy na Discord. Też można znaleźć na naszej stronie finalspark.com, tam można się zapisać do grupy na Discord i tam jest wiele dyskusji, zarówno technicznych, jak i bardziej ogólnych, kontaktują się z nami różne osoby, naukowcy, którzy chcieliby z nami współpracować, studenci, którzy chcieliby z nami zrobić jakieś praktyki, właściwie wszyscy, którzy są zainteresowani tematem mogą zadawać pytania i też co jakiś czas organizujemy takie sesje na żywo na Discord, gdzie można bezpośrednio zadawać nam pytania i odpowiadamy na nie na żywo. Także na pewno jest dużo szans. Można oczywiście też nas obserwować na LinkedInie i na Twitterze, bo tam też umieszczamy regularnie informacje o tym, co robimy i myślę, że to jest bardzo dobry sposób, żeby wiedzieć, co się dzieje w biokomputingu.

A myślę, że warto tutaj trzymać rękę na pulsie, bo dziedzina jest rzeczywiście bardzo obiecująca na wiele sposobów. Dziękujemy bardzo serdecznie. Naszym gościem była Ewelina Kurtys, badaczka, która pracuje nad technologiami wykorzystującymi żywe neurony do przetwarzania informacji. Dziękujemy serdecznie.

Dziękuję bardzo.


 

 

Projekt dofinansowany ze środków budżetu państwa, przyznanych przez Ministra Nauki i Szkolnictwa Wyższego w ramach Programu „Społeczna Odpowiedzialność Nauki II”.

Słuchaj naszych podcastów:

Jeśli lubisz nasze podcasty, wspieraj nas na Patronite »

Cały artykuł dostępny tylko dla subskrybentów

„Tygodnik Powszechny” – jedyny polski tygodnik społeczno-kulturalny.
30 tys. Czytelniczek i Czytelników. Najlepsze Autorki i najlepsi Autorzy.
Wspólnota, która myśli samodzielnie.

Najlepsza oferta

Czytaj 1 miesiąc za 1 złotówkę dzięki promocji z

  • Nieograniczony dostęp do treści w serwisie i wersji audio artykułów
  • Tematyczne newslettery i dodatkowe publikacje tylko dla subskrybentów
  • 29 zł miesięcznie po miesiącu promocyjnym. Rezygnujesz, kiedy chcesz

Najniższa cena przed promocją 29,90 zł

Wypróbuj TP Online: 7 dni za darmo

  • Nieograniczony dostęp do treści w serwisie i wersji audio artykułów
  • Tematyczne newslettery i dodatkowe publikacje tylko dla subskrybentów
  • 29 zł miesięcznie po zakończeniu okresu próbnego
  • Wymagane podpięcie karty. Rezygnujesz, kiedy chcesz

TP Online: Dostęp roczny online

Ilustracja na okładce: Przemysław Gawlas & Michał Kęskiewicz dla „TP”