Sztuczna inteligencja w każdej gminie. Polski model językowy ma skrócić kolejki do urzędów. [Miłego antropocenu! #18]

Inteligentny asystent urzędnika i aplikacja dla obywateli mogą dramatycznie zmienić to, jak prowadzone będą administracyjne procedury.

Czy wielkie modele językowe to szansa na sprawne państwo i dlaczego właściwie mamy budować własne, skoro Amerykanie dają swoje za darmo – o tym Wojciech Brzeziński rozmawia z dr. Janem Koconiem, kierownikiem naukowym programu PLLuM. 

Pełna transkrypcja rozmowy

Poniższy tekst powstał w oparciu o transkrypcję maszynową, może zawierać usterki językowe.

Wojciech Brzeziński

Dzień dobry, witam Państwa serdecznie, witam Państwa w podcaście Miłego Antropocenu, podcaście Tygodnika Powszechnego, w którym rozmawiamy o tym, jak nasz świat się zmienia, jak będzie wyglądał w najbliższych latach. Ja nazywam się Wojciech Brzeziński, jestem dziennikarzem Tygodnika Powszechnego, a dzisiaj będziemy mieli okazję porozmawiać o tym, jak sztuczna inteligencja już wkrótce może zacząć nasze życie, nie wirtualnie w całym świecie, ale tu konkretnie w Polsce, do czego może nam się przydać i w jaki sposób nasi inżynierowie już dzisiaj pracują nad tym,

żeby to stało się rzeczywistością. Zapraszamy. A naszym gościem dzisiaj jest dr Jan Kocoń z Katedry Sztucznej Inteligencji Politechniki Wrocławskiej i kierownik naukowy projektu PLUM, czyli Polish Large Language Universal Model, polski uniwersalny wielki model językowy. Model językowy podobny jak chat GPT czy inne znane i już powszechnie stosowane modele, którego zasadniczą cechą jest to, że jest od początku do końca modelem polskim i który, co ciekawe, już niedługo może być stosowany przez polską administrację publiczną. Panie doktorze, witamy serdecznie.

Jan Kocoń

Dzień dobry.

No właśnie, to może zacznijmy od końca. Za pięć lat wszystko poszło idealnie. Potrzebuję zadać sprawę w urzędzie, jak to będzie wyglądało.

Myślę, że możemy wyobrazić sobie taką sytuację, gdy przychodzi petent do urzędu, nie ma kolejek, może nawet kto wie, czy musi przychodzić, może wystarczy, że otworzy stronę urzędową, włącza bota, mówi, jaki ma problem, ten bot analizuje sytuację, ma bazę tekstów, bazę wiedzy, jak postępować od strony administracyjnej i pomaga temu petentowi, temu klientowi w urzędzie rozwiązać jego problem.

I dzieje się to w idealnym przypadku, czyli w tych takich najprostszych, najbardziej powtarzalnych rzeczach, być może nawet bez udziału człowieka, a dopiero w bardziej skomplikowanych przypadkach, bo wiadomo, że trudno jest objąć wszystko regułami. Wkraczają ludzie. I teraz problem wielu urzędów jest taki, że kolejki są gigantyczne, zwłaszcza jeśli chodzi o urzędy wojewódzkie, sprawy paszportowe. To jest gigantyczna praca wielu ludzi i tak naprawdę tych ludzi, tych urzędników mamy za mało, żeby te wszystkie sprawy obsłużyć. I być może właśnie takie wsparcie sztucznej inteligencji,

zwłaszcza w tych prostszych i powtarzalnych rzeczach, pozwoli nam jakoś to wszystko odciążyć. To jest oczywiście jakaś utopia. Jak będzie w praktyce, to się okaże. Natomiast na pewno tym takim pierwszym krokiem i chyba najbardziej istotnym, będzie całe ogarnięcie takiej warstwy informacyjnej przy użyciu modeli. Czyli człowiek szuka odpowiedzi na swoje pytania.

Wbrew pozorom umiejętność korzystania z Google'a nie jest wcale aż tak powszechna. Modele językowe dają nam to, że w dużo bardziej naturalny sposób porozumiewamy się tego typu maszynami. W związku z tym każdy bez znajomości żadnych technikaliów może tak jak pyta o cokolwiek drugiego człowieka, zapytać ten model i uzyskać odpowiedź też w taki sposób, który dla niego jest zrozumiały.

W związku z tym być może w pierwszej kolejności to warstwa informacyjna. I tu nawet plan jest taki, żeby docelowo ten model, choćby Plum, a może i nowe, bo to cały czas tutaj się zmienia jak w Kalejdoskopie, wdrożyć do m-Obywatela. W związku z tym wszystkie sprawy, wszystkie kwestie, które teraz możemy tam oczywiście poszukać, znaleźć, ale ponownie musimy tutaj trochę swojego czasu zainwestować, poklikać.

Nie na wszystko jest odpowiedź, a wiadomo, że dokumentacja, która stoi za tymi nawet najbardziej i najczęściej powtarzalnymi pytaniami, jest bardzo obszerna. Modele językowe mają właśnie tę zdolność, żeby tę obszerną dokumentację móc w miarę szybko przeszukać, połączyć klocki, które mogą się znajdować w bardzo wielu dokumentach, złożyć tą spójną odpowiedź, a nawet jeszcze tę odpowiedź

na przykład uprościć, jeżeli ktoś stwierdzi, że ta pierwsza wersja jest za trudna. Także tak to widzę. 

Ale to nie będzie tak, że, a może będzie właśnie, że model będzie miał pieczątkę i będzie mógł podbijać urzędowe dokumenty, zatwierdzać, decydować. 

Kto wie, być może w bardziej takich prostych sytuacjach, być może, może. Nie chciałbym tego tak radykalnie wykluczać, ponieważ wiadomo, sytuacja się zmienia, a być może są takie kwestie, które są dosyć oczywiste. Nie wiem, co jakiś czas każdy z nas musi wymienić dowód osobisty, może prawo jazdy, może trzeba będzie mieć jakieś inne takie sprawy, które są dosyć powtarzalne, dosyć proste. Jeżeli człowiek dostarcza dokumentację, która jest wystarczająca, to często ta, w cudzysłowie, pieczątka jest wyłącznie formalnością. I nie widzę tutaj jakiegoś większego problemu, żeby, zwłaszcza jeżeli będzie jeszcze elektroniczny obieg dokumentów za tym wszystkim stał, że jeżeli wszystko w papierach się zgadza, no to w tym momencie ten człowiek z pieczątką trochę, że tak powiem, jego praca, jego wiedza merytoryczna nie jest tu aż tak bardzo potrzebna, być może. I w związku z tym, że urzędy są, duża część urzędów jest przeładowana, możliwe, że wtedy ci ludzie mogliby się skupić naprawdę na takich bardziej złożonych problemach, dla których nie ma trywialnych rozwiązań i nawet sztuczna inteligencja być może, jeżeli nawet coś wymyśli, to będą to na tyle unikatowe sprawy, że to nie będzie mogło pójść bez autoryzacji ludzkiej. pójść bez autoryzacji ludzkiej.

Tylko teraz tak, z perspektywy kogoś, kto z różnymi wirtualnymi asystentami, infoliniami i innymi narzędziami, które rzekomo miały nam ułatwiać życie, ma do czynienia od wielu lat. Nikt nie lubi rozmawiać z tymi podobno inteligentnymi infoliniami. To one są, miały być czymś pomocnym, zamiast tego sprawiają, że ludziom się chce rzucać telefonem o ścianę. W jaki sposób to narzędzie będzie lepsze? Tamte miały być doskonałe.

Teoretycznie tak. W praktyce często jest w ten sposób, że te infolinie zalewają nas w postaci jakiegoś spamu, najczęściej niechcianego przez nas, a nawet jeśli już idziemy gdzieś z konkretną sprawą, to też często ten bot jest bardzo, bardzo prostym wstępem i tak do porozmawiania z człowiekiem. Różnica między poprzednimi systemami, a tym, co oferują wielkie modele językowe jest taka, że poprzednie systemy najczęściej działały w postaci takiego prostego scenariusza. Nawet jeżeli pokrywają większość przypadków, z którymi przychodził człowiek, no to jest to właśnie ileś tam tych przypadków. Bot odgrywa jakąś tam regułkę, którą miał nagraną na każdy z tych przypadków i złożoność poprzednich systemów względem tego, co mamy obecnie była dużo, dużo prostsza. Wielkie modele językowe są uczone na gigantycznych zbiorach danych tekstowych. Później też są uczone na konkretnych przypadkach rozmów. I tutaj właściwie jedyna kwestia, bo bardzo możliwe, że pierwsze wersje, one też nie będą spotykały się z jakimś wielkim uznaniem ze strony ludzi, ale to być może tylko dlatego, że będzie trzeba trochę czasu, żeby pozbierać takie dane. Najlepiej, jakbym sobie miał wyobrazić taki proces, to dobrze byłoby mieć zarejestrowane w jakiś sposób, oczywiście z uwzględnieniem anonimizacji i tak dalej, takie realne przypadki rozmów, petentów z urzędnikami

i na tej podstawie przygotować taki model, żeby był w stanie analogicznie taką rozmowę przeprowadzać. W związku z tym to jest tylko kwestia tak naprawdę braku danych, żeby przejść od modelu już teraz całkiem dobrego do modelu, który myślę, że będzie już bardzo wiele rzeczy w stanie rozwiązać. I tutaj myślę, że dobra analogia jest taka, że może nie lubimy tych infolinii, ale każdy z nas, praktycznie wielu z nas korzysta z Google'a. i to pomimo tego, że tam Google czy inne tego typu systemy mocno nas ograniczają. One nas umaszynawiają, można by powiedzieć, że my musimy teraz coś, co normalnie wyrażamy w języku naturalnym uprościć do postaci jakiejś listy słów kluczowych. Urząd, paszport, dziecko, gdzie załatwić Enter. Nikt tak sobie nie rozmawia między sobą. A z wielkim modelem językowym możemy wprost powiedzieć, mam taki problem, chcę załatwić paszport dla mojego dziecka w wieku pięciu lat, co muszę zrobić, gdzie muszę pójść. I on wtedy zaczyna, odpowie mi też w języku naturalnym, a nie rzuci mi list w tą stronę, gdzie ja jeszcze muszę te 3, 4, 5 minut może poświęcić, żeby coś poklikać, coś poszukać. I myślę, że sam fakt, że choćby z takiego czata GPT w OpenAI korzystają już setki milionów ludzi na całym świecie. Ostatnio DeepSeek też pojawił się taki model, który też był modelem otwartym i też dziesiątki, ale już nie setki milionów ludzi korzystają. Myślę, że nie robią tego wbrew sobie i w imię jakiegoś wyższego masochizmu, tylko jednak dostają tam jakieś informacje, które są im przydatne. A skoro taka technologia może być przydatna do zastosowań ogólnych, to jej adaptacja do specjalistycznych zastosowań myślę, że może przynieść więcej korzyści niż straty.

Tylko oczywiście tutaj, skoro mówimy o sprawach urzędowych, mówimy o często bardzo wrażliwych danych, tak? Więc rozumiem, że w tym przypadku bezpieczeństwo takiego systemu jest jeszcze istotniejsze niż w przypadku jakiegokolwiek innego modelu językowego, czata GPT czy czegokolwiek innego, no bo tutaj wiemy na pewno, że ludzie będą się dzielić różnymi informacjami, które powinny pozostać poufne.

Tak i dlatego między innymi projekt PLLuM w założeniu miał być projektem modelu, który nie tylko jest zaadaptowany do języka polskiego oraz do tych różnorakich zastosowań specjalistycznych. Tu akurat na warsztat wzięliśmy sobie kilkanaście przypadków dotyczących właśnie takich spraw urzędowych, ale możemy sobie tu wyobrazić właściwie dowolne sytuacje, w których wymagana jest taka rozmowa klient z urzędem. W związku z tym chodzi o to, żebyśmy my ten model posiadali na własność, mogli zainstalować na naszych serwerach, a nie na jakichś amerykańskich, chińskich podstaw dowolne. w związku z tym, żeby ten przepływ danych odbywał się w pewnym kontrolowanym środowisku, nie poprzez właśnie jakieś API do systemu, który jest gdzieś zupełnie poza Polską, a nierzadko i poza Europą. Analogicznie jak mamy mnóstwo systemów informatycznych już, w którym ten przepływ danych występuje i też te systemy mają swoje zabezpieczenie, tak samo tutaj chodziło o to, żeby właśnie mieć ten model, mieć go u siebie, nawet jeżeli on będzie gorszy, a będzie tak, że on będzie gorszy niż chat GPT, choćby ze względu na jego wielkość. To są akurat, my pracujemy na modelach dużo mniejszych niż choćby takie klasy chat GPT czy Deep Seek i niewykluczone, że w przyszłości to się będzie zmieniało, aczkolwiek to jest taki rozsądny kompromis między jakością, a możliwościami, gdzie możemy taki model postawić i faktycznie, jak wyobrazimy sobie obsługę milionów użytkowników, to w całej Polsce nie ma tylu kart, żeby postawić ten model wielkości i czata GPT i Deep Seeka, który będzie obsługiwał miliony użytkowników. Ale jeżeli właśnie zawęzimy tę działalność do pewnej węższej grupy zastosowań, to ten model będzie przyzwoity, całkiem niezły, dużo lepszy niż takie typowe wyszukiwarki, robił, będzie swoją robotę,

my będziemy w stanie go hostować u nas, bez konieczności właśnie opłacania, w ogóle też pamiętajmy o tym, że te technologie są wysokomarżowe i one są bardzo drogie,

jeżeli chcemy je kupić na zewnątrz. Nvidia na każdej karcie narzuca marże chyba w wysokości tysiąca procent? Tego dokładnie nie wiem

i może nawet trudno się do takich danych dokopać, bo to pytanie, co tutaj mierzyć. Jak sobie zmierzymy wartość tej miedzi, krzemu, to pewnie będzie jeszcze więcej procent. Ale co do zasady tak, jest to produkt unikatowy, a ten charakteryzuje się taką ceną, że płacą ludzie tyle, ile są w stanie dać. Prawdopodobnie gdyby to wszystko umasowić, to choćby widać po kartach graficznych gamingowych, które technologicznie są bardzo podobne i tak naprawdę mają trochę dużo mniej pamięci VRAM, czyli tej takiej operacyjnej na karcie graficznej, ale na pewno ich koszt tam około 100 razy mniej nie jest uzasadniony tym, że są 100 razy tańsze w produkcji. Po prostu jest wielkie zapotrzebowanie na tego typu sprzęt i w związku z tym to wszystko winduje ceny w górę. Ale ja powiem inaczej, bo na drogim sprzęcie również stawia się droga technologii. W związku z tym marżę bierze firma produkująca karty, potem drugą marżę bierze firma, która zarządza takim modelem i wszystko. Być może nawet trzecią marżę bierze firma, która ten model obsługuje po to, żeby przygotować go na jakąś konkretną usługę.

W związku z tym, jak sobie wszystkie te koszty posumujemy, no to widać, że bardzo dużo możemy, w cudzysłowie, odzyskać poprzez niepłacenie tych wszystkich marsz, mając technologię u siebie.

To w takim razie jeszcze ostatnia kwestia w tej pierwszej części rozmowy, to kiedy to wszystko będzie gotowe? Kiedy można będzie faktycznie korzystać? Kiedy może być zacząć integrowany z m-obywatelem? Wiem, że oryginalnie zakładaliście, że projekt będzie zakończony gdzieś koło grudnia, ale zdaje się, że jeszcze go nie ma na wolności.

Projekt jest już ukończony. Notabene, ale to za chwilkę może do tego przejdziemy, bo jest już planowana kontynuacja. Ja nie chcę wyprzedzać faktów, bo oficjalne ogłoszenie dopiero wkrótce się pojawi, ale rozmowy już trwają i będzie kontynuacja właśnie związana z wdrożeniem, ponieważ Plum jako ten pierwotny projekt, który był w ogóle

roczny, szybki, to był taki, można powiedzieć, mocno prototypowy projekt związany z tym, żeby w ogóle sprawdzić, na ile my jesteśmy w stanie taki model zbudować i wszystko zakończyło się sukcesem. Modele, właściwie to jest cała rodzina modeli, to nie jest tylko jeden model, jest to rodzina modeli o takich rozmiarach od 8 do 70 miliardów parametrów. Te parametry, w wielkim skrócie możemy myśleć sobie o tym, im więcej ma parametrów, to tak jakby w mózgu ktoś miał więcej neuronów. Czyli im większy model, tym lepiej działający, no ale koszt tego jest taki, że potrzeba więcej właśnie tych kart graficznych, etc., do tego, żeby go obsługiwać. W związku z tym na pewno trzeba będzie znaleźć rozsądny kompromis między właśnie tą kwestią, na ile duży musi być model, byśmy byli w stanie tylu użytkowników, ile chcemy obsłużyć, a jednocześnie zapewnić tę jakość w miarę satysfakcjonującą. Także modele są już gotowe, one są już przekazane do ministerstwa i tutaj też mówię, nie chcę zdradzać pewnych dat, ale obiecuję, że krótce, czy właściwie to nie powinienem obiecywać za ministerstwo, ale z mojej wiedzy, którą mam, myślę, że mogę powiedzieć, że już niedługo, z grubsza w pierwszym kwartale tego roku, może szybciej, będziemy te modele mieli do pobrania już. Każdy będzie sobie mógł, no oczywiście każdy, który ma odpowiedni sprzęt, pobrać taki model i nawet używać u siebie w domu, tam w swojej instytucji, a również będzie dostępne takie okienko i my na Politechnice Wrocławskiej będziemy właśnie hostować takie okienko, gdzie też każdy będzie mógł sobie z takim modelem porozmawiać. To niekoniecznie będzie model, który jest opakowany w te usługi asystenta petenta, ponieważ to właśnie, to co prawda też już jest gotowe, aczkolwiek tak jak mówię, jest to pewien prototyp, który był dobrze przygotowany dla kilkunastu przypadków spraw urzędowych i od prototypu do wdrożenia trochę minie.

Czyli jakby szybko zobaczymy ten model ogólny. Oczywiście ten model ogólny, on też ma w sobie trochę tej wiedzy urzędowej, ale tu od razu uprzedzam, że wszystkiego nie wie, co więcej ten model, który będzie postawiony do porozmawiania, on nie ma aktualizowanej wiedzy, ponieważ żeby taki model urzędowy również miał wiedzę aktualizowaną, musi być opakowany w taki cały system, taka technologia nazywa się w skrócie RAG, Retrieval Augmented Generation, polega to na tym, że mamy model językowy, jakąś bazę tekstów, która właśnie stale musi być aktualizowana, bo oczywiście wiadomo, mamy stale zmieniające się prawo, nowe ustawy, etc., nowe regulaminy w urzędach, w związku z tym taki system ma bazę wiedzy w postaci tych dokumentów plus model językowy i później na podstawie pytania zadanego do modelu wydobywane są z tego pytania różnorakie słowa kluczowe i tak dalej. Sięgamy do tej bazy wiedzy klasycznie, tak jak to choćby robi Google ze swoją bazą wiedzy. Wyciągamy dokumenty, w których najprawdopodobniej jest odpowiedź. Te dokumenty trafiają do modelu językowego jako kontekst i model z tego kontekstu wybiera sobie to wszystko, co konieczne, żeby sformułować odpowiedź. I to docelowo będzie implementowane jako właśnie ta usługa dla obywateli, czy to we obywatelu, czy być może na stronach urzędowych, to jest jeszcze kwestia, która pewnie będzie ustalana i tego raczej szybko jest, to nie zobaczymy, a te modele właśnie takie do porozmawiania na tematy ogólne będą właśnie u nas hostowane w okienku. Kto wie, być może ten system ragowy też jako jakieś demo będzie udostępniony na pewno dostęp ma ministerstwo i już ministerstwo na przykład sprawdza sobie jak te systemy właśnie z taką bazą wiedzy są w stanie rozwiązywać różne kwestie żeby to masowo puścić do takiego obiegu dla wszystkich pewnie jeszcze trochę czasu minie no bo też nie jesteśmy tak naprawdę gotowi od strony sprzętowej nawet jeżeli jest technologia to uczynienie tej technologii dostępnej dla potencjalnie milionów użytkowników, to jest jeszcze duża, duża rzecz do zrobienia.

I o tym między innymi porozmawiamy w drugiej części.

Każdy wie, jak taki chat, no chyba prawie każdy, myślę, że spośród naszych słuchaczy każdy, każdy wie, jak chat GPT wygląda od strony użytkownika. A jak tego rodzaju model wygląda fizycznie? Wchodzimy do serwerowni i co widzimy? Co tam się dzieje?

Taki model fizycznie, można powiedzieć, że to jest plik. Plik, w którym są przechowywane parametry modelu, wagi. Możemy sobie wyobrazić to jako zbiór neuronów, każdy z nich ma jakąś wartość, w związku z tym nie jest to nic wyrafinowanego od strony informatycznej. Natomiast cała magia zaczyna się wówczas, gdy ten plik załadujemy do zestawu kart graficznych. Tu też dopowiem, że zwłaszcza te duże modele to nie jest coś, co sobie może każdy na takim zwykłym komputerze postawić. Te mniejsze owszem i to też jest w ogóle bardzo fajna sprawa. Ja myślę, że jesteśmy być może na początku pewnej drogi również takiej silnej demokratyzacji tego typu modeli. I kto wie, czy już te małe modele, nie jest to aż taki duży koszt, żeby sobie kupić kartę graficzną, przy pomocy której możemy nawet taki mniejszy model postawić u siebie na komputerze. Dlaczego karty graficzne? Przede wszystkim są to urządzenia, przy pomocy których można szybko mnożyć macierze. I prawda jest taka, i to jest największa różnica między tym, co dzieje się u nas w mózgu, a tym, co się dzieje w tych sztucznych sieciach neuronowych, że w modelu językowym te wszystkie parametry są poukładane właśnie w formie macierzy, w formie takich warstw. Warstwa po warstwie są przetwarzane te sygnały. Tu akurat w przypadku modelu językowego sygnałem jest tekst, wprowadzamy ten tekst na wejście do modelu, to jest przekształcane na wektory, czyli takie ciągi liczb, łatwo wektory przechowuje się w macierzach, w związku z tym mamy do czynienia z tymi macierzami, a wręcz z tensorami, czyli z takimi jeszcze wektorami wyższego rzędu, można by powiedzieć, taka macierz w wielu wymiarach. I to efektywnie karta graficzna jest w stanie przemnażać w dużej ilości. No i teraz model jest wielki.

Wektory, warstwy i tak dalej, to jest coś, co tak czy inaczej w grafice się wykorzystuje, tak?

Tak jest, oczywiście. Dlatego tak dobre są do tego karty graficzne. I wcale one nie były pierwotne przewidziane do tego typu celów, ale w praktyce świetnie się sprawdzają. Oczywiście różnica jest taka, że u nas w głowie neurony są połączone bardziej w postaci takiego grafu. Może być tak, że są neurony, które mają mało połączeń, dużo połączeń.

To nie jest tak, że ten sygnał pięknie sobie idzie warstwa po warstwie od punktu A do punktu Z, tylko właśnie jest to dużo, dużo bardziej złożone. A w przypadku właśnie takiego modelu mamy ten przepływ taki od początku do końca tego sygnału. No i na każdej z tych warstw sygnał jest modyfikowany. Właściwie większość tej sieci neuronowej to jest coś w postaci takiej neuronowej bazy wiedzy, aczkolwiek tam nie ma przechowywania tekstów, które gdzieś tam model widział w procesie treningu, wprost. To trochę jak my przeczytamy książkę, jesteśmy w stanie w miarę powiedzieć, co się w tej książce działo, ale tak zacytować słowo w słowo, ach, nie licząc savantów, to mało kto z nas potrafi. W związku z tym nawet model językowy z grubsza nie jest takim savantem.

No chyba, że jest właśnie tym systemem ragowym, w którym jest ta baza wiedzy i tam można sobie sięgać wręcz wprost do tekstów. No więc tak to wygląda od kuchni. No i właśnie, teraz jak mamy wielki model językowy, to on się na jednej karcie nie zmieści. W związku z tym potrzebujemy całą serwerownię. Serwerownia składa się z takich węzłów. Do każdego węzła możemy tam wsadzić na przykład, no u nas na przykład serwerownia składa się z 75 węzłów. W każdym węźle siedzą 4 karty graficzne. One też muszą być połączone takimi bardzo szybkimi interfejsami, żeby te dane mogły sobie szybko hulać między węzłami. No i dzięki temu możemy pakować tam modele, których wielkość znacznie wykracza poza rozmiar takiej karty graficznej. Tu dodam, bo my akurat u siebie na Politechnice mamy takie karty z NVIDII H100. Jedna taka karta to jest koszt około 150 nawet do 200 tysięcy złotych. Jest ich 300 ponad w tej serwerze, 304 dokładnie. Także na tym sprzęcie można już naprawdę duże modele, nawet dużo większe niż Dipsik hostować, a nawet wielkości Dipsika trenować, chociaż to no mimo wszystko w naszej serwerowni trwałoby to bardziej miesiące, a może i lata, a nie dni bądź góra tygodnie, tak jak w MET-cie, czy tam MET-a, czyli firma, która jest właścicielem Facebooka, czy też tam w Google'u, w Amazonie, gdzie tych kart graficznych mają setki tysięcy. No więc tutaj taka jest przewaga tej konkurencji zagranicznej, ale my też chyba nie chcemy się bić na najlepsze modele na świecie. To co my możemy zrobić, to brać te modele, które już gdzieś ktoś przepalił te miliardy dolarów na to, żeby wytrenować dobry model. My możemy je wziąć i efektywnie dotrenować, zaadaptować po to, żeby one właśnie były lepsze dla języka polskiego, lepsze dla pewnych zastosowań. W związku z tym, no tak to średnio mniej więcej wygląda od kuchni. Można powiedzieć nic ciekawego, serwerownia jak każda inna, no cała tutaj wielka rzecz dzieje się właśnie w tych wagach sieci, w tym wnioskowaniu opartym o uczenie maszynowe, choć też jak widzimy nie jest to jakaś wielka filozofia, nie ma tam jakiejś samoświadomości, jakiejś maszyny, która nagle zaczyna myśleć w sposób niezależny. Dalej się to trochę wszystko sprowadza do mnożenia macierzy i takiego można by powiedzieć udawania ludzkiego zachowania. Aczkolwiek dobrze udająca człowieka maszynę, bardzo dobrze jest w stanie nam pomagać, jak widzimy. Także tylko tyle i aż tyle.

Czy ja mógłbym sobie taki model zainstalować u siebie w domu i zrobić takiego prywatnego asystenta, hala 9000 czy domowego Jarvisa?

Tak, w pewnym sensie tak. Oczywiście nawet są już teraz, tylko ponownie, wszystko jest kwestią skali. Jeżeli to będzie model jakiś mały, który przykładowo, nie wiem, jestem tłumaczem przysięgłym i tłumaczę z polskiego na angielski vice versa, to prawdopodobnie taki model o rozmiarze 7 miliardów parametrów całkiem nieźle to zadanie rozwiąże. Na tyle dobrze, że 90% pracy za mnie zrobi, pozostałe 10% to ja to czytam, weryfikuję, poprawiam błędy. doczytam, weryfikuję, poprawiam błędy. Jeszcze na tych poprawionych błędach model może później się nauczyć i dostosować się do mojego stylu, do jakiegoś sposobu działania. Być może jestem tłumaczem przysięgłym, który jeszcze pracuje w jakiejś określonej działce, gdzie klasyczne systemy tłumaczeniowe, już pomijając fakt, że ja na przykład jako ten tłumacz przysięgły nie mogę wysłać na takiego DeepL'a czy Google Translate tych tekstów, bo to przychodzą do mnie klienci z danymi prywatnymi, więc to, że ja to mam u siebie na komputerze i taką pracę wykonuję, to już taki 7-miliardowy model spokojnie ja jako taki przysięgły tłumacz mógłbym sobie na tym komputerze postawić i w ten sposób, jak powiedziałem, działać. Jeżeli będziemy chcieli oczekiwać odpowiedzi jakości Tata GPT z tą całą wiedzą i do rozwiązywania bardzo złożonych problemów, no pewnie nasz poziom satysfakcji będzie nikły. Także takiego czata u siebie nie bardzo. Nawet DeepSeek, który wyszedł i teoretycznie też każdy z nas może go sobie ściągnąć, pobrać i postawić u siebie. Koszt takiej zabawy byłby bardzo duży. Jest to teoretycznie możliwe, jeżeli kogoś stać nawet na karty gamingowe i postawienie takiej małej, prywatnej serwerowni, no myślę z grubsza za jakieś 100 do 200 tysięcy złotych. Jak ktoś ma luzem gdzieś w szafie niechcący, no to jest w stanie sobie coś takiego kupić. I prawdopodobnie w polskich realiach jeszcze czekałoby taką osobę całkiem wysokie rachunki za produkt. Na tyle wysokie, że dodam, że zdecydowana większość firm, które tego typu technologie serwują na świecie, są to rozwiązania przynoszące straty. Gdyby nie inwestycje, gdyby nie to, że firmy dużo większy zysk widzą w tym, żeby poznać, o co ludzie pytają, żeby mieć te setki milionów użytkowników już u siebie, ja pierwszy będę ich miał, a technologia będzie się rozwijać i z czasem będzie tańsza. Na razie większość firm z OpenAI na czele, ale też Microsoft tam dopłaca, głównie dopłacają do biznesu. Oczywiście na gorączce złota najlepiej zarabiają sprzedawcy łopat. Tymi łopatami, czyli kartami graficznymi są te karty graficzne obecnie i tu akurat Nvidia zarabia super.

Parę lat temu to była firma, którą znali tylko gracze komputerowi, a teraz jest jedną z największych na świecie.

Tak, tak, tak, zgadza się. Nawet przez chwilę chyba była jedną z najlepiej wycenianych

spółek z tych technologicznych. Teraz to troszkę spadło, chociaż to ponownie jest kwestia, nazwijmy to, pewnych różnych oczekiwań, a z drugiej strony takich, powiedzmy, teorii bez potwierdzenia. Mówi się teraz, że na przykład DeepSeek jest tym modelem otwartym, każdy sobie może go wziąć, w związku z tym cała ta przewaga świata zachodniego, włącznie z NVIDIA produkującą karty i tak dalej, to już jest sprawa, że tak powiem, rozwiązana. W praktyce wcale tak nie jest i myślę, że to jest jakieś tam chwilowe zawahanie nawet i na rynku cen kart graficznych, bo jednak NVIDIA jest największym, jednym z największych dostawców tego typu i nie widać na horyzoncie żadnej firmy, która byłaby w stanie prostać podobnym oczekiwaniom rynku, a z trzeciej strony nie ma na razie jakiejś lepszej technologii, jak muter kwantowy, czy na tyle jeszcze dalej posuniętej miniaturyzacji, która by spowodowała, że faktycznie ta sztuczna inteligencja z serwerowni trafi pod strzechy w takiej jakości, jak obecnie jest właśnie serwowana przez tych największych graczy na rynku.zy na rynku. Wspomniał Pan, że szykuje się sequel Waszego projektu. Jak to ma wyglądać? Tak, szykuje się i tutaj, tak jak mówię, jeszcze nie wszystkie detale są doprecyzowane, ale tyle, na ile mogę powiedzieć, jeśli chodzi o ideę tego sequela. Ma to być przede wszystkim projekt wdrożeniowy, w związku z tym ten nacisk na dalsze trenowanie modeli będzie dużo mniejszy niż na to, żeby właśnie zapewnić taką efektywną infrastrukturę do zapewnienia wielkoskalowego wnioskowania dla takiego modelu, czyli żeby obsłużyć w skrócie te być może setki tysięcy zapytań dziennie, które być może przyjdą do takiego systemu, plus dodatkowo integracja z różnorakimi systemami rządowymi, jak choćby M-Obywatel.

Być może ten SQL będzie również miał jakąś formę prototypową. Nie wiem, czy to się skończy tym, że faktycznie po zakończeniu tego projektu, który też jest obliczony na jakiś rok, wszyscy będziemy mieli to właśnie już tam w M-Obywatelu działające. Jest tu bardzo wiele niewiadomych, łącznie z tym, że my wszyscy się uczymy. To nie jest tak, że wiedza dotycząca tego, jak trenować modele, jakie później efektywnie wielkoskalowo wykorzystywać, że ta wiedza leży na stole. Wielcy gracze już to robią, ale jest to trochę wiedza tajemna. Owszem, jest ona trochę dostępna, zwłaszcza dla tutaj naszego zespołu, który przez ten rok bardzo dużo się nauczył. My też właściwie ten wielki klaster mamy od końca grudnia 2023 i nadal jest on dla nas codziennie, przynosi jakieś nowe wyzwania, obsługa tego sprzętu. Powiem też, to jest taka ciekawostka, bo zdawać by się mogło, że ludzie czy firmy masowo kupują te karty graficzne z NVIDII i to wszystko sobie pięknie działa, a w praktyce jest tak, że być może ze względu na fakt, że ten sprtyce jest tak, że być może ze względu na fakt, że ten sprzęt jest tak masowo produkowany, nie jest on wolny od błędów. I nawet w procesie takiego trenowania, jak tam chodziło naraz tych tam około 200 kart graficznych, żeby trenować jeden model przez kilkanaście dni, kilkadziesiąt, nierzadko się zdarzało, że co rusz losowo jakaś karta na przykład padała. Nie, że na zawsze, ale jakieś błędy wynikające, nie wiem, być może z niedoskonałości procesu technologicznego. Dzieją się takie błędy regularnie. To nie jest tylko u nas problem. W mecie tak samo raportowali, że regularnie miewają tego typu problemy. No i teraz obsługa tego wszystkiego, zwłaszcza produkcyjnie, to jest mnóstwo takich wyzwań, bardziej natury, myślę, nawet inżynierskiej, niż takiej naukowej. W związku z tym, podsumowując, na SQL wdrożenie, testy wydajnościowe, analiza, ile jesteśmy w stanie takim sprzętem obsłużyć ludzi, czego nam przede wszystkim brakuje, bo być może konkluzja będzie taka, że trzeba się szykować na poważne zakupy. biznesem jest trzymać ludzi. Ewentualnie poszukać tego złotego środka, czyli na ile dobrze jesteśmy w stanie przygotować być może jakąś rodzinę małych modeli do bardzo prostych zastosowań, średnie modele do tych trudniejszych, jeszcze większe do jakichś najtrudniejszych, a do tych już takich super merytorycznych spraw, tam nie wiem, ostatnie 20% wszystkiego, co zostaje takiemu urzędnikowi w tej masie spraw do ogarnięcia, no to będzie realizowane człowiekiem. Dalej będzie to jakaś taka sytuacja win-win, prawda? Że w tym momencie ludzie nie muszą przepalać swojego czasu na sprawy oczywiste, co też wiadomo, że dużo fajniej się pracuje z wyzwaniami, niż z taką prozą życia codziennego. I tutaj cały czas mam właśnie te nadzieje, że ta sztuczna inteligencja głównie nas odciąży od tych rzeczy nudnych, powtarzalnych, ale które trzeba zrobić, a zostanie nam samo mięsko, same rzeczy ciekawe, wyzwania, coś co też czyni nas potrzebnymi, tak, bo jeżeli sztuczna inteligencja jest w stanie zrobić rzeczy proste, obsłużyć robota, który wrzuca parówki do kartonu, poza to, o czym tutaj dyskutujemy, ale właśnie, czy życie ludzkie nie jest dużo bardziej cenne i nasz potencjał nie jest dużo większy, niż to właśnie, nie wiem, jaka byłaby tutaj metafora dla tego wrzucania parówek do kartonu w urzędzie, ale być może, jeżeli już przychodzi 50. petent z tym samym zestawem papierów do tego, żeby mu wydać dowód osobisty, tak sobie myślimy, kurczę, no przecież można by to zautomatyzować. Po co to cała kolejka, to jeżdżenie, to teraz akurat tu się już super rzeczy dzieją, prawda, bo informatyzacja tego typu rzeczy postępuje i nie ukrywajmy, tu nie trzeba żadnej sztucznej inteligencji, wystarczy dobrze napisany program, dobrze skonstruowany proces i wszystko sobie chodzi. No i właśnie ta sztuczna inteligencja jest czymś, co troszkę wykracza

poza te sprawy, mianowicie jak obsłużyć rzeczy takie, że my nie jesteśmy w stanie napisać algorytmu na ten szereg spraw takich nowych, albo nie jesteśmy w stanie zapewnić, żeby tam co miesiąc zespół programistów przygotowywał nam te nowe programy pod nowe ustawy i tak dalej, a z drugiej strony nadal, żeby to być może,

skoro nie jesteśmy w stanie obsłużyć wszystkiego, to chociaż te proste rzeczy, które być może, zasada pereto wszędzie działa praktycznie. I pewnie ten biedny urzędnik też ma 80% takiego prostego klepania, a 20% wyzwania. Lekarz to samo, bo my też, nie ukrywam, gdzieś tutaj cały czas myślimy o tym, jak te technologie można by również gdzieś zaszczepić w medycynie. Ile jest takich sytuacji, że teraz jest grypa, lekarze są zawaleni robotą i 80% przypadków to jest grypa, grypa, grypa. Proszę bardzo, tu lek przeciwgorączkowy, ewentualnie przeciwgrypowy. Proszę iść do łóżka. Sprawa oczywista, można by powiedzieć. Osłuchany pacjent, opukany, nie ma zapalenia płuc, to do domu i leżeć w łóżku. Ale to wszystko trzeba wypisać recepty ręcznie, trzeba go wysłuchać, potem to wszystko wklepać w komputer, to klepanie trwa.

No można by sobie wyobrazić, że jest mnóstwo takich rzeczy, gdzie już właśnie, no dalej programem byłoby to zrobić ciężko, ale już sztuczna inteligencja jest w stanie zamienić głos na tekst, wprowadzić to w odpowiednie rubryczki. Także pewne rzeczy dzieją się obok nas, a my się zajmujemy kwestiami merytorycznymi. Także to jest coś, taka ogólna idea, po co nam w ogóle to wszystko. 

To jeszcze tak naprawdę na koniec, ostatnia kwestia. Po tym, jak został opublikowany DeepSeek, nagle zaczęła się panika na amerykańskiej giełdzie, bo inwestorzy zaczęli się zastanawiać, czy te wielomiliardowe inwestycje, dziesiątki miliardów pakowane w szkolenie nowych modeli mają jakikolwiek sens, skoro Chińczycy zrobili to bez najnowszych kart graficznych za ułamek cen, którą to kosztowało u Amerykanów. Wspomniał Pan wcześniej o tym, że możemy być świadkami takiej demokratyzacji tego rodzaju modeli. Rozumiem, że Wasz projekt trochę się w to wpisuje. I też jako użytkownik widzę, że jak się korzysta z czata GPT, to mimo tego, że formalnie te możliwości systemu rosną, to już nie widać z perspektywy użytkownika wielkich zmian z wersji na wersję. Czy to jest tak, że kończy się epoka tych największych modeli, że teraz już rzeczywiście będziemy mieli, że sztuczna inteligencja będzie czymś takim jak poczta elektroniczna. Będzie oczywistym elementem korzystania z internetu, ale kto jest dostawcą będzie nam w zasadzie obojętne. 

Bardzo możliwe, że w tę stronę to idzie. Co więcej, jak wyszedł DeepSeek, to pojawiło się bardzo wiele firm, które też podobnie, analogicznie jak OpenAI, próbują zarabiać na tym, że każdy sobie może wziąć takiego DeepSeeka, kupić serwerownię, jak ma gdzieś tam pod ręką parę milionów, postawić go i serwować ludziom, tym, którzy chcą zapłacić za to, żeby właśnie z tym, a nie innym serwerem sobie rozmawiać. Więc myślę, że trochę w tę stronę to pójdzie. Co więcej, no właśnie, okazuje się, to jest taka sprawa, która dalej naukowo nie jest oczywista, ale u nas przynajmniej w pewnych eksperymentach to wychodziło, że najprawdopodobniej jest tak, że być może są konkurencyjne umiejętności modelu, które się wzajemnie znoszą. Trudno mi teraz tak na szybko przypomnieć sobie konkretne przykłady, ale wyobraźmy sobie, że mamy z jednej strony model, którego na przykład, nie wiem, filmowcy chcą używać do scenariuszy horrorów i pewnie tam ten model musiałby wtedy mówić takie rzeczy, co chat GPT powie nie wolno mi, a z drugiej strony chcemy zapewnić mieć model, który będzie bezpieczny dla takiego zabezpieczony, a z drugiej strony realizowałby te takie, powiedzmy, na krawędzi poprawności rzeczy. I takie, że być może jest duża pula użytkowników, którą chcemy w ogóle wyłączyć z tego typu zastosowań, ale jest też taka pula, gdzie dopuszczamy tego typu rozwiązania. W związku z tym, no tu się już szykuje jakby takie pierwsze pole do demokratyzacji rozwiązań. Też oczywiście OpenAI też ma swoje ograniczone moce przerobowe. Pewnie wszystkich case'ów na świecie, wszystkich dziedzin naukowych, czy jakichś kwestii związanych z wykonywaną pracą, no nie są w stanie ogarnąć dobrze, więc wyobrażam sobie, że będzie świat, nie wiem, być może modeli dla dziennikarzy, modeli dla filmowców, dla prawników, dla lekarzy i specjalizacja w tym zakresie, no raczej trudno, żeby jedna firma zrobiła wszystko, a my dobrze wiemy już teraz, że to nie jest tak, że ta sztuczna inteligencja uczy się po prostu sama z siebie, tylko najczęściej jest to mrówcza praca wielkiej grupy ekspertów, żeby dostosować taki model do tego, żeby on był dobry w danej dziedzinie. I właściwie plum, mogę też powiedzieć, że trzy czwarte pracy w plumie i trzy czwarte kosztów to właśnie była ta mrówcza praca mnóstwa ekspertów, żeby przygotować autorskie instrukcje, preferencje do trenowania takiego modelu. A sam proces trenowania, no to już jest taka trochę, można powiedzieć, inżynierska już na chwilę obecną sprawa, no z lekkim sznytem naukowym, bo wiadomo, cały czas szukamy optymalizacji, etc. Także wracając już do sedna, tak, myślę, że demokratyzacja jak najbardziej będzie postępować, ale to nie jest tak, że DeepSeek, wiele jest wskazówek mówiących o tym, że to był tylko taka plotka medialna, która się mocno rozniosła i kto wie, czy Chiny nie miały też jakiegoś interesu w tym, żeby tak, a nie inaczej na świecie o tym mówiono. Prawda jest taka, że najprawdopodobniej tych kart było dużo, dużo więcej, bo DeepSeek jako firma ma dostęp do dużo większej liczby kart, to jest raz. Dwa, wszyscy budujemy na ramionach olbrzymów i to nie jest tak, że oni nagle od zera sobie to wymyślili. Nasz Plum też nie jest modelem od zera robionym. Znaczy były tam trzy, takie ponad dwieście modeli w ogóle powstało w ramach samego projektu, w tym trzy, cztery, faktycznie tak z czystej ciekawości zrobiliśmy je od zera tylko na języku polskim, ale danych dla polskiego jest tak mało, że nie jesteśmy w stanie zbudować modelu o dobrej jakości tylko na polskich danych. Mało oczywiście w stosunku do ogromu danych w wielu innych językach, głównie w angielskim, będących na świecie. No i właśnie, i teraz być może nie opłaca się przepalać od zera tych miliardów dolarów raz jeszcze, żeby mieć dobry model, a już leży trochę dobrych modeli otwartych na rynku i DeepSeek z tego wszystkiego Ten strzał też z doświadczenia jako kierownik naukowy w projekcie PLLuM, mogę powiedzieć, że nie da się tak o zrobić tego jednego najlepszego modelu. Nawet jeżeli DeepSeek wydał 6 milionów dolarów na trening tej ostatecznej wersji, to jeżeli to wyglądało podobnie jak u nas, to wiedzmy o tym, że było około 200 innych wersji, na które być może też takie, jeżeli to były tak duże modele, takie strzały od miliona do sześciu milionów dolarów może szły. Dla porównania dodam, że na przykład cały PLLuM kosztował 14 milionów złotych, jeśli chodzi o budżet, to do podziału na sześciu konsorcjantów, z czego większość poszła nawet na wynagrodzenia dla ludzi robiących dane treningowe, niż na trening sam w sobie. Na trening kraftem mieliśmy milion złotych na prąd do klastra. Także jest to tego typu skala, ale ponownie, to nie jest tak, że DeepSeek teraz silnie posunął naprzód demokratyzację tych modeli. Trochę tak, ale nadal. Spójrzmy na to, że leży model na stole, niby każdy może sobie go wziąć i uruchomić, ale bez tych kilkuset tysięcy złotych na sprzęt nie ma co podchodzić. A tak dobry model, który właściwie może robić nam za eksperta w jakiejś dziedzinie, teoretycznie, na chwilę obecną nadal jest tak, że jego koszt będzie wciąż większy niż koszt tego człowieka. I to, że ktoś tam nam mówi, czy taki OpenAI, czy ktoś z DeepSeeka, słuchaj, po co ci ten ekspert, zapłać nam tutaj te 200 dolarów miesięcznie i będziesz miał super model, który robi te wszystkie rzeczy, no to na razie on robi. A jak my teraz z pracy wyrzucimy tych naszych wszystkich ekspertów i zapłacimy n razy tylu, ilu wywaliliśmy te 200 dolarów w firmie, to za rok może firma nam powie, teraz płacicie 300, a za drugi rok powie, teraz płacicie 3000, bo już mamy was. A teraz chcemy na tym zarabiać, już nie chcemy do tego dopłacać. I nagle się okaże, że ten ekspert był tańszy niż ten model. Także wszystko ma plusy i minusy, ale ponownie, patrząc na to, jak rozwija się świat, jak rozwijają się technologie, może w którymś momencie faktycznie stanie się to tańsze, każdy będzie miał, tak jak każdy ma teraz peceta, to ten model będzie miał u siebie całkiem niezłej jakości, dużo lepszej, może nawet zbliżonej do właśnie tego obecnego chatu GPT i OpenAI, czy też DeepSeeka. No ale wtedy pewnie na tych zupełnie nowych serwerowniach będą już tak wielkie modele do rozwiązywania tak złożonych rzeczy, że dalej wszyscy być może gdzieś się w tym odnajdą. Dla nas jako takich zwykłych zjadaczy chleba będzie wystarczające to, co oferuje ChatGPT. I też właśnie tutaj szybko wrócę do tej kwestii, do której Pan wspomniał, że ChatGPT jakby zdawać by się mogło z wersji na wersję już nie przynosi jakichś przełomów. Ja myślę, że tu też powoli firma wchodzi w taką kwestię zwykłego pragmatyzmu biznesowego. Po co robić model jeszcze lepszy, skoro ludzie są w miarę zadowoleni, płacą. Ja myślę, że u nich teraz trwa jakaś silna optymalizacja po to, żeby zachować tę jakość, jaką obecnie mają, ale redukując wielkość modelu, złożoność obliczeniową, a z drugiej strony dalej jest taki rozwój, tylko że okazuje się, że już te modele dużo, dużo lepsze, już nie są tak masowo dawane użytkownikom, tylko gdzieś one są dedykowane dla ekspertów. Choćby OpenAI też teraz serwuje taki model O3, model wnioskujący, taki głęboko wnioskujący. No, żeby z niego skorzystać, trzeba już płacić 200 dolarów miesięcznie. I to już eksperci, którzy korzystają z tego modelu, mówią, że jest bardzo duża różnica między tym dostępnym choćby za 20 dolarów, czy tym bezpłatnym, na korzyść oczywiście tego modelu droższego, no ale pewnie ten droższy już jest na tyle złożony, że setek milionów użytkowników nie obsłużymy. W związku z tym te przełomy się dzieją, ale już myślę, że na chwilę przynajmniej obecną nie będą to rozwiązania szeroko dostępne ze względu na koszt ich utrzymania.

To na koniec. Jeśli patrzy Pan teraz w przyszłość na to, co dzieje się z wielkimi modelami językowymi, to co jest Pana największą nadzieją, a co jest Pana największą obawą? 

Największą nadzieją jest to, że być może odzyskamy czas i to ponownie jest myślenie życzeniowe, bo najfajniej by było, gdybyśmy ten czas odzyskali dla naszych rodzin, na kwestie budowy relacji międzyludzkich, na to, żeby zadbać o zdrowie, o sport itd. To byłoby super, czyli sztuczna inteligencja odciążająca nas od tych rzeczy powtarzalnych, nie wiem, która sprawi, że być może normą stanie się, nie wiem, czterogodzinny dzień pracy, cztery dni w tygodniu. Jest to możliwe. Kiedyś normą było pracowanie 12 godzin przez 6 dni w tygodniu i też jakoś ludzie żyli. Także tu jest dla mnie, mam taką nadzieję, że właśnie odzyskamy ten czas, a największa obawa jest, że właśnie odzyskamy ten czas, a największa obawa jest, że ten czas zostanie nam wtórnie zabrany tak samo przez sztuczną inteligencję, która będzie napędzać różnorakie media społecznościowe, uzależniające nas od treści, generujące nam mnóstwo takiego właśnie śmieciowych treści, które będą w tak atrakcyjnym pudełku, że w wielkim skrócie pouzależniamy się od tego masowo. No i tego bym nie chciał, ale to ponownie też jest myślenie życzeniowe. Także myślę, że bardzo dużo zależy to od tego, jak sobie to wszystko poukładamy. Tak jak poukładaliśmy sobie w miarę oczywiście problem różnorakich używek, tak myślę, że i tu jednak ludzkość raczej nie ma takich dążeń samobójczych. Wypracowuje pewne rozwiązania, które jednak powodują, że próbujemy się ocalić od jakiejś zagłady.

I na to liczę, że i tu nie będzie wyjątku.

Dziękuję bardzo serdecznie. Naszym gościem był pan dr Jan Kocoń z Politechniki Wrocławskiej, kierownik naukowy projektu PLUM.

Dziękuję bardzo.