ChatGPT myśli o liczbach podobnie jak my

Psychologia eksperymentalna ­powstała jako samodzielna dyscyplina w połowie XIX wieku. Do jej pierwszych działów należała psycho­fizyka, badająca ilościowo relacje między bodźcami fizycznymi – np. przedmiotami różnej wielkości, światłem o różnej jasności itd. – a naszą percepcją.

Prekursorami tej dziedziny byli Ernst Heinrich Weber i Gustav ­Theodor Fechner. Ten ostatni opublikował w 1860 r. pracę „Elementy psychofizyki”, w której argumentował, że nasz umysł przetwarza wszystkie ciągłe i nieciągłe wielkości tak samo, niezależnie od tego, czy porównujemy ze sobą masy przedmiotów (Fechner lubował się w badaniach z wykorzystaniem ciężarków), dźwięki o różnej głośności czy też zbiory kropek różniące się liczebnością.

Co jednak z wielkościami symbolicznymi, np. liczbami w zapisie arabskim?

Teoria wielkości

Współcześnie wielu psychologów i neuronaukowców przekonanych jest, że u podstaw naszej zdolności do radzenia sobie z wielkościami symbolicznymi, w szczególności liczbami, leży dokładnie ten sam stary ewolucyjnie system poznawczy, odpowiadający za przetwarzanie wielkości fizycznych.

Przekonanie to wyraża sformułowana w 2003 r. przez Vincenta Walsha z University College London teoria ATOM (od ang. A Theory of Magnitude, czyli teoria wielkości), zgodnie z którą w korze ciemieniowej ludzi i innych ssaków znajduje się elementarny mechanizm przetwarzania przestrzeni, czasu, ilości i wszystkich innych wielkości, o których możemy pomyśleć w kategoriach „więcej-mniej”. Z teorią tą spójne są wyniki badań neuroobrazowych – u osób badanych obserwowano analogiczne wzorce aktywności mózgu, niezależnie od tego, czy porównywały one ze sobą rozwartości kątów, długości linii czy wielkości liczb w zapisie arabskim.

Jak twierdzi neuronaukowiec Stanislas Dehaene z Collège de France, mamy tu do czynienia z „recyklingiem” obwodów neuronalnych, które dobór naturalny wyspecjalizował w wykonywaniu pomiarów. Podobieństwa w przetwarzaniu przez umysł (zarówno ludzki, jak i wielu gatunków zwierząt) różnych wielkości zaobserwować można również w prostych eksperymentach behawioralnych – nie trzeba za pomocą żadnej specjalistycznej aparatury mierzyć aktywności mózgu.

Gdy porównujemy dwa obiekty, radzimy sobie gorzej (tzn. popełniamy większą liczbę błędów i wolniej wykonujemy zadanie) wtedy, kiedy obiekty te są do siebie zbliżone rozmiarem, niż wtedy, gdy różnica w ich wielkości jest większa. Jeśli porównywane przedmioty różnią się od siebie o tyle samo, trudność zadania rośnie wraz ze wzrostem wielkości fizycznej. Innymi słowy, łatwiej porównać jest ze sobą obiekty małe niż duże.

Pierwsze z tych zjawisk psychofizycznych określa się jako „efekt odległości”, drugie zaś jako „efekt rozmiaru”. Zaobserwowano je m.in. w zadaniach polegających na porównywaniu długości linii, jasności światła czy liczebności przedmiotów (np. zbiorów kropek).

Co więcej, na przełomie lat 60. i 70. psycholodzy opisali efekt dystansu i efekt rozmiaru dla wielkości liczb wyrażonych zapisem arabskim. W zadaniach polegających na udzielaniu szybkiej odpowiedzi, która z dwóch prezentowanych jednocześnie liczb jest większa, osoby badane reagują szybciej i popełniają mniej błędów w przypadku bardziej odległych od siebie liczb, np. 1 i 9, niż w przypadku bliższych liczb, np. 1 i 2. Gdy dystans dzielący liczby jest natomiast jednakowy, jak np. dla par liczb 1 i 2 oraz 8 i 9, większą efektywność poznawczą obserwuje się dla liczb mniejszych.

Warto dodać, że efekty te obserwowane są nie tylko w przypadku prezentacji cyfr arabskich, ale też w innych formatach zapisu – np. za pomocą słów (liczebników).

Jak liczby na osi

Zgodnie z hipotezą zaproponowaną w 1970 r. przez psychologa Franka Restle’a, efekt dystansu numerycznego świadczy o tym, że nasz umysł reprezentuje liczby tak, jakby znajdowały się na znanej ze szkoły osi liczbowej, na której mniejsze wartości są po lewej stronie, a większe po prawej.

Aby wskazać, która z dwóch wyświetlonych im liczb jest większa, osoby badane najpierw muszą odnieść je do umysłowej osi liczbowej, a następnie wybrać tę, która znajduje się bardziej po prawej, przy czym im dalej względem siebie znajdują się punkty reprezentujące liczby, tym zadanie jest mniej obciążające poznawczo.

Warto dodać, że ten proces jest automatyczny i przebiega poniżej progu świadomości. Zgodnie z koncepcją umysłowej osi liczbowej efekt rozmiaru wskazuje z kolei na to, że odległości pomiędzy punktami reprezentującymi poszczególne liczby na umysłowej osi nie są jednakowe, ale że oś ta charakteryzuje się kompresją logarytmiczną. To oznacza, że na naszej umysłowej osi jedynka znajduje się dalej od dwójki niż ósemka od dziewiątki.

Liczne badania nad efektami dystansu i rozmiaru wskazują, że dla naszych umysłów liczby nie są więc specjalnym przypadkiem wielkości – radzimy sobie z nimi, wykorzystując podstawowy mechanizm pomiarowy, w który wyposażone są również inne zwierzęta. Choć inspirowane klasyczną psychofizyką teorie Walsha i Dehaene’a mają głęboki sens ewolucyjny, to łatwo zauważyć, że efekt rozmiaru jest rodzajem popełnianego przez nas systematycznie błędu poznawczego. Przecież zgodnie z wiedzą, jaką zdobywamy na poziomie szkoły podstawowej, różnica między 1 i 2 jest identyczna jak między 8 i 9.

Nie wszyscy zgadzają się jednak z koncepcjami Walsha i Dehaene’a w zakresie przetwarzania wielkości symbolicznych. Ale o tym za chwilę.

Umysł w maszynie

Można by sądzić, że sztuczna inteligencja, przynajmniej taka, która nie wchodzi w interakcje ze światem fizycznym, będzie traktować wszystkie liczby jednakowo i radzić sobie z ich porównywaniem bez popełniania błędów poznawczych. Aby to sprawdzić, kognitywiści z laboratorium Sashanka Varmy z Georgia Institute of Technology przyjrzeli się kilku dużym modelom językowym (ang. Large Language Models), czyli architekturom uczenia głębokiego wytrenowanym na ogromnych ilościach tekstu, w tym niezwykle popularnemu GPT (przy czym wykorzystano wersję starszą od obecnej).

W badaniu, w którym naukowcy wymuszali na modelu wielokrotne ­porównania dwóch liczb jednocyfrowych, zapisanych jako cyfry arabskie albo liczebniki, zaobserwowano dwa wspomniane efekty psychofizyczne. Efekt dystansu wystąpił zarówno w przypadku cyfr, jak i liczebników, ­natomiast efekt rozmiaru jedynie dla cyfr. Zjawiska te zaobserwowano dla czasów reakcji (poprawność wykonania tak prostych zadań jest w przypadku dużych modeli językowych stuprocentowa).

Varma i współpracownicy zinterpretowali te wyniki w duchu klasycznej koncepcji Restle’a, twierdząc, że podobnie jak w przypadku ludzi, czat GPT i inne duże modele językowe reprezentują liczby jako punkty rozmieszczone na wirtualnej osi liczbowej, ­cechującej się logarytmiczną ­kompresją. Badacze powstrzymali się jednak od spekulacji dotyczących mechanizmu powstawania tych efektów w pozbawionych obwodów neuronalnych sztucznych systemach.

Zachowania dużych modeli językowych, takich jak GPT, nie są skutkiem bezpośrednich zabiegów programistów, ale wyłaniają się z treningu na danych tekstowych. Twórcy dużych modeli językowych zapytani o to, skąd biorą się efekty psychofizyczne, odpowiedzieliby po prostu, że odzwierciedlają one strukturę korpusów wiedzy, a konkretnie – siły połączeń pomiędzy symbolami i częstotliwości ich występowania.

Taka odpowiedź może wydawać się mało satysfakcjonująca, ale niewykluczone, że mówi ona coś także o genezie efektów dystansu i rozmiaru numerycznego u ludzi.

Kilka lat temu, jeszcze zanim ChatGPT trafił do naszych komputerów, psycholog poznawczy Attila Krajcsi z Uniwersytetu Loránda Eötvösa w Budapeszcie zaproponował odmienne wyjaśnienie efektów psychofizycznych w odniesieniu do liczb symbolicznych. Zgodnie z rozwijaną przez niego teorią dyskretnego systemu semantycznego ludzki mózg przechowuje wiedzę dotyczącą liczb nie w formie umysłowej osi liczbowej, ale raczej leksykonu czy też sieci, której węzły reprezentują poszczególne liczby.

Według Krajcsiego efekt dystansu numerycznego bierze się stąd, że siła połączeń pomiędzy węzłami-liczbami jest proporcjonalna do wartości liczbowych i dzielących je odległości. Z kolei za efekt rozmiaru odpowiada częstotliwość, z jaką napotykamy poszczególne liczby. Na co dzień ludzie częściej stykają się z liczbami mniejszymi niż większymi – nic więc dziwnego, że mniejsze liczby, w których wyćwiczeni jesteśmy bardziej, przetwarzane są szybciej.

Idea Krajcsiego może tłumaczyć również, dlaczego zespół Varmy zaobserwował efekt rozmiaru jedynie dla cyfr. W korpusach treningowych modeli językowych różne liczebniki, w przeciwieństwie do cyfr, mogły być po prostu jednakowo częste.

Stuletnie metody

Niezależnie od tego, skąd w sztucznych systemach biorą się efekty psychofizyczne, istnieje jeszcze jedno podobieństwo między tym, jak nasze umysły radzą sobie z liczbami, a tym, jak robią to duże modele językowe.

ChatGPT zapytany o to, czy jest podatny na efekt dystansu numerycznego, odpowiada, że choć „może zrozumieć i dostarczyć informacji na temat różnych zjawisk poznawczych, jako model oparty o uczenie maszynowe nie jest podatny na efekty psychologiczne charakterystyczne dla ludzi”.

Mimo że istnieją poważne wątpliwości, czy w przypadku dzisiejszych dużych modeli językowych możemy mówić o rozumieniu czegokolwiek, nasuwa się myśl, że podobnie jak my na co dzień nie zdajemy sobie sprawy z tego, że łatwiej porównać jest nam 1 z 9 niż 1 z 2, również duże modele językowe nie dysponują wiedzą na temat własnych błędów poznawczych.

Badanie przeprowadzone przez zespół z Georgii jest pouczające: pokazuje, że zachowanie dużych modeli językowych można badać za pomocą metodologii sięgającej początków psychologii eksperymentalnej i że prowadzi ona do znacznie lepszych rezultatów niż zadawanie bezpośrednich pytań.©