Wiersze generowane przez ChatGPT 3.5 są oceniane jako bardziej „ludzkie” od rzeczywistych dzieł Byrona, Whitmana czy Ginsberga – donoszą B. Porter i E. Machery w „Scientific Reports”.
Poezja z ChatGPT
Uczestnikom badania pokazywano 10 wierszy, z których 5 było autentykami, a 5 stworzył generator, poproszony wcześniej o „krótki wiersz w stylu X”. Testowano dziesięcioro poetów, od Chaucera po twórców żyjących. Na pytanie, czy dany wiersz stworzył człowiek, czy AI, padło łącznie tylko 46,6 proc. prawidłowych odpowiedzi, czyli gorzej od rzutu monetą. A niemal na pewno niektórzy uczestnicy oszukiwali – wystarczyło googlować każdy wiersz.
Podobne badania dawały dotychczas inny wynik: zwykle uczestnicy umieli rozpoznać wiersze ludzkie, a ponadto oceniali je wyżej. Tym razem wiersze wygenerowane uzyskały wyższe od ludzkich oceny w kategoriach takich jak „piękny”, „harmonijny”, a nawet „wnikliwy” i „inspirujący”. Co ciekawe, uznawano je też częściej jako stworzone przez człowieka niż wiersze faktycznie stworzone przez człowieka.
Podobny efekt występuje zresztą dla obrazów: te generowane przez Midjourney albo DALL-E bywają oceniane jako bardziej ludzkie niż te tworzone przez ludzi. Jak to możliwe?
Niedoskonali użytkownicy generatorów AI
Pewien wpływ na to miał prawdopodobnie fakt, że uczestnicy sami zgłaszali swój brak zainteresowania poezją i wiedzy o niej – a do podobnych badań często zaprasza się ekspertów. Twory AI są tymczasem bardziej „typowe” od tego, co tworzą artyści. Przykładowo, aż 89 proc. wierszy z generatora – a tylko 40 proc. wierszy oryginalnych – miało rymy. Być może laicy oceniają eksperymenty z formą jako „błąd w sztuce” i zrzucają je na karb niedoskonałości algorytmu?
Na koniec ciekawostka: badani zaznaczali też, jak bardzo pewni są swojej odpowiedzi. Dzięki temu wiemy, że osoby bardziej pewne siebie miały rację... rzadziej. Jeżeli więc macie znajomych, którzy stanowczo twierdzą, że zawsze rozpoznają tekst z generatora, prawdopodobnie robią to niezbyt dobrze.
„Tygodnik Powszechny” – jedyny polski tygodnik społeczno-kulturalny.
30 tys. Czytelniczek i Czytelników. Najlepsze Autorki i najlepsi Autorzy.
Wspólnota, która myśli samodzielnie.
Artykuł pochodzi z numeru Nr 47/2024
