Jak diagnozować nasze zdrowie za pomocą... naszego głosu? [Miłego antropocenu! #14]

Gościnią tego odcinka jest dr Daria Hemmerling z Wydziału Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Akademii Górniczo-Hutniczej w Krakowie. Laureatka m.in. Nagrody Naukowej Polityki.i jedna z 24 kobiet, które należy obserwować w 2024 roku według magazynu Forbes Women. 

Muzyka: Michał Woźniak

Pełna transkrypcja rozmowy

Poniższy tekst powstał w oparciu o transkrypcję maszynową, może zawierać usterki językowe.

Wojciech Brzeziński: Dzień dobry, nazywam się Wojciech Brzeziński, witam Państwa serdecznie w podcaście Miłego Antropocenu, podcaście Tygodnika Powszechnego, w którym pokazujemy jak nauka i technika zmieniły nasz świat i jak mogą dalej zmieniać go w najbliższej przyszłości. Najnowsze technologie na zupełnie nieoczekiwane sposoby mogą pomóc nam diagnozować nasze własne choroby. A naszym gościem dzisiaj będzie pani dr Daria Hemmerling z Wydziału Elektrotechniki, Automatyki, Informatyki i Inżynierii Biomedycznej Akademii Górniczo-Hutniczej w Krakowie. Laureatka m.in. Nagrody Naukowej Polityki.i jedna z 24 kobiet, które należy obserwować w 2024 roku według magazynu Forbes Women. Witamy bardzo serdecznie Pani doktor.

Pani doktor zajmuje się m.in. tym, jak wykorzystywać nowe technologie do diagnozowania chorób na zupełnie nieoczekiwane sposoby. Bo kiedy myślimy o technologiach do diagnozowania, pewnie myślimy o jakichś wielkich tomografach, wielkich skanerach. Pani szuka trochę bliżej takich codziennych naszych przedmiotów, które nas otaczają.

Zdecydowanie tak. Właśnie to był jeden z moich głównych argumentów, jak szukałam tematyki, którą będę się zajmować, kończąc studia. Żeby te dane, które będę analizować, były powszechne i dostępne dla nas, jako użytkowników, żebyśmy mogli stosować to również w domu. I też z drugiej strony, biorąc pod uwagę tę sferę naukową, żeby tych danych było bardzo dużo, żeby te dane dostarczyły pewnych informacji i umożliwiły mi uzyskanie jakichś wyników, które potem możemy wprowadzić do rzeczywistości, a nie tylko o nich mówić.

Skoro jesteśmy przy mowie, to co nam może powiedzieć nasz własny głos?

Ogromnie dużo. Przede wszystkim, jeżeli kogoś tylko słyszymy przez telefon na przykład, to w dosyć prosty sposób możemy powiedzieć, jak ta osoba się czuje, to jeszcze są różne dialekty, które reprezentują różne regiony danego kraju, prawda? Inna jeszcze rzecz, no to przede wszystkim ten przekaz komunikacyjny, werbalny, czyli zrozumienie tego, jaką wiadomość ktoś przekazuje. A i jeszcze idąc kroczek dalej, to za pomocą analizy głosu możemy powiedzieć, czy ktoś nawet ma zatkany nos, to jest taki najprostszy przykład. Czy też może już choruje na bardziej zaawansowaną chorobę, jak na przykład grypa. I tutaj ciekawostki z mojej pracy, czy też być może jest bliski zawałowi serca, czy też cierpi na jakąś chorobę neurodegeneracyjną, być może depresję, którą niełatwo jest dostrzec w życiu codziennym, albo kiedy nie jesteśmy właściwie pewni sami swojej diagnozy. Być może taka analiza może nam pomóc w tym podjęciu decyzji pewnej, czy się udać do specjalisty już teraz, czy być może to jest jakiś chwilowy moment, zawahanie i trzeba poczekać.

W jaki sposób możemy z samego głosu, z samego sposobu mówienia dowiedzieć się, jaki jest stan czyjegoś serca?

Najpierw musimy zebrać odpowiednią reprezentatywną ilość danych. W ten proces zbierania danych zaangażowało się sporo lekarzy. Tutaj właśnie mieliśmy taki grant, który był finansowany z Narodowego Centrum Nauki, żeby wspomóc i też motywować tych lekarzy, żeby poświęcili czas na takie badania. I nagrania głosu uwzględniały różne zadania. Były to takie proste zadania powtarzania samogłosek, czytany tekst, czy też odpowiedź na jakieś pytanie. I równolegle, właściwie z lekkim opóźnieniem, nagrywaliśmy również grupę kontrolną, tak, aby móc później przy pomocy programowania wyznaczyć różnice te akustyczne i inne pomiędzy grupą zdrową, tak zwaną kontrolną, i grupą osób chorych. Jedynie co tutaj jest ciekawostką, że

naprawdę jest bardzo ciężko znaleźć osoby, które będą reprezentatywne w wieku, czyli podobny zakres wiekowy będą reprezentować, które nie mają cukrzycy, otyłości i nadciśnienia tętniczego w stosunku do osób, które już przebyły zawał serca. I przyznam szczerze, że jak wydawało mi się, że grupa medyczna jest najtrudniejsza do zebrania, to teraz myślę, że grupa osób zdrowych zaczyna być trudna do zebrania.

I rozumiem, że docelowo szkolimy algorytm, który wyłapuje różnice w mowie między ludźmi, którzy mają problemy, a tymi, którzy problemów nie mają, tak?

To tutaj są różne podejścia i początkowo, jako że język inżynierów może brzmieć tak samo jak język lekarzy, Tak, dobrze jest zwizualizować pewne parametry, które będą nam opisywać na przykład zmiany częstotliwości, zmiany amplitud w czasie, czy też zmiany różnych pasm nawet częstotliwości. I tych parametrów jest bardzo, bardzo dużo, bo jest ich myślę, że około 2000 istniejących, które jesteśmy w stanie wytłumaczyć lekarzom, że tutaj fałdy głosowe na przykład otwierają się czy zamykają z opóźnieniem.

I później korelować to z obrazem klinicznym takiego pacjenta, zwracając uwagę na przykład, że jeżeli tutaj pacjent wypowie dane słowo czy też jakąś spółgłoskę, samogłoskę, to na przykład te wartości danego parametru mogą być niższe czy wyższe, czy też ich perturbacje mogą być po prostu inne. To nie jest takie proste właściwie określić jednoznacznie i stąd właśnie są analizy, one są tak zwane wielowymiarowe, które pozwalają nam na połączenie kilku takich parametrów i też samo przetwarzanie sygnału, bo tak jak teraz mnie Państwo słyszycie, one jednak są w pewnym szumie.

To może być lodówka wokół, to może być okno otwarte, nawet uchylone. Przechodząc do analizy sygnałów, przede wszystkim trzeba wystandaryzować próbki głosu, które posiadamy, czyli standaryzować odległość od mikrofonu, czy też właśnie szumy, które są wokół nas, a następnie można już przejść do trenowania algorytmów, uczenia ich i tutaj są różne metody przy pomocy na przykład statystyki, czy też uczenia maszynowego i głębokiego. I w efekcie takich algorytmów dostajemy informacje, które parametry odstają, czyli różnią się między grupą kontrolną a grupą chorych, a również możemy otrzymać po prostu informację, czy pacjent już jest zdrowy, czy jest chory.

Wspomniała Pani o tym, że przynajmniej w przypadku osób z problemami z sercem, te zmiany w ich sposobie mówienia wynikają z zachowania ich aparatu mowy, czyli to są takie nieuświadomione, ale mechaniczne zmiany w tym, jak ich aparat mowy funkcjonuje, tak?

I świetnie to Pan ujął właśnie, to są zmiany biomechaniczne, gdyż każda choroba charakteryzuje się innym podłożem, prawda? Jest inny obraz kliniczny. Tworząc te algorytmy, na ten moment, mając określone, ograniczone liczby baz danych, tworzymy algorytmy w odniesieniu do konkretnych chorób. Czyli jeżeli nas interesują choroby kardiologiczne, to konkretnie jaka to jest choroba, jeżeli neurodegeneracyjne, to jaka to jest choroba i psychiatryczne, to również jaka to jest choroba. Myślę, że gdzieś kiedyś, jeżeli badacze będą w stanie połączyć swoje siły i różne jednostki medyczne w obrębie danego kraju, danego języka będą w stanie to zrobić, to wtedy możemy mówić o tym, żeby algorytm nam sam wskazywał, czy to się zaczyna już neurodegeneracja, czy to się zaczyna jednak zawał serca na przykład. Natomiast, żeby móc mówić o takiej multi klasyfikacji, no to te bazy danych naprawdę muszą być ogromne.

Ale rozumiem, że docelowo możemy mówić o systemie, który... Na przykład mój zegarek w tym momencie mówi mi, jeśli znajduję się w głośnym otoczeniu, które może zagrażać mojemu słuchowi. Mówi, jeśli tempo mojego chodzenia spadło niepokojąco i może świadczyć o jakimś schorzeniu.W tym momencie dochodzi jeszcze jedna warstwa. Nasz telefon może cały czas monitorować nasz głos i powiedzieć nam, kiedy dzieje się coś złego.

Dokładnie tak, zwłaszcza, że nasza mowa i głos to są najłatwiejsze źródła komunikacji, które nie wymagają od nas specjalnego wysiłku, dopóki jesteśmy na początku danej jednostki chorobowej, prawda? Bo jeżeli już mówimy o jakimś zaawansowanym stadium choroby neurologicznej, to niekiedy ten głos już jest takim znaczącym parametrem, gdzie już rodzina jest w stanie to zaobserwować. Natomiast naszym celem jest wykrywanie tych wczesnych objawów, które ciężko jest zarejestrować w życiu codziennym, kiedy te zmiany postępują z tygodnia na tydzień, czy z miesiąca na miesiąc nawet. I wtedy taka technologia, która wykorzystuje jednak nasze dane typu właśnie analizę głosu, no może nam wskazać, że oj, zaczęły się ściszać się i być może zwróć na to uwagę, a być może jeżeli już ta zmiana jakiegoś parametru głosowego tak bardzo odbiega już od norm, no to być może udajmy się do specjalisty.

Czy to jest tylko kwestia zgromadzenia wystarczająco dużego zbioru danych, żeby później porównywać?

Zbioru danych i odpowiednich inżynierów, z odpowiedzi kompetencjami, którzy będą w stanie to przetworzyć. Tak, aby nie zrobić ograniczeń zbyt wielkich, żeby algorytm nie był wrażliwy właśnie na te szumy np. wokół.

Jak daleko od tego jesteśmy tak realnie?

Myślę, że niedaleko już. Nie chcę mówić w miesiącach, ale myślę, że bezpiecznie jak powiem kilka lat.

Skąd w ogóle pomysł?

Myślę, że to zaczęło się, kiedy wybierałam kierunek studiów, kiedy szukałam inspiracji w tym, co może pomóc w życiu codziennym, bo ja miałam chorego tatę i pamiętam te badania medyczno-obrazowe, na które jeździliśmy. Lekarze się głowili, jaka jest przyczyna nadciśnienia tętniczego u mojego taty. W efekcie powstawały udary mózgu, które powodowały ogromne skutki i szkody w jego mózgu. I wybierając kierunek studiów, kierowałam się tym właśnie, że chciałabym pomagać przede wszystkim innym. Natomiast gdzieś pod koniec studiów, po wizycie na programie w Singapurze, stanęłam przed decyzją, czy ja chcę iść w tym momencie w obrazowanie medyczne, które właśnie wymaga wyspecjalizowanego sprzętu. Sztabu ludzi, którzy będą obsługiwać ten sprzęt i też funduszy ogromnych, aby móc zbierać takie dane, czy też mogę wykorzystać jakieś dane, które są bardziej mi dostępne. I wówczas jeden z profesorów na mojej uczelni zasugerował właśnie, że ta analiza głosu to może być fajny potencjał. I tak mnie zainspirował, że właściwie poszłam w tą drogę i pamiętam, że na początkowych latach każdy z uśmiechem przyjmował moje osiągnięcia, natomiast nie było tej wiary w to, że ta technologia może faktycznie być wykorzystana.

Natomiast na drugim roku studiów doktoranckich poznałam człowieka z jednego z profesorów, który wówczas pracował na Uniwersytecie w Niemczech, natomiast pochodził z Kolumbii. On wyjeżdżał właśnie z Europy, który pokazał mi ten świat, jak wygląda analiza głosu w chorobach neurologicznych. I wówczas spakowałam walizkę, spakowałam męża i wyjechaliśmy do Kolumbii za nim, żeby zobaczyć to, jak to wygląda zbieranie właśnie danych u takich osób i jak wygląda ta wstępna analiza przetwarzania danych. I tam poznaliśmy tą technologię, przywieźliśmy ją do Polski i moi rodzice mieli przyjaciela, który chorował właśnie na chorobę Parkinsona. I ten człowiek polecił mi swoją panią doktor, która była oddana nauce. I tak poznałam panią doktor Magdalenę Wójcik-Pędziwiatr, która uwierzyła w te badania, która poświęciła rok badań każdego weekendu zapraszając swoich pacjentów, za co ogromnie dziękujemy za to zaangażowanie. Ale dzięki temu zebraliśmy ogromną bazę danych, która pozwoliła nam nie tylko na detekcję choroby Parkinsona za pomocą głosu, ale również monitorowanie terapii, co polegało na tym, że pacjent był mierzony przed podaniem leków,

a później mierzyłyśmy go co pół godziny od spożycia dawki. Gdyż ci pacjenci, którzy cierpią na chorobę Parkinsona mają tak zwane stany on i off. On oznacza, że symptomy choroby są wyciszone, a off oznacza, że niestety te efekty drżenia się pojawiają, co utrudnia im normalne funkcjonowanie. I po lekach, które zjadają, te objawy powinny być łagodzone. I nasz organizm jest o tyle sprytny i inteligentny, że wraz z postępem choroby te dawki leków niekoniecznie muszą być coraz większe, bo nasz organizm jest leniwy i się chętnie przyzwyczaja, ale jest pewna granica, gdzie przekroczenie dawki leku może powodować zdwojone objawy. I my, obserwując takich pacjentów właśnie, mogliśmy ocenić te objawy, czy się łagodzą, czy być może właśnie się zwiększają i skorelować to właśnie z odpowiednimi parametrami akustycznymi.

Jak długo to trwało?

A ta rozszerzona rzeczywistość to taka technologia przyszłości naszej, gdzie możemy wyświetlać hologramy i mimo, że nas na przykład dzieli odległość w konwersacji, na przykład możemy wyświetlać swoje hologramy i się wzajemnie widzieć, uzupełniać tą lukę odległościową.

Czyli już nie mówimy tylko o głosie, tylko mówimy o, że tak powiem, całościowej analizie tego, w jaki sposób nasze zachowanie się zmienia.

Dokładnie tak. Akurat w przypadku chorób neurodegeneracyjnych, to zmiany głosowe występują u około 80% pacjentów. Stąd, żeby zwiększyć czułość detekcji takiego algorytmu, te kolejne parametry, które pozwolą nam na przykład ocenę drżenia, czy ono występuje permanentnie, czy też są jakieś zmiany w ciągu dnia, to może mieć znaczenie, prawda? Na pewno może nam dostarczyć obiektywnych miar dla lekarzy, którzy później będą mogli to wiązać z obrazem klinicznym.

Tak, skoro i tak jesteśmy otoczeni urządzeniami, które monitorują nas na tysiąc różnych sposobów, żeby nam sprzedawać reklamy, to niech przynajmniej te czujniki teraz się przydadzą do czegoś dobrego.

Dokładnie tak. Właśnie wczoraj byłam na wykładzie, gdzie omawiano naszą świadomość też, na ile jesteśmy świadomi, jak te dane są przetwarzane i w jaki sposób później są wykorzystywane, co też jest niezwykle ciekawe, bo myślę, że my dając zgody na telefonie czy urządzenie, które obsługujemy, nie czytamy tych zgód do czego są wykorzystywane.

No tak, a w tym momencie mogą być przetwarzane na tysiąc sposobów, w tym takie, które niekoniecznie nam się muszą podobać.

Dokładnie, chociaż myślę, że tutaj w kontekście zdrowia jest to niezwykle czuła rzecz i takie zgody muszą być jasno przedstawione pacjentom, żeby oni byli świadomi do czego udostępniają te dane. Natomiast myślę, że efekt udostępnienia tego dla nas samych, że należy iść do lekarza. Często nie mamy nawet być może na to czasu, żeby o tym pomyśleć, umówić się do specjalisty i sprawdzić, czy na pewno tam coś już się nie zaczyna dziać.

To jest bardzo ciekawe, bo my jesteśmy już trochę wytresowani przez nasze urządzenia. Jeśli telefon nam mówi, że dzieje się coś, idź do lekarza, to posłuchamy go chętniej niż, nie wiem, własnej matki.

A myślę, że jestem coś. Jeżeli nam telefon powie, że ruszam się za mało, znaczy ruszam się coraz mniej i sama po obserwacji swojej sylwetki mogę stwierdzić, oj, idzie to w złą stronę faktycznie, no coś się dzieje, w niepokojącą stronę to idzie. Albo właśnie, że brzmię coraz gorzej, czy mój tembr głosu się zmienia, no to być może faktycznie jest to dobra informacja, żeby się umówić jeszcze bez stresu i bez efektów na przykład szpitalnych.

To czego możemy się spodziewać w przyszłości? Jakie czujniki mogą zostać wykorzystane do tego, żeby nas monitorować? I co mogą nam powiedzieć o nas samych?

Myślę, że przede wszystkim ta technologia urządzeń przenośnych, czyli różnego rodzaju zegarki i te telefony, które każdy z nas ma pewnie w kieszeni każdego dnia i przez prawie całą dobę. Łącząc z tym, że nawet te telefony jednak są obok nas jak śpimy, prawda? Często nie są wynoszone do innego pomieszczenia. I teraz łącząc czujniki, które znajdują się w tych skomplikowanych już w sumie urządzeniach, one mogą rejestrować przeróżne dane, bo nie tylko to właśnie jak mówimy, ale jak ruszamy telefonem podczas mówienia, czy też podczas używania go w ogóle. I zegarkiem, ile kroków robimy, jak dużo się ruszamy, jaka jest nasza aktywność w ciągu dnia całościowo. Być może nawet rozpoznawanie czynności naszych jest możliwe przy pomocy takich urządzeń, prawda? I teraz czy jeżeli się wykluczamy na przykład

społecznie, coś spowodowane, że się gorzej czujemy, natomiast nam się wydaje, że po prostu mamy trochę cięższy okres, ale to już się wyciąga w miesiące, no to takie urządzenia mogłyby nam pomóc, a przynajmniej nas uświadomić w tym, że coś się zaczyna zmieniać, a w przypadku świata klinicznego dostarczyć lekarzom właśnie takich miar, które później mogą porównywać z wizyty na wizytę. Nie tylko subiektywnie okiem ludzkim, który ma jakiś błąd zakresowy i też może wpłynąć na taki pomiar dzień codzienny, a właściwie jego zmienność. Więc taka miara obiektywna, która zawsze w ten sam sposób będzie przeprowadzać pomiar, może na pewno dostarczyć kolejnych informacji. Na pewno nie na szkodę, ale na pozytywny efekt.

Diagnosta, terapeuta i trener w każdej kieszeni.

Byłoby super.

Rozumiem, że to tak naprawdę może być monitoring w czasie rzeczywistym też, nie? Ja sobie wyobrażam taki scenariusz, że lekarz może cały czas podglądać to, jak zmienia się aktywność jego pacjenta, nie tylko z wizyty na wizytę, tylko z dnia na dzień.

Dokładnie tak. I taka analiza z dnia na dzień, na przykład w przypadku pooperacyjnym, kiedy pacjent trafia do domu i dobrze byłoby go jeszcze raz zobaczyć.

I wtedy taki telefon może być zwrotny do pacjenta mówiący, proszę wrócić do gabinetu, wiem, że się gorzej czujesz albo obserwujemy zmiany, chcemy cię przeobserwować.

Myśli pani, że ludzie chętnie wejdą w takie systemy, w stosowanie takich systemów? Bo jakby też obawy o prywatność w przypadku różnych rzeczy, które nasze urządzenia robią, zawsze są, prawda?

Prawda to. Przyznam szczerze, że nie wiem. Ja myślę jakby w swoim kontekście, kiedy w domu są dzieci, kiedy nie mam faktycznie czasu tak dla siebie, że takie urządzenie mogłoby mi pomóc. Natomiast też w kontekście właśnie, kiedy obserwowałam zmiany neurologiczne mojego taty, myślę, że takie urządzenie też mogłoby pomóc, żeby nawet przebić się do lekarzy i powiedzieć, że tutaj ten głos naprawdę się zmieniał

i to, że my słyszymy, że jest mniej wyraźny albo, że jest faktycznie ściszony, to, że to ma znaczenie kliniczne już, a nie tylko, że nam się wydaje, bo tato ma gorszy humor, prawda? Więc to jest kwestia, że jeżeli chcemy, nie wiem, żeby zegarek śledził nasze kroki, to w podobny sposób może to korelować z naszym zdrowiem, prawda?

Czyli to już nie jest tylko widzimy się pacjenta, tylko można pokazać czarno na białym dane, że jest źle i musimy coś z tym zrobić.

Właśnie o to chodzi, tak, dokładnie. Taka notyfikacja, żebyśmy nie zapominali też o sobie i jeżeli się coś dzieje, w którymś kierunku się zmienia, to żeby ten człowiek był tego świadomy.

Przenieśmy się może o 10 lat w przyszłość. Gdyby Pani miała wyobrazić sobie taki najlepszy scenariusz rozwoju i stosowania takich technologii, jak by się zmieniło nasze życie?

Chciałabym, żeby pewne jednostki chorobowe były wykryte na tyle wcześnie, żeby to leczenie mogło znacząco opóźnić rozwój tych chorób, albo nawet im zapobiec. Jeżeli tu mówimy o chorobach właśnie kardiologicznych czy neurologicznych, żeby taka technologia mogła na przykład zdalnie monitorować nasze ciśnienie, żeby takie parametry, które mogą świadczyć już o wczesnych symptomach rozwoju danych chorób, żebyśmy też mogli uprościć nieco służbę medyczną i pomóc lekarzom w bardziej takim skutecznym leczeniu i porównywalnym, prawda, no bo jeżeli mamy jakieś miary i możemy je później odnieść do tego obrazu, to wtedy możemy mówić o tym, że coś ulepszamy. I tak chyba bym sobie to wymarzyła.

No pozostaje poczekać. Kiedy spodziewa się Pani takich pierwszych zastosowań, które już rzeczywiście trafiłyby do pacjentów?

To chyba nie ode mnie już zależy. Ja jestem naukowcem, natomiast tutaj od komercjalizacji wyników badań są firmy i myślę, że teraz już powstają pierwsze firmy,. Co możemy oczywiście korelować z mową również, czy nasze zakres słownictwa się zmienia, co jest pewnym też biomarkerem, czy też intonujemy inaczej dane słowa, bo na przykład w niektórych jednostkach chorobowych możemy skracać końcówki słów, czego w normalnym przebiegu dnia możemy nie dostrzec. Natomiast algorytm już jest w stanie być na tyle wrażliwy, że wychwyci, że ucinamy na przykład samą końcówkę wyrazów, czy też skracamy przerwy między wyrazami, czy też mowa się robi na przykład bardziej monotonna niż była to miesiąc temu. Więc obstawiam, że takie algorytmy już istnieją na świecie, reprezentowane, właśnie udostępniane przez firmy, natomiast przy takim globalnym zastosowaniu myślę, że jeszcze liczymy to w lata.

Dziękuję serdecznie. Gościem naszego podcastu była pani doktor Daria Hammerling z Akademii Górniczo-Hutniczej w Krakowie.

Bardzo mi miło, dziękuję.