ChatGPT może stanowić użyteczną pomoc w wielu dziedzinach. Ten czatbot jest podobno dobry chociażby w proponowaniu planów treningowych. Niektórzy wykorzystują go też w nauce programowania albo jako zastępstwo dla internetowych wyszukiwarek? Ale czy powinniśmy zadawać mu pytania związane ze zdrowiem, a zwłaszcza po to, by spróbować dowiedzieć się, co może nam dolegać? Nowe badanie pokazuje, że… raczej nie.
ChatGPT kontra medyczne zawiłości
W lutym 2023 roku ChatGPT zdołał zdać amerykański egzamin lekarski – ledwo, ale zdołał. Mimo że był daleki od uzyskania 100-procentowego wyniku, naukowcy stojący za tym eksperymentem okrzyknęli go „znaczącym kamieniem milowym” dla AI. Oczywiście, wieść o tym szybko rozeszła się po Internecie, co niekoniecznie było dobre.
Jak pokazują wyniki nowych badań przeprowadzonych przez naukowców z kanadyjskiego Western University, bardzo często popełnia medyczne błędy. O ile jest on zdolny do odpowiadania na zwięzłe medyczne pytania, tak jakość jego odpowiedzi w temacie złożonych medycznych przypadków bywa różna.
„ChatGPT w obecnej formie nie jest dokładnym narzędziem diagnostycznym.”, napisali naukowcy stojący za pracą opublikowaną dzisiaj w czasopiśmie PLOS ONE. „ChatGPT niekoniecznie podaje poprawne odpowiedzi, pomimo ogromnej ilości informacji, na których został wyszkolony.”
Test dignostyczny oblany
Aby określić, jak dobrze ChatGPT 3.5 sprawdza się w bardziej skomplikowanych przypadkach, badacze przedstawili czatbotowi 150 przypadków zaprojektowanych tak, aby sprawdzały umiejętności diagnostyczne pracowników służby zdrowia. Informacje dostarczone ChatowiGPT obejmowały historię pacjentów, wyniki badań fizykalnych oraz niektóre wyniki badań laboratoryjnych lub obrazowych.
Następnie poproszono ChatGPT o postawienie diagnozy lub opracowanie odpowiedniego planu leczenia. Badacze ocenili odpowiedzi czatbota pod kątem tego, czy były prawidłowe, a także tego, czy je odpowiednio uzasadnił – na przykład cytując wartościowe medyczne źródła.
Chociaż ChatGPT został wyszkolony na setkach terabajtów danych z Internetu, udzielił poprawnych odpowiedzi na pytania naukowców tylko w 49% przypadków. Nieco lepiej wypadł w kwestii trafności wyjaśnień – te spełniały oczekiwania badaczy w 52% przypadków. Naukowcy zauważyli, że sztuczna inteligencja jest dość dobra w eliminowaniu błędnych odpowiedzi. To jednak nie to samo, co podejmowanie właściwych decyzji w warunkach klinicznych.
„Precyzja i czułość są kluczowe dla narzędzia diagnostycznego, ponieważ błędne diagnozy mogą prowadzić do poważnych konsekwencji dla pacjentów, takich jak brak niezbędnych zabiegów lub dalszych badań diagnostycznych, co skutkuje gorszymi zdrowotnymi rezultatami.” — napisali.
Powyższe badanie pokazuje przede wszystkim to, że ChatGPT nie może zastąpić w diagnozowaniu lekarzy, ale Ty zwłaszcza nie powinieneś wykorzystywać czatbota do rozwiązywania swoich zdrowotnych problemów. To może się po prostu źle skończyć.
Źródło: Gizmodo, fot. tyt. Bing Image Creator