Sztuczna inteligencja radzi sobie z egzaminem lekarskim. A co tam u Was, studenci?

Maksym SłomskiSkomentuj
Sztuczna inteligencja radzi sobie z egzaminem lekarskim. A co tam u Was, studenci?
Chatbot ChatGPT cieszy się rosnącą popularnością pośród internautów i nikogo nie powinno to specjalnie dziwić. Wykorzystujący model języka GPT-3 i opracowany przez OpenAI jest w stanie nie tylko precyzyjnie odpowiadać na proste pytania, ale też prowadzić rozmowy na wysokim poziomie złożoności oraz rozwiązywać zadania domowe i różnej maści testy. Czytanie ze zrozumieniem z arkusza maturalnego? Spróbujcie, poradzi sobie bezbłędnie. To dla niego pestka. ChatGPT niedawno sprostał nawet trzystopniowemu systemowi egzaminów United States Medical Licensing Examination (USMLE), oceniającemu wiedzę medyczną z różnych dziedzin, takich jak biochemia, rozumowanie diagnostyczne i bioetyka.

Polecamy: Ta aplikacja odrabia zadanie domowe za uczniów. Nauczyciele są bezradni

ChatGPT ze świetnym wynikiem amerykańskiego egzaminu medycznego

ChatGPT to duży model językowy zaprojektowany do generowania tekstu, przypominającego ten stworzony przez człowieka, poprzez przewidywanie sekwencji słów. W przeciwieństwie do większości chatbotów nie przeszukuje on zasobów Internetu. Zamiast tego używa procesów wewnętrznych do generowania tekstu.

historia

Takie polecenia to żadne wyzwanie dla chatbota ChatGPT. Spróbujcie postawić mu znacznie bardziej wymagające zadania… i tak sobie poradzi. | Źródło: mat. własny – zrzut ekranu

To właśnie ChatGPT uzyskał wyniki w przedziale od 52,4 do 75 procent w trzyczęściowym egzaminie medycznym (USMLE), po usunięciu pytań opartych na obrazach i nieostrych odpowiedziach. Próg zaliczenia każdego roku wynosi około 60 procent. Badacze z firmy technologicznej AnsibleHealth, którzy przeprowadzili badanie, powiedzieli, że osiągnięcie pozytywnego wyniku tego niezwykle trudnego egzaminu eksperckiego i dokonanie tego bez wsparcia ze strony człowieka stanowi znaczący kamień milowy w ewolucji sztucznej inteligencji.

W swoim badaniu naukowcy przetestowali ChatGPT na łącznie 350 pytaniach z USMLE z czerwca 2022 roku. Wyniki przewyższyły te osiągane przez PubMedGPT, odpowiednik modelu przeszkolony wyłącznie w oparciu o literaturę z dziedziny biomedycyny, który uzyskał 50,8 procent na starszym zbiorze danych pytań „w stylu” tych z USMLE.

Nie przegap: Aplikacja zasugerowała rozwód 37-letniej Brytyjce. Kobieta posłuchała

„ChatGPT osiągnął lub zbliżył się do progu zaliczenia wszystkich trzech egzaminów bez żadnego specjalistycznego szkolenia” – napisali autorzy badania. Konkluzja z badania była dość jednoznaczna. Wyniki te według badaczy sugerują, że ten lub podobne modele językowe mogą pomóc w edukacji medycznej, a potencjalnie nawet w podejmowaniu decyzji klinicznych.

Nie tylko ChatGPT

Drugie badanie, opublikowane na arXiv w grudniu ubiegłego roku, oceniało możliwości innego dużego modelu językowego, Flan-PaLM, na USMLE. Kluczowa różnica między dwoma modelami polega na tym, że Flan-PaLM został mocno zmodyfikowany, aby przygotować się do egzaminów, przy użyciu zbioru baz danych z odpowiedziami na pytania medyczne o nazwie MultiMedQA.

Sprawdź też: ChatGPT będzie zintegrowany z Operą. Przyspieszy przeglądanie Internetu



Flan-PaLM osiągnął 67,6-procentową dokładność odpowiedzi na pytania USMLE, czyli o około 17 punktów procentowych więcej niż poprzedni najlepszy wynik uzyskany przy użyciu PubMedGPT.

Część pierwsza USMLE jest zwykle podejmowana pod koniec drugiego roku szkoły medycznej, druga – na czwartym roku, a trzecia – po ukończeniu szkoły medycznej i pierwszym roku rezydentury.

Gdzie skorzystać z ChatGPT za darmo?

Najlepiej na oficjalnej stronie OpenAI. Czasami ze względu na gigantyczne zainteresowanie program nie działa – w razie wystąpienia takiej sytuacji uzbrój się w cierpliwość lub… zapłać za płatną wersję narzędzia.

Źródło: medRxiv, arXiv

Udostępnij

Maksym SłomskiZ dziennikarstwem technologicznym związany od 2009 roku, z nowymi technologiami od dzieciństwa. Pamięta pakiety internetowe TP i granie z kumplami w kafejkach internetowych. Obecnie newsman, tester oraz "ten od TikToka". Miłośnik ulepszania swojego desktopa, czochrania kotów, Mazdy MX-5 i aktywnego uprawiania sportu. Wyznawca filozofii xD.