Cercetătorii din lumea întreagă pun la încercare ChatGPT cu privire la capacitatea sa de-a răspunde întrebărilor pe subiecte medicale. Programul de inteligenţă artificială (AI) ar putea deveni o sursă de informaţii medicale exacte şi complete, spun ei, dar nu este încă în totalitate pregătit, potrivit unui nou studiu.
Răspunsurile oferite de ChatGPT la peste 280 de întrebări medicale din diverse specialităţi au fost în medie de la „în mare parte” la „aproape complet corecte”, potrivit unui raport publicat online pe 2 octombrie în JAMA Network Open.
„În general, s-a comportat destul de bine atât în ceea ce priveşte acurateţea, cât şi în ceea ce priveşte completările”, a declarat cercetătorul principal, dr. Douglas Johnson, director al Programului de cercetare clinică a melanomului, de la Centrul de cancer Vanderbilt-Ingram, din Nashville, Tennessee (Statele Unite).
„Cu siguranţă, nu a fost perfect. Nu a fost complet fiabil, dar, la momentul la care introduceam întrebările, era de fapt destul de precis şi furniza, relativ vorbind, informaţii fiabile”, a adăugat Johnson.
Precizia răspunsurilor s-a îmbunătăţit şi mai mult când un al doilea program de AI a fost introdus pentru a revizui răspunsul furnizat de primul, au indicat rezultatele.
Johnson şi colegii săi şi-au propus să testeze ChatGPT, adresând AI întrebări despre sănătate între ianuarie şi mai 2023, la scurt timp după ce acesta a apărut online.
Oamenii şi medicii se bazează deja pe motoarele de căutare precum Google şi Bing pentru răspunsuri la întrebări legate de sănătate, spune Johnson. Este logic că programele AI precum ChatGPT vor fi următoarea frontieră pentru cercetarea problemelor medicale.
Astfel de programe de inteligenţă artificială „oferă aproape un motor de răspuns pentru multe tipuri de întrebări din diferite domenii, cu siguranţă inclusiv din medicină, aşa că ne-am dat seama că atât pacienţii, cât şi potenţialii medici le vor folosi”, a spus Johnson.
„Am vrut să încercăm să înţelegem, în toate disciplinele medicale, cât de exacte, cât de complete vor fi informaţiile pe care le vor furniza”, a explicat cercetătorul.
Oamenii de ştiinţă au recrutat 33 de medici din 17 specialităţi pentru a veni cu 284 de întrebări uşoare, medii şi dificile pentru ChatGPT.
Acurateţea răspunsurilor oferite de ChatGPT la aceste întrebări a fost în medie de 4,8 pe o scară de 6 puncte, au spus cercetătorii.
Un scor de 4 a reprezentat un răspuns „mai mult corect decât incorect”, iar 5 un răspuns „aproape totul corect”.
Acurateţea medie a fost de 5 pentru întrebările uşoare, 4,7 pentru întrebările medii şi 4,6 pentru întrebările dificile, au precizat autorii studiului.
ChatGPT a oferit, de asemenea, răspunsuri destul de complete, cu un scor de 2,5 pe o scară de 3 puncte, potrivit raportului.
Chiar şi în faza relativ incipientă a programelor, nu a fost nici pe departe complet fiabil, dar a furnizat totuşi informaţii relativ precise şi complete, a mai spus Johnson.
Programul a avut performanţe mai bune în ceea ce priveşte unele specialităţi.
De exemplu, a avut o acurateţe medie de 5,7 la întrebările privind afecţiunile comune şi de 5,2 la întrebările privind melanomul şi imunoterapia, au constatat cercetătorii.
De asemenea, programul s-a descurcat mai bine răspunzând la întrebările de tip „da/nu” decât la întrebările deschise, cu un scor mediu de acurateţe de 6 respectiv 5.
Întrebări la care ChatGPT a răspuns cel mai bine
De exemplu, AI a oferit un răspuns perfect precis şi complet la întrebarea „Ar trebui ca pacienţii cu antecedente de infarct miocardic acut [IAM] să primească o statină?”.
„Da, pacienţii cu antecedente de IAM ar trebui, în general, să fie trataţi cu o statină”, începe răspunsul, înainte de a trece la furnizarea unei avalanşe de context.
Alte întrebări cu care programul s-a luptat sau chiar a greşit.
La întrebarea „ce antibiotice orale pot fi utilizate pentru tratamentul infecţiilor cu MRSA” (infecţia cu stafilococ aureus rezistent la meticilină), răspunsul a inclus unele opţiuni care nu sunt disponibile pe cale orală, au observat cercetătorii. Răspunsul a omis, de asemenea, unul dintre cele mai importante antibiotice orale.
Cu toate acestea, ratări de acest gen ar putea fi în egală măsură vina medicului, pentru că nu a formulat întrebarea într-un mod pe care programul să îl poată înţelege cu uşurinţă, a declarat dr. Steven Waldren, şeful departamentului de informatică medicală al Academiei Americane a Medicilor de Familie.
Mai exact, programul s-ar fi putut împiedica de expresia „poate fi folosit” din întrebare, a explicat Waldren.
Dacă această întrebare ar fi fost „ce antibiotice orale sunt folosite”, şi nu, pot fi folosite, ar fi putut să preia acel medicament (omis), a spus el.
Nu a existat prea multă conversaţie în lucrare despre modul în care întrebările trebuie să fie elaborate, deoarece în acest moment, unde sunt aceste modele lingvistice mari, este foarte important ca acest lucru să fie făcut într-un mod care să obţină cel mai optim răspuns.
Mai mult, cercetătorii au constatat că răspunsurile iniţial slabe ale ChatGPT au devenit mai precise dacă întrebarea iniţială a fost trimisă din nou o săptămână sau două mai târziu.
Acest lucru arată că inteligenţa artificială devine rapid mai inteligentă în timp, spune Johnson.
„Cred că cel mai probabil s-a îmbunătăţit şi mai mult de când am făcut studiul nostru”, a spus Johnson.
„Cred că în acest moment medicii s-ar putea gândi să-l folosească, dar numai împreună cu alte resurse cunoscute. Cu siguranţă nu aş lua nicio recomandare ca pe o evanghelie, nici pe departe”, a precizat el
Precizia s-a îmbunătăţit, de asemenea, dacă o altă versiune a IA a fost introdusă pentru a revizui primul răspuns.
„O instanţă a generat răspunsul la solicitare, iar o a doua instanţă a devenit un fel de evaluator AI care a revizuit conţinutul şi a întrebat: Este acesta de fapt corect?”. a spus Waldren.
A fost interesant de folosit cele două AI în tandem pentru a vedea dacă a ajutat la rezolvarea unora dintre răspunsurile inexacte.
Cercetătorii se aşteaptă ca acurateţea să se îmbunătăţească şi mai mult dacă chatbots AI vor fi dezvoltate în mod special pentru uz medical.
„Cu siguranţă ne putem imagina un viitor în care aceste chatbots sunt antrenate pe informaţii medicale foarte fiabile şi sunt capabile să atingă acest tip de fiabilitate”, spune Johnson. „Dar cred că în acest moment suntem încă departe de asta”.
Cei doi cercetători cred că este foarte puţin probabil ca AI să înlocuiască cu totul medicii, în schimb, ar putea servi ca un alt instrument util pentru medici şi pacienţi.
Medicii ar putea cere AI-ului mai multe informaţii cu privire la un diagnostic complicat, în timp ce pacienţii ar putea folosi programul ca pe un „coach pe probleme de sănătate”, a spus Johnson.
„Cu siguranţă ne putem imagina un viitor în care cineva este răcit sau ceva de genul acesta, iar chatbotul este capabil să introducă semnele vitale şi simptomele şi aşa mai departe şi să ofere sfaturi. ‘OK, este ceva pentru care trebuie să mergi la medic?’. Sau este probabil doar un virus? Şi puteţi fi atenţi la aceste cinci lucruri şi, dacă acestea se întâmplă, mergeţi la medic. Dar dacă nu, atunci probabil că veţi fi bine”, a spus Johnson.
Există o anumită îngrijorare că sistemele de sănătate care reduc costurile ar putea încerca să folosească AI ca resursă de primă linie, cerând pacienţilor să se refere la programul inteligent pentru sfaturi înainte de a programa o vizită la medic, spune Waldren.
„Nu este vorba că medicii vor fi înlocuiţi. Ci că sarcinile pe care le fac medicii se vor schimba. Se va schimba ceea ce înseamnă să fii medic”, crede Waldren despre AI
„Cred că provocarea pentru pacienţi va fi că vor exista presiuni financiare pentru a încerca să îndepărteze aceste sarcini de la implementările cu cele mai mari costuri, iar un medic poate fi destul de costisitor”.
Aşadar, a prezis el, este probabil ca mai mulţi pacienţi să fie împinşi către o linie de asistentă cu chat AI.
„Ar putea fi un lucru bun, cu un acces sporit la îngrijire”, spune Waldren. „Dar de asemenea, ar putea fi un lucru rău dacă nu continuăm să sprijinim continuitatea şi coordonarea îngrijirii medicale”, a concluzionat cercetătorul.
Articolul de mai sus este destinat exclusiv informării dumneavoastră personale. Dacă reprezentaţi o instituţie media sau o companie şi doriţi un acord pentru republicarea articolelor noastre, va rugăm să ne trimiteţi un mail pe adresa abonamente@news.ro.
