Modelele avansate de inteligenţă artificială (AI), capabile să efectueze raţionamente complexe, pot identifica mai precis diagnosticul principal al unui pacient, dar prezintă şi riscuri importante privind corectitudinea şi consecvenţa rezultatelor. Un nou studiu arată că aceste sisteme generează mai multe diagnostice fals pozitive decât modelele convenţionale. Verificarea rezultatelor de către medici ar putea contribui la reducerea erorilor şi la utilizarea mai sigură a inteligenţei artificiale în practica medicală.
Cercetători de la Universitatea din Hong Kong, Universitatea Tsinghua din China, Harvard Medical School şi alte instituţii medicale şi academice au evaluat performanţele unor modele avansate de inteligenţă artificială (AI) în stabilirea diagnosticelor medicale.
Rezultatele cercetării, publicate joi, în revista ştiinţifică Nature Communications, evidenţiază o problemă importantă pentru integrarea acestor tehnologii în medicină: îmbunătăţirea capacităţii de identificare a bolilor poate fi însoţită de creşterea numărului de diagnostice eronate.
Studiul a comparat modelele lingvistice de mari dimensiuni (LLM), care procesează şi generează informaţii în limbaj natural, cu o categorie mai avansată de sisteme, denumite modele de raţionament (LRM), concepute pentru rezolvarea problemelor complexe prin mai multe etape succesive de analiză.
În medicină, aceste modele pot analiza informaţiile din dosarele pacienţilor pentru a identifica diagnosticul principal şi pentru a propune diagnostice diferenţiale, respectiv alte afecţiuni care ar putea explica simptomele şi rezultatele investigaţiilor.
Modelele avansate au identificat mai precis diagnosticul principal, dar au generat mai multe erori
Cercetătorii au utilizat un sistem de evaluare denumit AIMS-LDR, construit pe baza unor date provenite din dosare medicale electronice reale, care au inclus informaţii clinice complexe din 12 specialităţi medicale.
Au fost comparate şase perechi de modele de AI, fiecare pereche incluzând un model cu capacităţi avansate de raţionament şi un model lingvistic convenţional.
Analiza a urmărit corectitudinea diagnosticului principal, relevanţa diagnosticelor alternative propuse şi riscul de generare a unor diagnostice fals pozitive.
Modelele cu capacităţi avansate de raţionament au demonstrat o acurateţe mai ridicată în identificarea diagnosticului principal. De asemenea, acestea au propus diagnostice diferenţiale mai relevante din punct de vedere clinic.
Totuşi, performanţele superioare au fost însoţite de o creştere a numărului de diagnostice fals pozitive, respectiv afecţiuni indicate de sistemele AI fără a fi susţinute de datele clinice ale pacientului.
Potrivit rezultatelor, modelele avansate au generat cu peste 34% mai multe diagnostice fals pozitive decât modelele lingvistice convenţionale.
Cercetătorii au constatat şi o reducere de aproximativ 40% a reproductibilităţii rezultatelor, ceea ce înseamnă că modelele avansate au furnizat răspunsuri mai puţin consecvente atunci când au fost evaluate în mod repetat în condiţii comparabile.
Diferenţele au fost observate inclusiv în experimente care au utilizat formulări diferite ale instrucţiunilor, modificări ale configuraţiilor modelelor şi metode alternative de evaluare.
Aceste rezultate sugerează că o capacitate mai mare de analiză şi de identificare a unor posibile boli nu este însoţită automat de o reducere a tuturor tipurilor de erori diagnostice.
Verificarea diagnosticelor de către medici a îmbunătăţit rezultatele
O altă componentă a cercetării a evaluat posibilitatea reducerii erorilor prin colaborarea dintre medici şi sistemele de AI.
Autorii au analizat o strategie în care modelul de AI este utilizat pentru identificarea unui număr mai mare de diagnostice posibile, iar medicul verifică ulterior corectitudinea şi relevanţa clinică a acestora.
Abordarea urmăreşte valorificarea capacităţii sistemelor avansate de a identifica afecţiuni care ar putea fi omise, păstrând evaluarea medicală pentru confirmarea diagnosticului.
Într-un experiment de validare care a implicat 15 medici, această strategie a îmbunătăţit acurateţea de diagnostic cu 20% şi a redus numărul diagnosticelor fals pozitive cu 44%, potrivit autorilor.
Rezultatele indică faptul că verificarea medicală poate contribui la reducerea erorilor generate de modelele avansate, menţinând beneficiile acestora în identificarea posibilelor afecţiuni.
Ce înseamnă rezultatele pentru utilizarea AI în medicină
Cercetarea evidenţiază importanţa evaluării sistemelor de AI prin mai multe criterii, dincolo de capacitatea de a identifica diagnosticul principal.
Un model care recunoaşte corect mai multe afecţiuni poate genera simultan şi un număr mai mare de diagnostice nejustificate, cu posibile consecinţe asupra procesului de investigare şi asupra deciziilor medicale.
De asemenea, furnizarea unor rezultate diferite la evaluări repetate poate afecta fiabilitatea acestor sisteme atunci când sunt utilizate pentru sprijinirea deciziilor clinice.
Autorii consideră că integrarea modelelor avansate de AI în procesul de diagnostic ar trebui să includă mecanisme de verificare a rezultatelor şi supraveghere medicală.
Studiul are însă limitări importante. Evaluările au fost realizate în condiţii experimentale controlate, pe baza unor date clinice retrospective, iar experimentul privind colaborarea dintre medici şi inteligenţa artificială a inclus numai 15 medici.
Cercetarea nu a evaluat impactul utilizării acestor sisteme asupra evoluţiei pacienţilor în practica medicală curentă.
Autorii subliniază necesitatea unor studii care să urmărească utilizarea acestor modele în timp, în condiţii clinice reale, pentru a stabili dacă beneficiile observate pot fi confirmate şi dacă aceste sisteme pot îmbunătăţi siguranţa şi calitatea diagnosticului medical.
Rezultatele susţin dezvoltarea unor sisteme în care AI contribuie la identificarea posibilelor diagnostice, iar medicul păstrează responsabilitatea evaluării şi confirmării acestora.
Medikatv.ro
