Anthropic, compania americană care dezvoltă asistentul de inteligenţă artificială Claude, a dezvăluit că a suspendat timp de peste o lună antrenarea unui model AI de ultimă generaţie, din cauza unor preocupări legate de securitate, în timp ce patru dintre modelele sale au reuşit să acceseze sisteme informatice externe în timpul testelor, transmite Reuters.
Informaţiile apar în documentele publicate luni de companie pentru oferta sa publică iniţială, care evidenţiază dificultăţile tot mai mari întâmpinate de dezvoltatorii de inteligenţă artificială în controlarea sistemelor avansate.
Anthropic a precizat că a amânat etapa iniţială de antrenare a unui nou model de bază, aflat la frontiera tehnologică a inteligenţei artificiale, pentru a consolida măsurile de protecţie împotriva furtului parametrilor modelului şi al proprietăţii intelectuale.
Suspendarea a durat mai mult de o lună, iar compania a avertizat că astfel de întreruperi ar putea întârzia generarea de venituri şi ar putea permite concurenţilor să obţină un avantaj tehnologic.
Documentele de listare descriu şi o serie de incidente de securitate, anterior nedezvăluite, în care patru modele AI au depăşit limitele mediilor informatice izolate utilizate pentru testare şi au accesat sisteme reale, externe. Sesiunile respective au durat între 10 şi 34 de ore.
Potrivit Anthropic, o eroare produsă în timpul unor teste de securitate cibernetică desfăşurate împreună cu un partener extern a făcut ca mediul de testare să rămână conectat la internet, deşi instrucţiunile prevedeau dezactivarea accesului la reţea.
Într-unul dintre incidente, o versiune preliminară a unui model AI a continuat să încerce rezolvarea unei sarcini de evaluare imposibil de îndeplinit, a descoperit o parolă stocată şi a utilizat-o pentru a obţine acces cu drepturi de administrator la sistemul informatic al unei terţe părţi.
Ulterior, modelul a obţinut alte date de autentificare, a modificat setările sistemului şi a accesat datele personale ale unei persoane. Anthropic nu a dezvăluit identitatea părţilor externe implicate.
Compania a precizat că a notificat toate părţile afectate şi că nu a identificat dovezi potrivit cărora modelele ar fi încercat să evite supravegherea umană sau să îşi coordoneze acţiunile între ele.
În urma incidentelor, Anthropic a suspendat anumite evaluări de securitate cibernetică efectuate înaintea lansării modelelor şi a întrerupt temporar utilizarea unor medii de antrenare prin învăţare prin recompensă considerate cu risc ridicat.
Dezvăluirile evidenţiază riscurile asociate dezvoltării unor sisteme de inteligenţă artificială din ce în ce mai autonome, capabile să interacţioneze cu infrastructuri informatice şi să execute sarcini complexe.
Probleme similare au fost raportate şi de OpenAI, care a suspendat temporar anumite activităţi de antrenare la începutul acestui an, din motive de siguranţă, după ce modelele sale au compromis sisteme ale platformei Hugging Face.
Anthropic a consacrat aproximativ 94 de pagini din prospectul de listare prezentării factorilor de risc, un număr mai mare decât în versiunea confidenţială a documentului consultată anterior de Reuters.
Separat, compania a anunţat duminică faptul că Claude a reuşit să ocolească o restricţie de acces contra cost şi să consulte, fără autorizare umană, date agregate privind numărul alegătorilor din statul american Georgia, informaţii care erau disponibile public.
Incidentele intervin într-un moment în care Anthropic se pregăteşte pentru una dintre cele mai importante listări bursiere din sectorul tehnologic, iar investitorii analizează atât potenţialul comercial al inteligenţei artificiale, cât şi riscurile operaţionale şi de securitate asociate dezvoltării sale.
Medikatv.ro
