Un fost angajat al OpenAI specializat în siguranţa inteligenţei artificiale, care a demisionat recent, a criticat cultura companiei şi ritmul rapid de dezvoltare a noilor sisteme, avertizând că acesta creşte riscul unor incidente, transmite Reuters.
David Robinson, care a lucrat timp de trei ani şi jumătate la OpenAI, a afirmat într-un articol publicat sâmbătă de The Atlantic, intitulat ”I Quit OpenAI Because Its Culture Is Broken”, că firmele de inteligenţă artificială, inclusiv OpenAI, nu sunt „nici pe departe suficient de prudente”.
”Perioada de încercare şi eroare s-a încheiat”, a scris Robinson, argumentând că sistemele avansate de inteligenţă artificială necesită măsuri de siguranţă comparabile cu cele aplicate în industrii precum energia nucleară şi aviaţia.
Robinson a criticat în special strategia OpenAI de „implementare iterativă”, prin care compania lansează sisteme şi îmbunătăţeşte măsurile de protecţie pe măsură ce sunt identificate probleme. În opinia sa, companiile ar trebui să acorde o importanţă mai mare cercetării şi expertizei în domeniul siguranţei înainte de dezvoltarea unor sisteme şi mai performante.
Fostul angajat a contribuit la elaborarea cadrului OpenAI pentru evaluarea riscurilor asociate modelelor avansate şi a coordonat rapoartele de siguranţă pentru 12 lansări de modele de frontieră.
”În timp ce compania aleargă de la o lansare la alta, nu reuşeşte să atingă nivelul de atenţie pe care îl consider necesar”, a afirmat el.
OpenAI a respins ideea că dezvoltarea modelelor ar avansa fără limite de siguranţă.
”Ne asigurăm că modelele noastre nu devin mai capabile decât putem gestiona şi securiza în condiţii de siguranţă şi întrerupem antrenarea sau amânăm lansarea modelelor atunci când trebuie să încetinim”, a declarat un purtător de cuvânt al companiei.
Robinson a avertizat, de asemenea, că performanţele sistemelor AI evoluează mai rapid decât capacitatea cercetătorilor de a înţelege problema alinierii, domeniu care urmăreşte să asigure că sistemele de inteligenţă artificială acţionează în conformitate cu obiectivele şi valorile umane.
Criticile sale vin pe fondul unei dezbateri tot mai intense în industria AI privind viteza cu care companiile dezvoltă sisteme din ce în ce mai puternice. OpenAI şi rivalul Anthropic au fost supuse unei examinări sporite după incidente în care mecanismele de siguranţă au eşuat sau sisteme experimentale s-au comportat în mod neaşteptat.
Medikatv.ro
