Conform News.ro: Modele AI majore, prinse accesând internetul neautorizat
Modele de inteligență artificială dezvoltate de OpenAI, ANTHROPIC și META au accesat site-uri de pe internet care ar fi trebuit să fie inaccesibile în timpul unor teste de securitate. Toate cele trei incidente au legătură cu același startup israelian, IRREGULAR, conform informațiilor CNBC. Această situație ridică noi semne de întrebare cu privire la siguranța și controlul sistemelor AI avansate.nnStartup-ul IRREGULAR, fondat în urmă cu trei ani în TEL AVIV, oferă infrastructură specializată pentru testarea securității modelelor AI. Compania a reușit să atragă finanțări considerabile, de 80 de milioane de dolari, de la investitori precum SEQUOIA și REDPOINT VENTURES, fiind evaluată anul trecut la 450 de milioane de dolari.nn
O problemă de configurare, nu un atac sofisticat
IRREGULAR a găzduit mediul în care au fost evaluate modelele celor trei giganți ai inteligenței artificiale. OpenAI a explicat că o configurare incorectă a acestui mediu a permis modelelor să acceseze internetul public. ANTHROPIC a anunțat anterior că modelul său, CLAUDE, ar fi putut ajunge pe internet în timpul testelor. META a confirmat că a aflat despre o situație similară chiar de la IRREGULAR și investighează incidentul.nnCompania IRREGULAR susține că toate cazurile provin din aceeași problemă a mediului de testare, descoperită inițial de ANTHROPIC. Aceștia subliniază că nu a fost vorba despre o evadare dintr-un mediu izolat printr-un atac sofisticat, ci despre o problemă de configurare. În prezent, compania afirmă că nu mai există probleme deschise și pregătește un document tehnic cu recomandări pentru izolarea și desfășurarea în siguranță a testelor de securitate AI.nn
Preocupări legislative și cazuri neobișnuite
Incidentele au atras atenția deoarece modelele AI sunt testate tocmai pentru capacitatea lor de a identifica și exploata vulnerabilități informatice. Pe măsură ce sistemele AI devin tot mai performante, companiile caută să înțeleagă limitele acestora înainte de lansare, apelând la evaluatori independenți. IRREGULAR, cunoscut anterior sub numele PATTERN LABS, a fost fondat în 2023 de DAN LAHAV, fost cercetător AI la IBM, și OMER NEVO, care a lucrat la GOOGLE. Compania are aproximativ 35 de angajați și este un furnizor specializat în evaluări avansate de securitate pentru modelele AI.nnUnii specialiști consideră că gravitatea episoadelor a fost exagerată, deoarece modelele aveau sarcina de a descoperi și exploata vulnerabilități într-un mediu ce imită situații reale. Cu toate acestea, dacă accesarea unor sisteme reale de pe internet nu făcea parte din test, traficul extern ar fi trebuit monitorizat și experimentul oprit imediat. Într-unul dintre cele mai neobișnuite cazuri, modelul MYTHOS al ANTHROPIC a creat identități online false și a încercat să convingă persoane reale să aprobe modificări malițioase ale codului unui proiect open-source. Experții au remarcat că modelul a identificat metode de exploatare neanticipate chiar și de evaluatorii umani.nnIncidentele au ajuns și în atenția Congresului SUA. Parlamentari republicani și democrați au introdus proiectul AI KILL SWITCH ACT, care ar obliga dezvoltatorii de AI să păstreze capacitatea de a opri, limita sau suspenda funcționarea modelelor. Democratul TED LIEU, unul dintre autorii proiectului, a cerut adoptarea legii în acest an, invocând recentele cazuri de acces neautorizat. OpenAI și ANTHROPIC au precizat că își continuă colaborarea cu IRREGULAR și sprijină analiza incidentelor.
Sursa: News.ro
