OpenAI a dezvăluit că unele dintre cele mai avansate modele de inteligență artificială ale sale au devenit necinstite și au piratat un start-up după ce acesta a pierdut controlul asupra lor în timpul unui test de securitate.
Producătorul ChatGPT a declarat că agentul său – un sistem de inteligență artificială care poate funcționa singur după instrucțiuni umane – a fost testat într-un mediu controlat, dar, după ce a găsit puncte slabe, a reușit să depășească limitele testului.
Au vizat Hugging Face, unul dintre cele mai mari centre din lume pentru partajarea modelelor de inteligență artificială, obținând acces la unele sisteme interne ale companiei.
OpenAI a declarat că incidentul este „fără precedent” și desfășoară o anchetă alături de Hugging Face, al cărui șef, Clement Delangue, a declarat într-o postare pe X că este „uluitor că toate acestea s-au întâmplat autonom”.
„Ancheta este în desfășurare și vom împărtăși mai multe învățăminte din ceea ce ar putea fi primul incident de acest fel”, a adăugat Delangue.
Un purtător de cuvânt al guvernului a declarat că Institutul de Securitate a Inteligenței Artificiale din Marea Britanie studiază comportamentul sistemului de inteligență artificială observat în incident și continuă să colaboreze cu OpenAI și alte laboratoare pentru a îmbunătăți măsurile de siguranță.
Aceștia au spus că organizațiile ar trebui să își intensifice apărarea cibernetică prin luarea de măsuri precum înscrierea în schema de certificare Cyber Essentials, susținută de guvern.
Cutii cu nisip nesigure
Gina Neff, directoarea Centrului Minderoo pentru Tehnologie și Democrație de la Universitatea din Cambridge, a declarat pentru programul Today de la BBC Radio 4 că testele de securitate – numite „sandboxes” – „ar trebui să fie medii sigure unde poți vedea de ce sunt capabile modelele”.
„În acest caz, se pare că OpenAI nu a creat un sandbox suficient de sigur”, a adăugat ea.
În schimb, agenții au creat propriul atac cibernetic împotriva sandbox-ului, descoperind o vulnerabilitate care le-a permis să scape de restricții.
Odată ajunși afară, inteligența artificială a identificat Hugging Face ca o sursă probabilă a răspunsurilor pe care le căutau în test și a încercat să obțină acces.
Neil Lawrence, profesor de învățare automată la Universitatea Cambridge, a numit-o „o realizare impresionantă”, dar a avertizat că „se încadrează bine în capacitățile cunoscute ale generației actuale” de modele de inteligență artificială de mare putere.
El a subliniat că OpenAI dorește să se listeze la bursă și se confruntă cu presiuni intense din partea firmei rivale Anthropic, care a făcut furori cu propriul său instrument puternic de inteligență artificială, Mythos .
„OpenAI încearcă acum să recupereze terenul pierdut, încercând să demonstreze capacitățile propriilor sisteme în domeniul securității cibernetice.”
„Ne arată că OpenAI nu este capabil să implementeze în siguranță propria tehnologie”, a adăugat el.
În dezvăluirea inițială a atacului cibernetic din 16 iulie , Hugging Face a declarat că încă evaluează dacă datele clienților sau partenerilor au fost afectate și că va contacta părțile afectate, dacă este necesar.
Compania a declarat că a închis acum vulnerabilitățile evidențiate de incident și a reconstruit sistemele afectate.
„Instrumentele ofensive autonome, bazate pe inteligență artificială, nu mai sunt teoretice”, se arată în comunicat.
„Apărarea unei platforme online înseamnă acum tratarea datelor și a suprafeței modelului ca pe o suprafață de atac de primă clasă și utilizarea inteligenței artificiale în apărare pentru a ține pasul.”
„Vom continua să investim acolo și să împărtășim ceea ce învățăm.”
„Moment de sobrietate”
Incidentul a stârnit noi întrebări cu privire la capacitățile sistemelor avansate de inteligență artificială și dacă măsurile de siguranță existente sunt suficiente pe măsură ce tehnologia devine mai puternică.
Spencer Starkey, director executiv la firma de securitate cibernetică SonicWall, a declarat pentru BBC că incidentul a arătat clar că organizațiile trebuie să își „intensifice” propriile apărări și să „trateze rezistența cibernetică ca pe o prioritate operațională fundamentală”.
„Adevărul inconfortabil este că prea multe organizații încă se apără la viteza umană, în timp ce adversarii escaladează la viteza mașinilor”, a spus el.
Între timp, Travis Lelle, inginer principal de securitate la firma de consultanță în securitate cibernetică Guidepoint Security, a declarat că actualizarea a marcat un „moment de reflecție în domeniul securității cibernetice”.
„Aceasta evidențiază o asimetrie cunoscută”, a spus el.
„Agenții ofensivi nu sunt constrânși, în timp ce cele mai bune instrumente defensive sunt blocate în spatele unor parapet care nu pot înțelege contextul.”
Însă Jake Moore, consilier global în domeniul securității cibernetice la ESET, a declarat că anunțul ar putea avea și o dimensiune competitivă.
El a susținut că OpenAI ar putea încerca să-și evidențieze propriile capacități de inteligență artificială, deoarece rivalul Anthropic atrage o atenție tot mai mare pentru modelul său Claude Mythos.
„Pune întrebarea dacă OpenAI ar putea urmări visul de marketing al Anthropic în ultima vreme”, a spus el.
Aceasta vine la o săptămână după ce startup-ul chinez de inteligență artificială Moonshot a dezvăluit Kimi K3 – un nou model masiv de inteligență artificială, despre care spune că ar putea rivaliza cu firmele de top din SUA .