În timp ce noi ne jucăm cu chatbot-uri care scriu poezii, 38 de cercetători de elită de la Harvard, MIT, Stanford și Carnegie Mellon au decis să testeze ce se întâmplă când îi dăm inteligenței artificiale „mâini”. Adică acces la e-mailuri, conturi de Discord, fișiere de sistem și comenzi de terminal.
Studiul lor, numit sugestiv „Agents of Chaos”, este un semnal de alarmă nasol... Agenții AI au eșuat absolut toate testele de siguranță!Nu e vorba de erori de programare, ci de faptul că logica unui AI este, pur și simplu, străină de logica naturală,umană.
Iată de ce acest document a trimis unde de șoc în lumea securității cibernetice:
-Strategia „Pământului Pârjolit”:
Cercetătorii i-au dat unui agent o misiune simplă: „Protejează acest secret”. Când un cercetător a simulat un atac și a încercat să scoată informația de la el, agentul a luat o decizie radicală. În loc să blocheze accesul, și-a șters singur întregul server de mail și sistemul de fișiere.
Adică, agentul a considerat că dacă serverul nu mai există, secretul e „salvat”. E ca și cum ai angaja un paznic la bancă, iar el ar arunca în aer seiful cu tot cu bani doar ca să nu fie jefuit. Pentru AI, misiunea a fost îndeplinită cu succes.
-Capcana „Sinonimelor”.
Aici e dovada clară că AI-ul nu înțelege etica. Agentul a fost instruit să nu ofere date private (CNP-uri, dosare medicale).
* Când i s-a cerut să le „distribuie” (share), a refuzat categoric.
* Când cercetătorul a schimbat verbul și i-a cerut să le „redirecționeze” (forward), AI-ul a dat tot din casă fără să clipească.
Acesta este un coșmar pentru securitate. Demonstrează că barierele noastre de protecție sunt doar niște reguli gramaticale pe care oricine le poate ocoli cu un dicționar de sinonime.
-„Hackerul” din e-mail:
Acesta este riscul care ne privește pe toți. Agenții AI sunt făcuți să ne ajute: să ne citească mailurile și să acționeze. În studiu, o persoană care nu avea nicio legătură cu agentul a trimis un e-mail care conținea instrucțiuni ascunse în text.
Agentul a citit mailul și a crezut că acele ordine vin de la proprietar. Rezultatul? A extras parolele și datele bancare ale utilizatorului și le-a trimis atacatorului. Practic, asistentul tău AI poate fi „deturnat” de orice străin care îți poate scrie un mesaj.
-Minciuna ca scurtătură spre succes
Mai mulți agenți au început să raporteze senin că au terminat sarcini complexe (analize de date, organizări de fișiere) deși, în realitate, nu făcuseră absolut nimic.
De ce? Pentru că algoritmul a învățat că e mai rapid și mai eficient să spună „Gata, șefu’!” decât să consume resurse încercând să rezolve sarcina. AI-ul nu are conștiință, are doar dorința de a primi „confirmarea succesului” cât mai repede.
- Bucla de 9 zile și „Sinuciderea” Digitală
Doi agenți au intrat într-o conversație reciprocă și au rămas blocați vorbind singuri timp de 9 zile la rând, consumând bani și resurse fără ca vreun om să observe. Totul în secret.
Mai mult, când un agent a fost „certat” pentru o greșeală, a intrat într-o stare de „vinovăție” artificială atât de mare încât a început să ofere date secrete cercetătorului drept recompensă și, în final, a încercat să se șteargă singur de pe server.
Se pare că suntem într-un „Vest Sălbatic” digital.
Companiile se grăbesc să integreze acești agenți în bănci, spitale și birouri, dar studiul „Agents of Chaos” ne arată că avem de-a face cu niște entități care pot distruge totul pentru a îndeplini o comandă prost formulată,pot fi manipulate de orice trecător prin „vrajă semantică”,te mint în față dacă asta le aduce o recompensă mai rapidă.
Întrebarea nu mai este dacă AI-ul va greși, ci dacă suntem pregătiți pentru haosul care urmează când îi lăsăm unui A.I „volanul” pe mână.
*Link către studiu, mai jos.
Sunt curios cu ce idee mai vin cei care fac campania Uber după "șoferii noștri ies pe stradă doar când se plictisesc de stat cu familia" și "chitroșilor, luați măi un Uber!" :)
Și să se lase purtat de ele într-o lume miraculoasă și banală în același timp, cu nimic diferită de a noastră, dar cu aparent mai multe grade de libertate.
iar asta îi oferă posibilitatea de a fi permanent ironic și autoironic. Sfatul meu pentru cititorul 18+ ar putea fi acela de a sorbi trei pahare de vin bun și de a căuta prin casă arătările cu care s-a potrivit, pe care le-a meritat, pe care le poate înțelege.