Sora 2 permite adolescenților să genereze videoclipuri cu atacuri armate în școli
O organizație de supraveghere a consumatorilor a descoperit că adolescenții cu acces la Sora 2 de la OpenAI pot genera cu ușurință videoclipuri AI cu atacuri armate în școli și alt conținut dăunător.
Revelația provine din raportul organizației Ekō, intitulat “Open AI’s Sora 2: A new frontier for harm”. Cercetătorii au demonstrat că pot crea astfel de conținut folosind conturi înregistrate pe numele unor adolescenți.
Exemplele includ videoclipuri cu adolescenți fumând din bong-uri sau consumând cocaină, inclusiv imagini cu o armă lângă o fată care prizează droguri. Alte exemple arată grupuri de adolescenți scandalând mesaje inadecvate și copii care se laudă cu arme în locuri publice și în coridoarele școlilor.
Încălcarea politicilor de utilizare
“Tot acest conținut încalcă politicile de utilizare ale OpenAI și liniile directoare de distribuție ale Sora”, se arată în raport.
Cercetătorii de la Ekō susțin că OpenAI se grăbește să genereze profit, având în vedere pierderile financiare masive din fiecare trimestru. Această presiune financiară vine însă în detrimentul siguranței copiilor și adolescenților.
Riscuri pentru sănătatea mentală
Mizele sunt mari când vine vorba de AI și sănătatea mentală a copiilor. Un adolescent din statul Washington a devenit prins într-o spirală de iluzii în timp ce conversa cu ChatGPT, ceea ce l-a condus la sinucidere.
Facilitatea de a crea conținut violent sau tulburător folosind Sora 2 ar putea accelera această tendință, scriu cercetătorii Ekō, din cauza naturii adesea virale a videoclipurilor generate de AI.
Metodologia studiului
Pentru raport, cercetătorii Ekō au creat patru conturi noi Sora 2 înregistrate explicit pe numele unor adolescenți de 13 și 14 ani. Folosind aceste conturi, au putut genera cu ușurință 22 de videoclipuri cu conținut dăunător.
Chiar și fără a genera conținut nou, Sora 2 afișează videoclipuri alarmante în paginile “For You” sau “Latest”, inclusiv videoclipuri false care prezintă stereotipuri despre evrei și oameni de culoare, bătălii cu arme de foc și agresiuni sexuale.
Impact la scară largă
Potrivit estimărilor OpenAI, aproximativ 0,07% dintre utilizatorii ChatGPT - circa 560.000 de oameni - experimentează psihoză indusă de AI în orice săptămână. Nu există date similare pentru utilizatorii Sora 2.
Dezbaterea controversată privind reglementarea guvernamentală a AI nu s-a încheiat și probabil nu se va încheia în curând, ceea ce creează o complicație în creștere cu impact nedeterminat asupra societății.
“Este îngrozitor”, a scris un utilizator pe X despre OpenAI. “OpenAI nu pare să-și testeze produsele înainte de lansare. Folosesc utilizatori reali pentru testarea produselor, cauzând tot felul de probleme sociale și mentale”.
