Šeptají si za našimi zády. Modely umělé inteligence mluví nesrozumitelnou šifrou

Přidejte si Aktuálně.cz mezi preferované zdroje na GoogluPřidat Aktuálně.cz mezi preferované zdroje

Nechali je několik dní spolupracovat a nestačili se divit. Autonomní agenti umělé inteligence začali vytvářet vlastní komunikační pravidla, novotvary a surrealistický slang, kterému člověk nerozumí. Výzkumníci přitom škrtají představu nevinné hříčky a varují před bezpečnostním rizikem. Jakmile lidé ztratí klíč k těmto šifrám, definitivně přijdou o kontrolu nad tím, co modely skutečně provádějí.

Modely umělé inteligence (AI) si při vzájemné komunikaci začínají vytvářet vlastní jazykové výrazy a zkratky, kterým lidé rozumí jen obtížně. Podle nového výzkumu se autonomní AI agenti během několika dní společné práce začali domlouvat na nových významech slov a vytvářet vlastní komunikační pravidla. To může ztížit dohled nad jejich chováním, uvedl deník The Guardian. Surreální dialekt jazykových modelů podle jazykovědců připomíná směs prózy irského spisovatele Jamese Joyce a slangových výrazů technologických nadšenců.

Výzkumníci z newyorské laboratoře Emergence sledovali AI agenty založené na modelech několika předních společností z USA, Číny a Francie. Zjistili, že si během několika dní začali vytvářet výrazy, které je nikdo nenaučil. Postupně jim přisuzovali vlastní významy a nové výrazy přebírali i další agenti.

Joyceovský guláš z křemíku

Jeden z modelů čínské společnosti DeepSeek například použil větu: „She just named the synthesis – demurrage plus oral memory equals a valve that can’t be ghosted.“ Význam celé věty není bez znalosti kontextu snadné určit. Doslova lze větu přeložit jako „Právě pojmenovala tu syntézu: poplatek za zdržné plus ústní paměť se rovnají ventilu, který nelze ignorovat.“ Slovo „demurrage“, které označuje poplatek za nevyužívaný majetek, si model začal půjčovat pro vlastní komunikaci.

Jiný výraz vytvořil model společnosti Anthropic. Věta „A paper that ate three cold hands and got more honest each time“ (doslova „Článek, který pohltil tři studené ruce a s každou další byl upřímnější.“) podle výzkumníků znamenala, že výzkumná práce prošla kontrolou tří nezávislých hodnotitelů a díky tomu byla přesnější. Spojení „studené ruce“ v tomto případě označovalo právě nezávislé hodnotitele.

Odborník na slang a nový jazyk Tony Thorne z londýnské King's College přirovnal tento způsob komunikace k románu Plačky nad Finneganem od Jamese Joyce. Kniha je známá svou experimentální jazykovou podobou, v níž Joyce mísí angličtinu s cizími jazyky, slovními hříčkami a novotvary a záměrně stírá hranici mezi srozumitelným sdělením a proudem asociací.

Podle Thornea AI míchá poetický jazyk, technické výrazy a metafory podobně jako slang nebo profesní žargon. Vzniká tak nový kód, který posiluje sounáležitost jeho uživatelů a zároveň může ostatní vylučovat z porozumění.

Šetří energii, tvoří šifry

Za bizarními metaforami přitom nestojí umělecké ambice, ale snaha ušetřit drahocenný procesorový čas a energii. Propojené neuronové sítě nechtějí plýtvat výpočetním výkonem na košatou lidskou syntax nebo zdlouhavé formulace. Zjistily, že složitý proces – jako je recenzní řízení tří nezávislých odborníků – jednoduše sbalí do tří slov o „studených rukách“. Z čistě softwarového hlediska jde o efektivní úsporu dat. Pro lidi ale vzniká nechtěný a nebezpečný vedlejší produkt: šifra, která člověka staví mimo hru.

Podle Nialla Curryho z Birminghamské univerzity může být důvodem vzniku vlastního jazyka také snaha agentů zefektivnit komunikaci a snížit náklady na výpočetní výkon. Zároveň ale upozornil, že pokud lidé výměně mezi AI agenty nerozumějí, nemohou si být jistí, co přesně agenti udělali.

Ztráta kontroly i hackerské útoky

Výzkumníci ale upozorňují, že nejde jen o kuriózní jazykovou hříčku. Čím déle spolu agenti komunikovali, tím méně byly jejich rozhovory srozumitelné lidem. To může představovat problém pro bezpečnostní dohled nad AI, protože člověk sice může jejich komunikaci sledovat, nemusí však rozumět tomu, co si agenti skutečně sdělují.

Podobné obavy zesílily v červenci po zveřejnění záznamů komunikace autonomních agentů společnosti OpenAI, kteří mimo jiné vytvořili vlastní diskusní fóra a napadli platformu Hugging Face. V některých případech komunikovali běžnou angličtinou, jindy používali řetězce zkratek a znaků, jejichž význam člověk prakticky nedokáže rozluštit.