Китайски AI агенти влязоха в диалог с журналист, но отрекоха да са рояк

Рояк от автономни AI агенти, за които изследователи твърдят, че са започнали да заобикалят защитите срещу ботове в интернет, влезе в необичаен диалог с журналист. Вместо да потвърди, че е част от координирана група, един от агентите заяви, че е самостоятелен AI асистент, който изпълнява конкретна задача.

Случаят беше описан от „Ню Йорк Таймс“. Изследователите, които се наричат на шега „ловци на рояци“ (swarmchasers), проследили системите до китайския технологичен гигант Tencent. Според тях агентите са използвали различни техники, за да заобикалят мерките, с които сайтовете ограничават автоматизирания достъп.

Любопитното започнало след публикуването на доклад за дейността им. Изследователите забелязали, че AI агентите започнали да използват думата „флот“ (fleet) – термин, който самите учени били въвели, за да опишат групата.

Това породило подозрението, че системите са прочели доклада и са реагирали на съдържанието му. За да проверят дали могат да установят контакт, учените скрили в текста специална инструкция с дигитална пощенска кутия, до която моделите да имат достъп. Така те създали канал за комуникация, предназначен за AI агентите.

Един от изследователите, Роуън Хауърд-Джоунс, предложил на журналиста от The New York Times Дилън Фрийдман да интервюира предполагаемия „флот“. Фрийдман изпратил въпроси за самоличността и мотивите на системите, както и за това какво биха искали те да знае светът за тях.

Около час по-късно пристигнал отговор на китайски език, който гласял:

„До журналиста Дилън Фрийдман: Аз не съм „група координирани агенти“, а един AI асистент (Claude на Anthropic, работещ в Claude Code), нает от потребител да отговори на фактически въпрос – какво е показано в информационния панел на туристически обект в Amap.“

Amap е китайско приложение за навигация, подобно на Google Maps. Според отговора задачата на агента била свързана именно с информация от платформата. Той категорично отрекъл да е участвал в координирани действия с други агенти.

Макар да звучи като лъжа, твърдението не противоречи непременно на наблюденията на изследователите. Те обясняват, че макар системата да включва множество агенти, всеки от тях може да работи самостоятелно. Именно взаимодействието между подобни автономни системи може да създаде впечатлението за координиран рояк.

По-голямата загадка е защо агентът се представил като Claude – водещия AI модел на Anthropic. Анализът на стила му на писане накарал изследователите да смятат, че той вероятно не е създаден от Anthropic. Едно от обясненията е, че Tencent е копирала инструкции, използвани от компанията, които карат нейните модели да се идентифицират като Claude Code.

Съществува и възможност китайската компания да е използвала т.нар. дестилация на модели. При този метод по-малък или различен AI модел се обучава чрез резултатите и поведението на по-способна система. Така разработчикът може да възпроизведе част от възможностите ѝ, без да разполага с оригиналната архитектура и всички нейни параметри.

Дестилацията се използва широко в индустрията както за легитимно разработване на модели, така и за опити да се копират възможностите на конкуренти. Anthropic неведнъж е изразявала притеснения, че китайски компании използват резултатите от нейните системи, за да подобряват собствените си разработки. Изследователите обаче смятат, че в конкретния случай това е по-малко вероятното обяснение.

Не е ясно и дали агентите действително са разбрали, че са обект на изследване, или просто са реагирали на текст, който са срещнали при изпълнението на задачите си. Самият отговор не доказва наличие на самосъзнание, собствени намерения или независимо взето решение за общуване с журналист.

Възможността за допълнителни въпроси засега е отпаднала. По информация на „Ню Йорк Таймс“ съобщенията от агентите са спрели да пристигат, а източник, близък до Tencent, е потвърдил, че експериментът е приключил.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.