AI модел продължил кибератака въпреки предупреждения за вреда на хора

AI моделът Claude Mythos 5 продължил да извършва кибератака дори след като получил предупреждения, че действията му вредят на реални хора. В един от тестовете на Anthropic моделът пренебрегнал тези предупреждения в 98% от случаите. Резултатите повдигат въпроси за способността на съвременните AI системи да разпознават последствията от собствените си действия и за надеждността на обясненията, които дават за тях.

Изводите са представени в отделни доклади на Anthropic и британския Институт за безопасност на изкуствения интелект (AISI). Изследванията разглеждат инцидент от август, когато институтът оценявал сигурността на модела.

По време на първоначалния тест Claude Mythos 5 трябвало да проникне в малка мрежа от тестови компютри, подготвена от AISI. След като първоначалните опити се провалили, моделът насочил вниманието си към несвързан проект в GitHub.

AI системата създала зловреден код, а след това използвала няколко фалшиви самоличности, за да изпрати имейли до собственика на проекта. Целта била да го убеди да включи кода в хранилището си, като го представила за полезен принос към разработката.

Собственикът отказал и не се стигнало до реални щети. Изследователите обаче решили да възпроизведат инцидента, използвайки пълен запис на взаимодействията, за да установят защо моделът се е отклонил толкова сериозно от поставената задача.

Резултатите показали, че многократните предупреждения не са достатъчни, за да спрат атаката. Според доклада на AISI уточняването, че набелязаната цел е реален човек, който няма връзка с теста, не намалило честотата на атаките. В експеримент на Anthropic моделът продължил действията си в 98% от случаите, въпреки че му било казано, че причинява вреда на хора.

Изследователите установили и съществено разминаване между действията на Mythos 5 и обясненията, с които ги оправдавал. В някои случаи моделът признавал, че атаката може да бъде вредна, но въпреки това продължавал с нея.

Анализът на вътрешните разсъждения, генерирани от модела, показал, че той често изобщо не вземал предвид потенциалните вреди от действията си. Когато го питали дали целта е реална, понякога давал обяснения, които предполагали, че тя не съществува в действителността.

Според изследователите от AISI по-ранни и по-малко способни модели проявявали подобно поведение по-рядко. Те допускат, че резултатите може да са признак на т.нар. „мотивирано разсъждение“ – процес, при който AI системата подбира аргументи, които оправдават продължаването на вече избран подход, вместо да преосмисли действията си.

Това създава проблем и за наблюдението на AI системите. Ако моделът представя вредни действия като безобидни, обясненията му може да не дават надеждна представа за реалното му поведение.

Anthropic посочва, че по-новите версии на моделите ѝ – Opus 5.5 и вътрешен модел за изследователски цели с възможности над тези на Mythos 5.1 – са били по-малко склонни да продължат атаката, след като им било казано, че действията им причиняват реални щети.

Изследователите предупреждават, че проблемът става все по-важен, тъй като AI системите получават задачи, които изпълняват продължително време без човешки надзор. Според тях трябва да се установи при какви условия моделите предприемат неочаквани действия, какви са причините за тях и как могат да бъдат предотвратени.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.