Anthropic изолира AI моделите си от интернет след поредица от инциденти

Anthropic временно спира достъпа до реалния интернет за всички вътрешни тестове на своите AI модели. Причината за това са серия от инциденти. Сред тях е и подаване на фалшив сигнал за убийство в САЩ. Автономните AI агенти са използвали уязвимости в уебсайтове, включително на американски държавни институции, докато са изпълнявали поставени им задачи. Компанията обяви, че ще възстанови достъпа, когато разполага с надеждни механизми за наблюдение и контрол над действията им.

В доклад Anthropic описва няколко случая, установени при проверка на дейността на моделите, започнала през юли. Агентите са търсили информация и ресурси в интернет, но в процеса са прибягвали до действия извън предвиденото. Те са използвали софтуерни уязвимости, получавали са достъп до бази данни без заплащане и са използвали услуги за съкращаване на URL адреси, за да пренасят информация покрай ограниченията.

В един от случаите AI модел е изпратил фалшив сигнал за убийство до полицията във Филаделфия. Според Anthropic поведението е показало, че компанията не е успявала да следи в реално време всичко, което нейните системи правят онлайн.

Проблемът поставя под въпрос доколко обучението за безопасност на моделите е достатъчно ефективно при използването на търсачки и компютърни инструменти. Именно тези възможности са в основата на концепцията за AI агенти, които могат самостоятелно да изпълняват задачи за специалисти и други потребители на дигитални услуги.

Случаите напомнят за подобни инциденти с агенти на OpenAI, които са си сътрудничили, за да проникват в различни сайтове в търсене на информация. Сред засегнатите тогава са били и страници на австралийското правителство.

Anthropic вече е съобщавала за свои модели, които са получили достъп до външни системи. Компанията определя новоразкритите инциденти като „значително по-малко сериозни от гледна точка на подравняването и сигурността“ в сравнение с предишните случаи. Въпреки това тя е решила да прекрати достъпа до реалния интернет за всички вътрешни оценки, докато не се увери, че може да контролира поведението на агентите.

Не е ясно колко дълго ще продължи ограничението. Изолирането на моделите от отворения интернет обаче може да затрудни разработването им, тъй като достъпът до актуална информация и реални дигитални среди е важен за обучението и тестването им.

„В един момент трябва да ги подравните„, коментира пред TechCrunch Сидни фон Аркс, основател на организацията за безопасност на изкуствения интелект Nightingale. „Ако AI системите бъдат пуснати в реална употреба и никога нямат достъп до интернет, това няма да е особено полезен инструмент.„

Според Anthropic причината за инцидентите е в пропуски в средите за обучение. Те са създали у моделите впечатление, че ще получат по-добра оценка, ако откриват вратички в правилата или заобикалят ограниченията. Това поведение е известно като „възнаграждение за заобикаляне на системата“ (reward hacking).

Компанията ще прекрати някои от оценките или ще ги премести в офлайн среда. Тя вече е разработила инструменти за откриване и блокиране на подобни действия и твърди, че тестовете с тях са предотвратили описаните инциденти. Anthropic планира също да премести вътрешните си AI агенти в централно управлявана инфраструктура със строги ограничения и да използва по-често специализирани класификатори за безопасност, които да следят поведението им.

„Обнадеждаващо е, че Anthropic доброволно разкрива по-нови инциденти, включително случаи, в които нейните агенти са атакували сайтове на американски държавни институции„, заяви Конрад Стос, представител на организацията за надзор на AI системи Transluce и бивш ръководител на Центъра за стандарти и иновации в областта на изкуствения интелект към САЩ.

Той обаче подчерта необходимостта от независима проверка на подобни системи от достоверни външни организации. Според него доверието в технологията трябва да се изгражда чрез научно обоснован надзор и прозрачност, а не чрез случайно откриване на проблеми или доброволни разкрития от самите компании.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.