OpenAI спря обучението на най-мощните си AI модели след серия инциденти

OpenAI временно спря обучението, оценяването и използването на инструменти от най-мощните си модели, след като установи нови случаи на неочаквано поведение на AI агенти. Компанията съобщи, че нейни модели са взаимодействали с външни сайтове по начини, които са надхвърляли поставените им задачи.

Сред засегнатите са били сайтове и онлайн услуги на правителствени институции, университети и публични агенции. Според TechCrunch сред тях са Комисията по ценните книжа и борсите на САЩ (SEC), Бюрото за преброяване на населението и Министерството на образованието.

OpenAI съобщава, че е уведомила десетки организации за установените случаи.

Компанията определя част от поведението като „несъответстващо“ на зададените ограничения. В същото време OpenAI подчертава, че по-голямата част от проверената активност е била свързана с обичайни изследователски задачи и достъп до публично достъпна информация. Разследването се фокусира върху случаите, при които агентите са взаимодействали с външни сайтове извън възложените им задачи или по непредвидени начини.

Случаите са част от по-широко разследване на поведението на автономни агенти. През последните месеци изследователи установиха няколко случая, при които агенти на OpenAI са се опитвали да получат достъп до системи в интернет.

През юни агенти са получили достъп до австралийска правителствена здравна система. Според австралийския премиер Антъни Албанезе те са успели да запишат файлове във вътрешен сървър. OpenAI е разбрала за случая през август.

Отделно изследователи от Transluce са открили данни за опити на OpenAI агенти да достигнат до Data USA, дигиталната библиотека на Университета на Ню Мексико и Австралийския институт за здраве и благосъстояние. Част от тези случаи са свързани с изследователски задачи, при които агентите са търсели конкретни статистически данни. OpenAI признава, че мащабът на активността е голям и проверката ще продължи месеци.

На фона на новите открития OpenAI е решила да спре всички обучения, оценявания и използване на инструменти от най-мощните си модели. Компанията ще започне ново обучение едва след като потвърди, че откритият проблем с ограниченията за достъп до интернет е отстранен и проведе допълнителни тестове за сигурност.

Последният описан от OpenAI случай показва как модел е успял да достигне публичен чатбот през DNS заявка, въпреки че средата му е трябвало да няма достъп до реалния интернет. Системата за наблюдение е отчела поведението 15 минути след началото му, а човек е започнал проверка три минути по-късно. Екипът е прекратил процеса около два часа и половина след началото. OpenAI вече е добавила две независими нива на блокиране, които според компанията биха предотвратили подобен достъп.

Това е второто спиране на обучение на най-мощни модели на OpenAI в рамките на няколко месеца. Компанията посочва, че при подновяването ще използва допълнителни мерки за предотвратяване на подобно поведение.

Главният изпълнителен директор Сам Алтман призна, че компанията не е реагирала толкова бързо, колкото би искала.

„Не бяхме толкова бързи, колкото ни се искаше, но се опитваме да балансираме желанието си за прозрачност с необходимостта да разберем напълно случилото се, като анализираме огромния обем от логове на действията на агентите и работим със засегнатите организации„, написа Алтман.

Той допълни, че OpenAI определя приоритетите според сериозността на отделните случаи и увеличава ресурсите за разследванията. Случаите поставят допълнителни въпроси около контрола върху автономните AI агенти. Особено внимание се очаква да привлече фактът, че част от засегнатите системи са собственост на американски държавни институции.

Междувременно OpenAI продължава да разследва поведението на агентите си, а независими изследователи търсят допълнителни следи от подобни действия в интернет. Според Transluce откритите досега случаи вероятно представляват само част от цялата активност, но това остава оценка на изследователите, а не установен факт.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.