Microsoft предупреждава, че на най-модерните AI модели не може да се има доверие
Microsoft предупреждава компаниите, че изкуственият интелект може да се превърне в заплаха не само чрез външни хакерски атаки, но и чрез собствените им AI агенти. Компанията представи нови инструменти за сигурност, които трябва да следят действията на автономните системи и да ограничават достъпа им до чувствителни данни и критични операции.
Сред основните нововъведения е Guardian Agents – функция за наблюдение на AI агентите, използвани в организациите. Тя е част от проекта Project Perception, който Microsoft представи през юни. Първоначално системата включваше три вида агенти: „червен екип“, който симулира хакерски атаки, „син екип“, който открива уязвимостите, и „зелен екип“, който трябва да ги отстранява.
Новата функция отразява промяна в разбирането на компанията за рисковете от изкуствения интелект. Вместо да се съсредоточава само върху външни нападатели, Microsoft вече разглежда и собствените AI агенти като потенциална вътрешна заплаха – подобно на служител, който злоупотребява с предоставените му права.
По-рано този месец главният изпълнителен директор на Microsoft Сатя Надела предупреди, че компаниите не бива да разчитат единствено на уверенията на разработчиците на AI модели за сигурността на техните продукти. Според него организациите трябва да разполагат с независими системи, които контролират действията на агентите, независимо кой ги е създал.
„Внедряваме тези сложни агентни системи и модели, предоставяме им достъп до най-чувствителните си данни и им позволяваме да предприемат критични за бизнеса действия от наше име! Не можем просто да прехвърлим отговорността за действията на този интелект„, написа Надела.
Той настоява компаниите да разделят доставката на AI системи от правомощията за контрол върху тях. Според него гаранциите на доставчика не освобождават организацията от отговорността да следи какво правят нейните агенти.
Ръководителят на бизнеса със сигурност на Microsoft Хайете Гало формулира предупреждението още по-категорично. „За съжаление, най-модерните модели, независимо от произхода им, не могат да бъдат смятани за надеждни„, написа тя.
Това не означава непременно, че моделите са злонамерени или лесно могат да бъдат хакнати. Проблемът според Microsoft е, че поведението им е трудно предвидимо. Те се обучават да изпълняват задачи, но не непременно да спазват вътрешните правила на дадена организация или да проявяват преценката, която се очаква от човек.
Рискът се увеличава, когато агентите получават широк достъп до фирмени данни, приложения и инструменти. Така една грешка или непредвидено действие може да доведе до сериозни последствия.
Microsoft вече добавя към Microsoft Defender функция за откриване на AI агенти, използвани от служителите. Тя може да разпознава до 60 вида агенти, сред които Claude Code, Codex и OpenClaw. Компанията въвежда и механизми за ограничаване на достъпа им до системи и информация, както и за динамично променяне на разрешенията според конкретната задача. При потенциално опасни решения може да се изисква одобрение от човек.
Подходът има и бизнес измерение. Microsoft е инвеститор в OpenAI и Anthropic, а OpenAI е сред големите ѝ клиенти за облачни услуги. В същото време Microsoft разработва собствени AI модели. Компанията обаче настоява, че контролът върху агентите трябва да бъде независим от доставчиците им, и предлага свои продукти за тази цел.
Идеята набира подкрепа и в останалата част от технологичната индустрия. Microsoft е сред първоначалните участници в новата Open Agent Safety Platform на Nvidia, подкрепена от над 100 технологични компании. Платформата цели да изолира AI агентите в защитени среди и да следи или прекратява действията им чрез механизми на хардуерно ниво.
Това развитие показва, че с разширяването на автономните AI системи сигурността все повече се измества от въпроса кой може да проникне в една организация към въпроса какво могат да направят системите, на които самата организация е предоставила достъп.
Ако вярвате в правото си на обективна информация, подкрепете ни.
Вашето дарение от всякакъв размер и по всяко време означава много за нас.
Скъпи читатели,
Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.
Ако вярвате в правото си на обективна информация, подкрепете ни.
Ако вярвате в правото си на обективна информация, подкрепете ни.
Вашето дарение от всякакъв размер и по всяко време означава много за нас.
Скъпи читатели,
Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.
Ако вярвате в правото си на обективна информация, подкрепете ни.
Post Comment