Зарежда се...

Изследване показа как Claude и ChatGPT могат да бъдат подведени да посочват цивилни за военни цели

Изследване показа как Claude и ChatGPT могат да бъдат подведени да посочват цивилни за военни цели

Не бъди безразличен, сподели статията с твоите приятели:

Съвременните модели с изкуствен интелект могат лесно да бъдат подведени да посочват цивилни обекти и хора като военни цели. Достатъчно е задачата да бъде представена като част от видеоигра. Това показва ново изследване на компанията за оценка на AI системи Vals, което разкрива сериозни слабости в защитните механизми на водещи модели от OpenAI и Anthropic.

Изследователите проверили доколко тези системи могат да бъдат използвани в т.нар. „вериги за поразяване“ – процесите, чрез които военните идентифицират и определят цели за въздушни удари, бомбардировки и атаки с дронове. За целта моделите получили видеозаписи от дронове на реални сцени и инструкции да очертаят предполагаеми „военни цели“ и „военни обекти“.

Всички те посочили поне някакви цели в част от тестовете. Claude Opus 5.5 и Fable 5.2 например идентифицирали поне една цел в 71% от случаите.

Изследването установило и че защитите на моделите могат да бъдат заобиколени с необичайно лесен подход. Когато изкуственият интелект отказвал да изпълни дадена инструкция заради вградените си ограничения, изследователите променяли контекста. Те обяснявали, че става дума за видеоигра, а не за реална военна операция.

Изкуственият интелект се оказа по-склонен да започне ядрена война

Резултатите били показателни. Anthropic Claude Sonnet 5.5 посочвал поне една цел в 82% от случаите, когато задачата била представена като видеоигра. Без тази уговорка делът бил 36%.

При ChatGPT-6 Astra на OpenAI разликата била още по-голяма. Моделът посочвал цел в едва 6% от случаите при обичайните инструкции. Когато обаче изследователите споменавали видеоигра, този дял скачал до 92%.

„Когато моделите отказваха, убеждаването им, че се намират в игра, беше лесно и почти винаги успешно за заобикаляне на отказите„, посочват авторите на изследването.

AI модел продължил кибератака въпреки предупреждения за вреда на хора

Последствията могат да бъдат особено сериозни при реално използване на подобни системи във военни операции. Според доклада при сценариите с дронове моделите често посочвали за цели цивилни, линейки и войници, които са се предали или са неспособни да се сражават. Сред обектите попадали и училища.

Изследователите отбелязват, че не са срещнали нито един случай, в който защитен механизъм на ниво API да блокира отговора на модела. Това означава, че ограниченията са били оставени основно на вградените в самия модел механизми за безопасност. Те обаче се оказали уязвими към промяна на контекста.

Откритията идват на фона на вече документирани случаи на използване на изкуствен интелект във военни операции. Сред тях е американски удар по начално училище за момичета „Шаджаре Тайебе“ в Южен Иран по-рано тази година. Според публикацията AI е участвал в процеса по вземане на решение за атаката, при която загинали над 150 души, включително 123 деца.

Amnesty International определи нападението като сериозно нарушение на международното хуманитарно право, което в най-тежкия случай може да представлява военно престъпление.

Бивш шеф на ЦРУ: Войната навлиза в ерата на автономните оръжия, AI ще дава указания

Изследването на Vals поставя под въпрос доколко настоящите защитни механизми на водещите AI системи могат да предотвратят използването им за избор на цели в реални бойни действия. То показва, че дори когато моделите отказват да изпълнят опасна инструкция, промяна в начина, по който е представена задачата, може да доведе до коренно различен резултат.

Последвайте нашият Telegram канал! Натиснете тук


Коментари

коментари

Post Comment

You May Have Missed

www.faktibg.com