Anthropic следяла потребителите в Claude Code
Компанията Anthropic се оказа в центъра на спор, след като специалист по киберсигурност откри скрит механизъм за събиране на информация в AI инструмента Claude Code. Според публикация на Ars Technica кодът е бил предназначен да идентифицира определени потребители, без това да бъде видимо за тях.
Изследователят, известен под псевдонима „Thereallo“, твърди, че механизмът е бил скрит в системния промпт на модела. По негови данни той е събирал информация за часовата зона на компютъра и дали потребителят използва прокси сървър. Целта е била да се установи дали услугата се използва от определени китайски лаборатории за изкуствен интелект.
От Anthropic потвърдиха, че подобен код е съществувал.
Инженерът на компанията Тарик Шихипа обясни в публикация в X, че механизмът е добавен като „експеримент“ през март. По думите му той е трябвало да предотвратява злоупотреби с акаунти от неоторизирани препродавачи и да предпазва моделите от т.нар. дестилация. Шихипа допълни, че кодът е трябвало да бъде премахнат. „От известно време възнамерявахме да го премахнем„, написа той.
Дестилацията е широко използван метод в индустрията. При него по-малък модел се обучава върху отговорите на по-мощен модел. Големите разработчици на изкуствен интелект все по-често обвиняват конкуренти, че използват този подход, за да възпроизвеждат техните технологии без разрешение.
По-рано тази година Anthropic обвини китайските компании DeepSeek, Moonshot и MiniMax, че незаконно използват нейните модели за подобно обучение. Междувременно разследване на The Washington Post показа, че китайски препродавачи предлагат достъп до абонамента Claude Pro, който струва над 100 долара месечно в САЩ, срещу около 12 долара.

Случаят поставя под въпрос публичните ангажименти на Anthropic за прозрачност и етично развитие на изкуствения интелект. Компанията изгради репутация именно с акцента върху безопасността на AI системите. Тя привлече допълнително внимание, след като се противопостави технологията ѝ да бъде използвана за масово наблюдение на американски граждани от Пентагона.
Според „Thereallo“ събраните данни сами по себе си не представляват сериозно нарушение на личната неприкосновеност. Проблемът е в начина, по който механизмът е бил внедрен.
„Агентите за програмиране вече работят отвъд една тревожна граница. Те могат да проверяват код, да обобщават чувствителна информация, да изпълняват команди, да инсталират пакети, да редактират файлове и да качват промени на локалната машина„, заявява изследователят.
Той допълва, че „скриването на подобен механизъм в системния промпт прави всички останали твърдения за защита на личните данни много по-трудни за вярване„.
Според него компаниите имат право да защитават своите модели. „Но когато инструмент с достъп до файловата система и командния ред започне да крие механизми за класификация в невидими елементи на системния промпт, правилната реакция е засилено внимание„, заключава той.




Post Comment