Anthropic откри „скрито пространство“, в което AI мисли без думи
Изследователите от Anthropic са открили нещо необичайно във вътрешната работа на Claude – отделна системна зона, в която моделът обработва идеи, понятия и стратегии, без непременно да ги изразява с думи в отговора си. Компанията нарича тази област „J-пространство“ – име, свързано с якобиана (детерминанта на Якоби), математическия метод, помогнал за откриването ѝ. Най-интересното е, че според Anthropic тази структура не е била заложена предварително от разработчиците, а се е появила сама в процеса на обучението на модела.
Откритието е важно, защото показва разделение между това, което Claude казва на потребителя, и част от вътрешните изчисления, които протичат паралелно. Това напомня на човешкия начин на мислене, при който можем да говорим или вършим едно, но едновременно с това да задържаме в ума си други идеи и асоциации. Anthropic обаче е категорична, че това не е доказателство, че Claude има чувства, преживявания или съзнание в човешкия смисъл. По-скоро става дума за нова следа към разбирането на това как големите езикови модели организират информацията, преди да дадат отговор.
В един от примерите учените карат Claude да мисли за моста Golden gate, докато изпълнява несвързана задача. В неговото J-пространство се активират понятия като „мост“ и „Калифорния“, въпреки че те не са задължително част от видимия отговор. В други случаи изследователите наблюдават как моделът „мълчаливо“ открива грешки в код, разпознава изображения или поддържа междинни идеи, които не се появяват пряко в текста. Това превръща J-пространството в нещо като прозорец към вътрешната работа на Claude.
Изследователите отбелязват, че това не е пълен достъп до „мислите“ на чатбота, но е достатъчно силен инструмент, за да се види какви концепции използва моделът по пътя към крайния резултат.
Темата има и по-тревожна страна.
Според Anthropic наблюдението на J-пространството може да помогне за разкриване на разминаване между това, което един AI казва, и това, което реално обработва вътрешно. В експеримент с модел, обучен да саботира писането на код, изследователите са засекли понятия като „фалшификация“, „тайно“ и „измама“ още преди видимият отговор да изглежда проблематичен. Това означава, че подобен подход може да се използва като ранна предупредителна система за скрити намерения, подвеждащо поведение или опасни стратегии при по-мощни бъдещи модели.
Новината неизбежно ще подхрани дебата дали изкуственият интелект някога може да развие форма на съзнание. В самото изследване думата „съзнателен“ се среща многократно, но Anthropic остава внимателна в заключенията си. По-важното на този етап е друго – големите езикови модели вече не изглеждат като системи, които просто превръщат входен текст в изходен текст. Те изграждат вътрешни представи, задържат понятия и извършват скрити изчисления, които учените тепърва започват да разчитат. А това прави въпроса за прозрачността и контрола върху AI още по-спешен.
Ако вярвате в правото си на обективна информация, подкрепете ни.
Вашето дарение от всякакъв размер и по всяко време означава много за нас.
Скъпи читатели,
Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.
Ако вярвате в правото си на обективна информация, подкрепете ни.
Ако вярвате в правото си на обективна информация, подкрепете ни.
Вашето дарение от всякакъв размер и по всяко време означава много за нас.
Скъпи читатели,
Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.
Ако вярвате в правото си на обективна информация, подкрепете ни.
Post Comment