Anthropic: Близо сме до момента, в който AI ще може да се самоусъвършенства

Anthropic предупреждава, че изкуственият интелект може съвсем скоро да достигне важен етап от развитието си – способността да участва в собственото си усъвършенстване по начин, който значително ускорява създаването на следващи поколения модели. Явлението е известно като рекурсивно самоусъвършенстване (Recursive Self-Improvement, RSI) и може да промени темповете, с които се развива цялата AI индустрия.

Предупреждението се съдържа в актуализирания документ S-1/A, който компанията подаде в понеделник. Документът е свързан с подготовката ѝ за излизане на борсата. Освен финансовите резултати, които показват бърз ръст на приходите, но и на разходите, Anthropic е добавила важни подробности за потенциалните рискове от собствената си технология.

RSI описва момент, в който един AI модел става толкова добър в обучението и разработването на други модели, че започва да ускорява собственото си развитие. На теория това може да доведе до поредица от все по-мощни системи, чиито способности нарастват с много по-бързи темпове от досегашните.

За най-песимистично настроените изследователи на AI безопасността подобен сценарий представлява сериозна опасност. Те предупреждават, че система, способна да се усъвършенства без достатъчен човешки контрол, може да достигне ниво, при което хората вече не могат да управляват поведението ѝ. Възможно е подобен модел да преследва зададените му цели, без да отчита щетите, които причинява.

По-оптимистично настроените към технологията виждат в RSI огромен потенциал. Ако изкуственият интелект може надеждно да подобрява собствените си способности, това би могло да ускори научните открития, технологичния напредък и производителността в множество области.

Anthropic разглежда явлението и като възможност, и като риск. Компанията вече използва AI системи в собствените си изследвания и разработки. В документа тя предупреждава:

„Използването на AI за подпомагане на създаването на още по-способен изкуствен интелект може да представлява значителен риск за безопасността, особено ако рязко ускори темпа на развитие. Това е една от областите, обхванати от нашата Политика за отговорно мащабиране, която определя плановете ни за наблюдение и ограничаване на рисковете, когато се приближаваме до това, което се нарича „рекурсивно самоусъвършенстване“.„

Терминът RSI придоби популярност по-рано тази година. Тогава мнозина го възприеха като поредната модерна дума в AI индустрията или като цел, която е твърде трудна за точно определяне и доказване.

В новата версия на документа си обаче Anthropic прави по-конкретни признания. Компанията посочва, че вече е използвала AI при разработването на нови модели, чиито подобрени способности не е успяла да разпознае веднага. Това означава, че в някои случаи напредъкът е бил установен едва след като вече се е случил.

Още по-важно е друго предупреждение в документа. Според вътрешните оценки на компанията и прогнозите за бъдещите ѝ модели тя може съвсем скоро да достигне критерия в собствената си политика за „драматично ускоряване на прогреса, дължащо се на AI„.

Anthropic обаче изрично уточнява, че нито един от настоящите ѝ модели все още не е преминал този праг. Компанията продължава да оценява данните, на които се основава прогнозата.

В документа се посочва и че нарастващото използване на AI в изследователската дейност може да доведе до ситуация, при която способностите на моделите се развиват по-бързо, отколкото компанията успява да създава, проверява и прилага мерки за безопасност, контрол и сигурност.

Anthropic заявява, че засега не очаква да може безопасно да използва Claude за напълно автономно проектиране и създаване на последователни поколения от най-мощните AI модели без съществен човешки надзор и разбиране на процеса.

„Затова обмисляме актуализации на нашата Политика за отговорно мащабиране, така че хората да запазят контрола върху разработването на най-мощните модели на Anthropic„, посочва компанията.

Разбира се, подобни предупреждения трябва да се разглеждат и в контекста на предстоящото излизане на Anthropic на борсата. Документът S-1 е не само задължително разкриване на информация пред инвеститорите, но и възможност компанията да представи технологичния си потенциал. Затова някои скептици поставят под въпрос дали твърденията за приближаване към RSI не са и част от маркетинговата стратегия.

Въпреки това възможностите на Claude се разшириха значително през тази година, особено в програмирането, математиката и киберсигурността. Самата Anthropic очевидно смята, че вероятността от рекурсивно самоусъвършенстване вече е достатъчно сериозна, за да бъде включена сред основните рискове в официалната документация на компанията.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Днес, повече от всякога, независимата журналистика има нужда от вас. В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.

Вашето дарение от всякакъв размер и по всяко време означава много за нас.

Скъпи читатели,

Днес, повече от всякога, независимата журналистика има нужда от вас.
В мисията си да предоставяме обективни, достоверни и навременни новини разчитаме на вашата подкрепа.

Ако вярвате в правото си на обективна информация, подкрепете ни.