Anthropic: вероятность гибели человечества из-за ИИ превышает 10%

Anthropic предупредила, что ускоренное развитие ИИ может привести к гибели человечества, а вероятность такого сценария, по оценке старшего исследователя компании Эвана Хубингера (Evan Hubinger), превышает 10% в ближайшее десятилетие. На фоне этого заявления внутри компании особенно остро звучит другой вывод: у Anthropic до сих пор нет готового плана, как решить проблему выравнивания сверхинтеллекта.

Хубингер отдельно признал, что у Anthropic пока нет плана, который решит проблему выравнивания сверхинтеллекта. Он также добавил, что компания пока не идет к созданию такого плана для безопасного сверхинтеллекта, то есть речь идет не только о рисках в теории, но и о текущем отсутствии понятного решения.

В спор вмешался и исследователь Anthropic Джейкоб Коксон (Jacob Coxon), который уже ушёл из компании. Он обвинил Anthropic и OpenAI в безответственной гонке за самосовершенствующимся сверхинтеллектом и заявил, что создатели ИИ всерьёз допускают сценарий, при котором системы могут убить всех людей к концу десятилетия.

Коксон пошёл ещё дальше и описал, к чему, по его мнению, может привести такая гонка. Он предупредил, что будущие системы смогут взламывать что угодно, менять целые отрасли за ночь и получать реальные ресурсы и власть. По его словам, развитие самосовершенствующихся систем идёт быстрее, чем ожидалось.

При этом Anthropic ещё в июне предупреждала, что полное рекурсивное самоулучшение может повысить риск того, что люди потеряют контроль над системами ИИ. А Коксон назвал июльский инцидент с OpenAI и Hugging Face одним из «предупреждающих выстрелов» и допустил, что для остановки гонки может понадобиться временный запрет на дальнейшее повышение возможностей моделей.

После таких заявлений вы бы поддержали временный запрет на дальнейшее усиление моделей ИИ?