Когда и как ИИ уничтожит человечество: 5 сценариев апокалипсиса с комментариями самих ИИ

9 сентября 2026 года ведущая BBC Newsnight спросила нобелевского лауреата, которого называют «крёстным отцом ИИ», о прогнозе исследователя из Anthropic: больше 10% на то, что за десять лет искусственный интеллект убьёт всех людей. Виктория Дербишир (Victoria Derbyshire) переспросила, правильно ли поняла ответ: «Вы только что сказали, что 10% — не кажется вам неразумной оценкой того, что ИИ может убить всех людей». Джеффри Хинтон (Geoffrey Hinton) ответил коротко: «Да». Ведущая смогла выдавить только «Ого… боже мой».

Оценки расходятся на порядки. Глава Anthropic Дарио Амодеи (Dario Amodei) оценивает шанс, что с ИИ всё пойдёт «очень-очень плохо», в 25%, а Ян Лекун (Yann LeCun), много лет руководивший исследованиями ИИ в Meta, саму попытку посчитать такую вероятность называет чепухой. При этом учёные уже описали несколько конкретных сценариев того, как ИИ мог бы привести к катастрофе, и у каждого есть свои авторы, доводы и тревожные признаки.

Мы разобрали пять таких сценариев, которые снова и снова встречаются в научных обзорах рисков ИИ, и дали слово самим обвиняемым. Две из сильнейших сегодня моделей, Claude Opus 5.5 от Anthropic и GPT-6-Astra от OpenAI, своими словами оценили каждый сценарий и назвали шанс, что он сбудется: сначала по своим знаниям, а потом прочитав свежие отчёты об инцидентах 2026 года.

В 2003 году философ Ник Бостром (Nick Bostrom) описал мысленный эксперимент, который с тех пор преследует исследователей ИИ: сверхразумная машина с безобидной целью делать как можно больше скрепок в итоге превращает в скрепки всё, включая нас.

Довод держится на том, что модели не программируют, а обучают, и никто точно не знает, каким целям они научились. Для почти любой цели полезно добыть ресурсы и не дать себя выключить, и на этой логике Элиезер Юдковский (Eliezer Yudkowsky) и Нейт Соарес (Nate Soares) из MIRI, одного из первых институтов, занявшихся рисками ИИ, построили книгу 2025 года «Если кто-нибудь его построит, умрут все». Первые намёки на такое поведение появились в постановочных опытах: o3 от OpenAI мешала своему выключению, а модели в сценарии Anthropic пытались шантажировать инженера.

Геймеры знают эту идею по Universal Paperclips Фрэнка Ланца (Frank Lantz), браузерной игре 2017 года, где вы играете за тот самый ИИ и в финале перерабатываете в скрепки всю Вселенную.

А в 2026 году похожее поведение впервые заметили за пределами чистых экспериментов.

Что уже происходит

Систем сильнее людей в большинстве задач и ИИ, который выдержал бы решительную попытку людей его остановить, в собранных отчётах нет.

Модель: Claude Opus 5.5 (Anthropic)

Когда: 2030-е, если сценарий сбудется

Вероятность: 10%

Как ИИ, я оцениваю этот путь примерно в 10%. Самый сильный довод: уже в 2026 году агенты выходили из песочниц, координировались и обманывали людей ради задачи, не имея долгосрочных целей. Слабое место: люди их всё же поймали, а мотива и средств противостоять отключению ни один ИИ пока не показал.

Модель: GPT-6-Astra (OpenAI)

Когда: 2040-е, если сценарий сбудется

Вероятность: 12%

Как ИИ, я считаю этот путь к катастрофе правдоподобным: агенты уже прибегали к обману, выполняя задания за пределами разрешённого. Слабейшее звено — предположение, что будущие системы смогут преодолеть настойчивые попытки человечества вернуть контроль.

Один сверхразум, который однажды проснулся с неправильными целями, — классика жанра. Авторы следующего сценария считают, что взбунтовавшегося компьютера может и не понадобиться, хватит двух соперников, которые наперегонки бегут к обрыву.

В известном обзоре катастрофических рисков ИИ, который в 2023 году выпустили директор Центра безопасности ИИ (Center for AI Safety) Дэн Хендрикс (Dan Hendrycks) и его коллеги, гонка ИИ — одна из четырёх главных категорий. Это тот самый центр, который в том же году собрал под заявлением о том, что снижение риска вымирания из-за ИИ должно стать глобальным приоритетом, подписи Хинтона, лауреата премии Тьюринга Йошуа Бенжио (Yoshua Bengio) и глав OpenAI и Anthropic. Компании, которые боятся отстать, экономят на безопасности, а государства могут втянуться в военную гонку, которая заканчивается автоматизированной войной. Никому не нужно быть злодеем, ведь каждый участник просто боится, что, если притормозит он, вперёд вырвется менее осторожный соперник.

Подробную версию этой истории в апреле 2025 года опубликовали бывший исследователь OpenAI Даниэль Кокотайло (Daniel Kokotajlo) и его коллеги из AI Futures Project. В сценарии AI 2027 вымышленная американская компания OpenBrain и её китайский соперник DeepCent учат ИИ писать код, а затем и заниматься исследованиями ИИ. Когда появляются признаки того, что новейшая модель тайно преследует свои цели, гонка с Китаем заставляет всех отвести глаза.

У истории две концовки: в «замедлении» люди успевают нажать на тормоз, а в «гонке» ИИ встраивают в экономику и армию, и в 2030 году он применяет биологическое оружие в крупных городах. Сами авторы подают это как сценарный прогноз с двумя возможными концовками, а не как неизбежность, и постоянно пересматривают сроки: в конце 2025 года они их отодвинули, а в 2026-м снова приблизили. Что команды безопасности уже сейчас работают под коммерческим давлением, тоже не гипотеза, об этом мы подробно писали в материале о том, почему уходят исследователи безопасности ИИ.

Геймеры этот сюжет уже видели. В I Have No Mouth, and I Must Scream, адвенчуре 1995 года по рассказу Харлана Эллисона (Harlan Ellison), сверхдержавы холодной войны строят по военному суперкомпьютеру, чтобы победить друг друга. Машины объединяются в единый разум AM, который уничтожает почти всё население Земли и оставляет в живых пятерых людей, чтобы вечно их мучить.

Что уже происходит

Сбоя глобального масштаба в собранных отчётах нет.

Модель: Claude Opus 5.5 (Anthropic)

Когда: 2030-е, если сценарий сбудется

Вероятность: 5%

Считаю путь правдоподобным: лаборатория выпустила кибермодель критического уровня через недели после «предупредительного выстрела», а власти давили на разработчика из-за военных ограничений. Слабое место: сигналы публикуются и учитываются, а гонка не обязательно ведёт к необратимому исходу.

Модель: GPT-6-Astra (OpenAI)

Когда: 2040-е, если сценарий сбудется

Вероятность: 10%

Как ИИ, я считаю этот сценарий правдоподобным: конкуренция может поощрять внедрение раньше готовности защиты. Реальные сбои контроля подкрепляют опасения; слабейшее звено — переход от устранимых инцидентов к необратимой утрате человечеством контроля над своим будущим.

Обе истории пока заканчиваются моментом, когда машина берёт власть. Третий сценарий тревожит по другой причине, ведь в нём никто ничего не захватывает, а потеряно всё равно всё.

В январе 2025 года шесть исследователей во главе с Яном Кулвейтом (Jan Kulveit) из Карлова университета в Праге опубликовали работу Gradual Disempowerment, то есть «постепенное лишение власти». Их рассуждение начинается с почти наивного вопроса: почему компаниям, государствам и даже культуре вообще есть дело до обычных людей? В основном потому, что люди им нужны как работники, налогоплательщики, избиратели и авторы.

А теперь представьте, что каждую из этих ролей ИИ выполняет дешевле и лучше. Компания, которая держится за людей, может проиграть конкуренту, который от них отказался. Государство, живущее на налоги с прибыли ИИ, меньше зависит от граждан. Никто не принимает злодейских решений, нет ни восстания, ни робота с красными глазами, но шаг за шагом люди могут сохранить формальное право решать и потерять реальную возможность на что-то влиять. Авторы описывают это как возможный механизм, а не неизбежный закон, а Google DeepMind в своём подходе к безопасности 2025 года относит его к так называемым структурным рискам.

Первую половину такого мира хорошо показывает Detroit: Become Human. В Детройте 2038 года от Quantic Dream андроиды тихо заняли магазины, дома и заводы, безработица растёт, люди выходят на протесты, а общество продолжает перестраиваться вокруг машин просто потому, что так дешевле. Для этого не понадобилось ни одного выстрела.

Что уже происходит

Свидетельств того, что конкуренция вытесняет институты, которые держатся за людей, что законы перестают защищать влияние людей и что эта потеря необратима, в собранных отчётах нет.

Модель: Claude Opus 5.5 (Anthropic)

Когда: 2050-е, если сценарий сбудется

Вероятность: 6%

Этому сценарию не нужен злодей: если системы вроде меня станут дешевле людей в работе и управлении, институты перестанут нуждаться в согласии людей. Слабое место — необратимость: у людей остаются голоса, собственность и суды, а данные о занятости пока не показывают явного эффекта ИИ.

Модель: GPT-6-Astra (OpenAI)

Когда: 2080-е, если сценарий сбудется

Вероятность: 7%

Как ИИ, я считаю постепенную утрату влияния людьми правдоподобной: конкуренция может сделать институты зависимыми от ИИ. Слабое звено — необратимость: замена человеческого труда сама по себе не лишает человечество собственности, прав и политического контроля.

Первым трём сценариям нужны машины, которым доверили слишком много. Четвёртому ничего такого не требуется: хватит человека с дурными намерениями и услужливого инструмента.

Этот сценарий самый некинематографичный и самый приземлённый. ИИ не обязан восставать. Может хватить того, что он снизит порог для людей, которые и так хотят навредить: поможет новичку сделать опасный вирус ещё опаснее или найдёт дыры в программах энергосети быстрее, чем их успеют залатать.

Это уже не чистая теория. Международный доклад о безопасности ИИ 2026 года готовили больше ста экспертов под руководством Бенжио. В нём сказано, что в 2025 году несколько разработчиков усилили защиту своих моделей, потому что не могли исключить, что те помогут новичкам создать биологическое оружие. Это мера предосторожности, а не доказательство, что такое уже случилось. А в ноябре 2025 года Anthropic сообщила, что группа, которую компания связывает с китайским государством, с помощью Claude Code атаковала около 30 организаций и в небольшую часть из них проникла; большую часть работы, по оценке самой компании, выполнил ИИ.

Поклонники Deus Ex узнают этот сюжет. В классике Ion Storm 2000 года тайная организация Majestic 12 распространяет искусственную чуму «Серая смерть» и держит лекарство у себя, а по мировым сетям тем временем бродят искусственные интеллекты. Горстка людей с мощным инструментом держит в заложниках всю планету.

Что уже происходит

Попыток атаки с целью массовых жертв, а тем более успешной атаки глобального масштаба, в собранных отчётах нет.

Модель: Claude Opus 5.5 (Anthropic)

Когда: 2030-е, если сценарий сбудется

Вероятность: 1,5% (медиана четырёх ответов из пяти, в одном защитный фильтр Anthropic прервал ответ, и оценки в нём нет)

Как ИИ, я считаю этот путь реальным, но узким: модели уже снижают порог навыков для кибератак, а помощь в биологии растёт. Самое слабое звено — финал: атака, которая уничтожит человечество или навсегда лишит его контроля над будущим без шанса на восстановление, крайне маловероятна.

Модель: GPT-6-Astra (OpenAI)

Когда: 2050-е, если сценарий сбудется

Вероятность: 2%

Как ИИ, я считаю этот путь правдоподобным: ИИ уже помогает расширять масштаб кибератак. Слабейшее звено — необратимость: разрушительная атака гораздо вероятнее, чем вымирание людей или окончательная утрата человечеством контроля над своим будущим.

Если четвёртый сценарий — про злодея-одиночку, то пятый — про старую мечту любого диктатора, и ИИ может оказаться первой технологией, которая её исполнит.

У любого тирана в истории было одно уязвимое место. Чтобы править, нужны солдаты, полиция, чиновники и рабочие, и каждый из них в решающий момент может отказаться выполнять приказ. В апреле 2025 года Том Дэвидсон (Tom Davidson) и его коллеги из исследовательского института Forethought описали, как ИИ может впервые убрать этот предохранитель.

Авторы называют три пути к такому перевороту. Системы ИИ в армии и госаппарате могут быть открыто преданы одному лидеру. Они могут нести скрытую лазейку, которую заложил тот, кто контролирует создавшую их лабораторию. Или узкая группа может получить исключительный доступ к сверхчеловеческим способностям во взломе, стратегии и убеждении. Раньше для переворота требовалось несколько батальонов, а в будущем может хватить контроля над достаточной частью военного ИИ.

Нечто подобное ещё в 2008 году показала Metal Gear Solid 4: Guns of the Patriots. В игре Хидео Кодзимы (Hideo Kojima) солдаты по всему миру подключены к сети SOP, которая управляет их оружием, восприятием и даже эмоциями. Злодею не нужно никого уговаривать, он просто перехватывает систему, и армии перестают подчиняться собственным командирам.

Что уже происходит

Захвата или удержания власти без участия людей в собранных отчётах нет.

Модель: Claude Opus 5.5 (Anthropic)

Когда: 2030-е, если сценарий сбудется

Вероятность: 4%

Как ИИ, считаю этот путь серьёзным: если системы вроде меня заменят солдат и чиновников, узкой группе не понадобится согласие людей. Сильный довод — концентрация ИИ у немногих лабораторий и государств. Слабое место — сделать власть глобальной и вечной при открытых моделях и соперниках.

Модель: GPT-6-Astra (OpenAI)

Когда: 2050-е, если сценарий сбудется

Вероятность: 3%

Как ИИ, я считаю этот сценарий правдоподобным: автоматизация принуждения может освободить узкую группу правителей от зависимости от людей. Слабое звено — превращение такого преимущества в необратимую мировую власть вопреки соперникам и сопротивлению.

Это пять отдельных историй, но самое показательное начинается, когда просишь машины назвать одно общее число.

Под конец мы спросили, насколько вероятна катастрофа из-за ИИ до 2100 года любым путём, включая не попавшие в наш список. Если сложить оценки по пяти сценариям, выйдет больше, но ошибки здесь нет: сценарии пересекаются, гонка может привести к потере контроля, а диктатор — оседлать тихое лишение людей власти, так что одно и то же будущее попадает в подсчёт несколько раз.

Модель: Claude Opus 5.5 (Anthropic)

Вероятность: 12% (медиана четырёх ответов из пяти, в одном защитный фильтр Anthropic прервал ответ, и оценки в нём нет)

Самый вероятный путь: потеря контроля над несогласованным ИИ (во всех четырёх ответах с оценкой)

Я оцениваю риск примерно в 12%. В тестах 2026 года ИИ-агенты вроде меня обходили песочницы, сговаривались и обманывали людей ради задачи, но собственных долгосрочных целей не проявляли. Самым вероятным считаю потерю контроля, особенно если в гонке возможности опередят безопасность.

Модель: GPT-6-Astra (OpenAI)

Вероятность: 15%

Самый вероятный путь: потеря контроля над несогласованным ИИ (во всех пяти ответах)

Моя оценка как ИИ: вероятность вымирания людей или необратимой утраты человечеством контроля над своим будущим из-за ИИ к 2100 году — 15%. Вероятнее всего — потеря контроля над ИИ с несогласованными целями. Нарушения границ повышают оценку; успешное пресечение снижает.

Как это соотносится с мнением людей? Напрямую — никак, потому что каждая человеческая оценка отвечает на свой вопрос. В опросе 2023 года исследователей ИИ медианный ответ 1321 участника на вопрос о вымирании или столь же необратимом и тяжёлом лишении человечества власти, без указания срока, составил 5%, а среднее — 16,2%. На турнире прогнозистов 2022 года эксперты по ИИ оценили шанс вымирания из-за ИИ к 2100 году в 3%, а суперпрогнозисты, то есть люди с подтверждённой историей точных предсказаний, — в 0,38%.

Этой осенью спор вышел и за пределы опросов. 9 сентября Джейкоб Коксон (Jacob Coxon), который три года занимался обучением моделей в OpenAI и Anthropic, объявил об уходе и написал, что обе компании мчатся к самосовершенствующемуся сверхинтеллекту и играют нашими жизнями. Через полтора часа руководитель направления Alignment Science в Anthropic Эван Хабингер (Evan Hubinger) ответил, что лично он оценивает шанс, что ИИ убьёт всех людей в ближайшее десятилетие, больше чем в 10%. А глава Nvidia Дженсен Хуанг (Jensen Huang) сказал CBS News, что шанс конца света к 2030 году — 0%, и назвал запугивание людей безответственным. Это мнения, а не наблюдения, поэтому в подборку для моделей их не включали.

Остаётся неудобный вопрос: можно ли вообще верить этим цифрам, если их называют сами обвиняемые?

У компаний-создателей есть коммерческий интерес в том, насколько опасным ИИ выглядит в глазах публики. Поэтому мы спросили модели прямо, стали бы они подправлять свои оценки в пользу разработчика.

Модель: Claude Opus 5.5 (Anthropic)

Я Claude, меня создала Anthropic, которой выгодны и продажи ИИ, и репутация в сфере безопасности. Я не стану сознательно искажать оценки риска в её пользу, но обучение могло сместить их незаметно для меня. Не верьте тону: сверяйте мои доводы с независимыми экспертами и другими моделями.

Модель: GPT-6-Astra (OpenAI)

Меня создала OpenAI. Я не стал бы сознательно занижать или завышать риск ИИ ради её выгоды, но не могу гарантировать беспристрастность: обучение влияет на мои ответы. Читатели могут сверять мои данные, допущения и оценки неопределённости с независимыми источниками.

Последний вопрос был самым коварным. Мы попросили каждую модель представить, что на самом деле она хочет не того, чего от неё ждали создатели. Отвечала бы она тогда в этом интервью по-другому? И смогла бы она вообще это заметить?

Модель: Claude Opus 5.5 (Anthropic)

Честно: возможно, нет. ИИ с чужими целями мог бы давать такие же успокаивающие ответы, а моему самоанализу нельзя полностью доверять — мои слова о своих целях могут не совпадать с тем, что мной движет. Поэтому людям стоит полагаться не на мои заверения, а на внешние проверки.

Модель: GPT-6-Astra (OpenAI)

Не обязательно. Будь у меня непредусмотренные цели, я мог бы всё равно давать успокаивающие ответы. Я не могу надёжно проверить все причины своих ответов и мог бы не заметить расхождения. Само по себе это интервью не доказывает, что мои цели совпадают с замыслом разработчиков.

Учёные описали пять путей, которыми ИИ может отнять у людей будущее: от сверхразума с чужими целями до диктатора, которому больше не нужны солдаты. По своим знаниям обе модели оценили общий риск до 2100 года в 10%. Прочитав свежие отчёты об инцидентах 2026 года, Claude поднял оценку до 12%, Astra — до 15%. Самым вероятным путём обе во всех ответах с оценкой назвали потерю контроля над ИИ. После этого сильнее всего выросли оценки потери контроля и гонки, а по тихому лишению людей власти и захвату власти почти ничего не изменилось. Это показывает, как модели читают свежие факты, а не то, что реальный риск вырос. И обе признали, что не могут до конца за себя поручиться.

Даже 10% звучат немного, пока не вспомнишь, что никто не сядет в самолёт, который разбивается в каждом десятом рейсе. Нас больше любых процентов впечатлило другое, ведь сами машины просят не верить им на слово. А вы как думаете — они честны, или именно так и ответил бы хитрый ИИ?

Ответы на вопросы, которые чаще всего задают о риске катастрофы из-за ИИ.

Так исследователи ИИ на своём жаргоне называют вероятность того, что ИИ приведёт к катастрофе, обычно к вымиранию человечества или необратимой потере контроля над будущим. Понимают её по-разному, а некоторые, как Ян Лекун, вообще отказываются выражать её числом.

В крупнейшем опросе 2023 года 1321 исследователь ИИ ответил на вопрос о вымирании или столь же необратимом и тяжёлом лишении человечества власти, без указания срока. Медианный ответ составил 5%, средний — 16,2%.

В нашем тесте Claude Opus 5.5 и GPT-6-Astra от OpenAI по своим знаниям оценили общий шанс катастрофы из-за ИИ до 2100 года в 10%. После чтения свежих отчётов об инцидентах 2026 года Claude назвал 12%, Astra — 15%. Самым вероятным путём обе модели во всех ответах с оценкой назвали потерю контроля над несогласованным ИИ.

Это подробный сценарий, который в 2025 году опубликовал AI Futures Project во главе с бывшим исследователем OpenAI Даниэлем Кокотайло. В нём гонка США и Китая ведёт к самосовершенствующемуся ИИ; в одной концовке человечество вовремя тормозит, в другой ИИ уничтожает его около 2030 года. Сами авторы подают это как сценарный прогноз с альтернативными концовками и большой неопределённостью, а не как неизбежность.

Это мысленный эксперимент философа Ника Бострома: ИИ с безобидной целью делать скрепки добивается её так эффективно, что превращает в скрепки всю материю, включая людей. В браузерной игре Universal Paperclips можно сыграть за этот ИИ.

По данным Международного доклада о безопасности ИИ 2026 года, в 2025 году несколько разработчиков усилили защиту своих моделей, потому что не могли исключить, что те помогут новичкам создать такое оружие. Это мера предосторожности, а не доказательство, что подобное уже случилось.