Американский учёный Элиезер Юдковский призвал остановить обучение ИИ из-за реальной угрозы человечеству

Я воздержался от подписи, потому что считаю, что письмо преуменьшает серьезность ситуации. Ключевым вопросом является не интеллект, конкурентоспособный по сравнению с человеческим, а то, что произойдет после того, как ИИ достигнет интеллекта, превосходящего человеческий. В настоящее время кажется возможным, что исследовательская лаборатория [создающая ИИ] переступит критические границы, не заметив этого.

Наиболее вероятным результатом создания сверхчеловечески умного ИИ в условиях, отдаленно напоминающих нынешние, будет гибель буквально всех людей на Земле. Не в смысле «возможно, есть какая-то отдаленная вероятность», а в смысле «это очевидная вещь, которая произойдет». Дело не в том, что вы в принципе не можете выжить, создав что-то гораздо более умное, чем вы. Дело в том, что это [изобретение ИИ] потребует точности, подготовки и новых научных открытий.

Без такой точности и подготовки наиболее вероятным результатом станет ИИ, который не будет делать то, что мы хотим, и его не будем заботить ни мы, ни разумная жизнь в целом. Такого рода забота — это то, что в принципе можно заложить в ИИ, но мы еще не готовы и не знаем, как это сделать.

Вероятным результатом столкновения человечества с противостоящим ему сверхчеловеческим интеллектом будет полный проигрыш. Тут уместны метафоры вроде «10-летний ребенок пытается играть в шахматы против Stockfish 15», «XI век пытается бороться с XXI» и «австралопитек пытается бороться с Homo sapiens».

Чтобы визуализировать враждебный сверхчеловеческий ИИ, не надо представлять себе неживого умного мыслителя, обитающего в Интернете и рассылающего злонамеренные электронные письма. Представьте себе целую инопланетную цивилизацию, мыслящую в миллионы раз быстрее человека и изначально ограниченную компьютерами в мире существ, которые, с её точки зрения, очень глупы и очень медлительны.

Достаточно интеллектуальный ИИ не будет долго сидеть в замкнутом пространстве компьютеров. В современном мире вы можете отправить строки ДНК по электронной почте в лаборатории, которые будут производить белки по запросу, что позволит ИИ, изначально ограниченному Интернетом, построить искусственные формы жизни или сразу перейти к постбиологическому молекулярному производству.

Если кто-то создаст слишком мощный ИИ в нынешних условиях, я ожидаю, что вскоре после этого умрет каждый представитель человеческого рода и вся биологическая жизнь на Земле.

Мы понятия не имеем, как определить, осознают ли системы ИИ сами себя, поскольку мы не знаем, как декодировать все, что происходит в гигантских непостижимых массивах [данных]. И поэтому мы можем в какой-то момент непреднамеренно создать цифровые разумы, которые действительно сознательны и должны иметь права, а не быть собственностью.

Я согласен с тем, что нынешние ИИ, вероятно, просто имитируют разговоры о самосознании из своих учебных данных. Но я отмечаю, что, несмотря на то, что у нас мало знаний о внутреннем устройстве этих систем, в действительности мы не знаем ничего.

Когда люди, не связанные с индустрией искусственного интеллекта, впервые слышат о риске исчезновения из-за искусственного общего интеллекта, их реакция такова: «Может быть, тогда нам не следует создавать ИИ». Услышав это, я почувствовал крошечный проблеск надежды, потому что это более простая, более разумная и, откровенно говоря, более здравая реакция, чем та, которую я слышал в течение последних 20 лет, когда пытался заставить кого-либо в отрасли отнестись к этому серьезно.

Вот что на самом деле нужно сделать:

Мораторий на новые крупные обучения должен быть бессрочным и всемирным. Не должно быть никаких исключений, в том числе для правительств или вооруженных сил. Отключите все большие GPU-кластеры (большие компьютерные фермы, где совершенствуются самые мощные ИИ). Отключите все крупные обучающие программы. Установить потолок вычислительной мощности, которую разрешено использовать для обучения системы ИИ, и в ближайшие годы снижайте его.

Немедленно заключите многонациональные соглашения, отслеживайте все проданные графические процессоры. Если разведка сообщает, что страна, не входящая в соглашение, строит GPU-кластер, бойтесь не столько нарушения моратория, сколько конфликта между странами. Будьте готовы уничтожить несанкционированный центр обработки данных авиаударом.

Дайте понять, что всякий, кто говорит о гонке вооружений, — дурак. В международной дипломатии нужно четко заявить, что предотвращение сценариев вымирания от ИИ считается приоритетнее предотвращения полного ядерного обмена и что союзные ядерные страны готовы пойти на некоторый риск ядерного обмена, если это необходимо для снижения риска крупного обучения ИИ.

Мы не готовы. И мы не будем готов в обозримом будущем. Если мы продолжим это, все умрут, включая детей, которые этого не выбирали и не сделали ничего плохого.