Искусственный интеллект прошел IQ-тест — похоже, нейросети уже умнее среднестатистического человека

Исследователь Максим Лотт (Maxim Lott) проверил интеллект современных нейросетей, заставив их пройти IQ-тест. Результаты он опубликовал в своем блоге.

Для измерения блогер использовал адаптированную версию IQ-теста от норвежской компании Mensa. В оригинальном тесте все задачи сделаны в форме картинок, поэтому Лотту пришлось составить детальное текстовое описание каждой задачи. Каждый ИИ проходил тест дважды.

Результаты тестов представлены ниже. Самой умной нейросетью оказалась Claude-3, которая набрала 101 балл. Следом идут ChatGPT-4 с 85 баллами и Claude-2 с 82 баллами.

После всех тестов Максим Лотт сделал для себя несколько выводов. В первую очередь его сильно впечатлил прогресс Claude. Первая итерация нейросети набрала 64 балла (столько же можно набрать, выбирая ответ случайным образом), но вышедшая через 4 месяца Claude-2 стала заметно лучше. Исследователь полагает, что уже через год уровень интеллекта достигнет около 120 баллов.

Также Лотт отметил, что даже текущие результаты Claude превышают средний человеческий IQ. Похоже, что Илон Маск (Elon Musk) не зря беспокоится о слишком быстром прогрессе в обучении искусственного интеллекта.

В то же время некоторые эксперты сомневаются, что победу ИИ можно считать справедливой. Во-первых, нейросети прошли лишь один из множества IQ-тестов. Во-вторых, нейросети могли уже видеть часть теста Mensa во время обучения. В-третьих, IQ-тесты в основном проверяют способность к логическому мышлению и не говорят о том, насколько качественно нейросети решают задачи.