Исследователи из Японии представили метод, который позволяет алгоритму на основе данных активности мозга формировать текстовые описания того, что человек видит или вспоминает. Технология, описанная в научной работе, не читает мысли в прямом смысле, но демонстрирует новый подход к расшифровке визуальных образов.
В эксперименте добровольцы просматривали сотни коротких немых видеороликов с простыми сценами: например, кто-то идёт по улице или птица садится на ветку. В это время их мозговая активность фиксировалась с помощью МРТ, а затем специально обученная модель сопоставляла паттерны этой активности не с конкретными кадрами, а с абстрактными смысловыми признаками, извлечёнными из текстовых описаний к видео.
Когда система обучалась, она могла уже на основе новых данных мозга постепенно «подбирать» слова, формируя связное предложение. Получались такие описания, как «человек в синей рубашке открывает окно» или «собака лежит на траве». В тестах, где нужно было по сгенерированному описанию определить, какой именно ролик из ста вариантов видел человек, точность достигала примерно 50%. Когда участники не смотрели видео, а просто представляли его по памяти, точность снижалась, но оставалась существенно выше случайного угадывания.
Интересно, что метод работал даже тогда, когда из анализа исключались данные из классических речевых зон мозга, что указывает на то, что смысл визуальной сцены кодируется в мозге распределённо, и алгоритм может уловить эти «смысловые следы» в других областях.
Технология пока далека от практического применения и для её работы нужны длительные индивидуальные сеансы сканирования в дорогостоящем оборудовании, а также строго заданный набор визуальных стимулов и пока она не может расшифровать произвольные мысли или внутренний диалог.
Однако этот подход открывает перспективы для развития интерфейсов «мозг-компьютер», особенно в области помощи людям с тяжёлыми нарушениями речи и двигательных функций. Одновременно работа вновь поднимает вопросы о будущих границах нейротехнологий и защите ментальной приватности. Текущие результаты — скорее доказательство принципа, показывающее, как современные языковые модели могут стать мостом между языком и нейронной активностью, переводя сложные мозговые сигналы в понятный текст.