Представлен удивительный эксперимент по запуску языковой модели Llama 2 на старом ПК с Windows 98. Исследователи поделились результатами работы в виде короткого видеоролика на платформе X, в котором показаны уникальные этапы проекта. Одной из основных сложностей стала загрузка данных модели через протокол FTP на старый ПК с процессором с частотой 350 МГц.
Ещё более трудным оказалось написание 700 строк кода на языке C для компиляции современного кода под Windows 98, что позволило адаптировать модель для старой архитектуры. В результате Llama 2 продемонстрировала скорость работы чуть более 1 токена в секунду, в то время как более новая версия модели, Llama 3.2 1B, смогла выдать всего 0,0093 токена в секунду.
Мощный взрыв ностальгии! Кажется внутри slot1.
Если правильно понимаю, Пень 2 350мгц со токеном обстоит лучше чем современные, то ретропарк в строю... наверно.