В этом году ученые раскопали термодинамический способ ИИ-генерации, который может быть экономнее классических методов в 10 млрд раз. Теоретически, это значит, что подписка на Midjourney могла бы стоить дешевле чашки кофе.
К сожалению, рассказать как это всё работает без предыстории невозможно — там присутствует тяжелая математика и физика, читать которую без "человеческих" объяснений невозможно. Именно этой базе и посвящена эта статья.
В апреле 2025 года в Nature Communications вышла статья про устройство, которое считает на шуме. Не вопреки шуму, а прямо на шуме.
Звучит как оксюморон. Полвека инженеры боролись с тепловыми флуктуациями в электронике: криогенные температуры, экранирование, фильтрация — всё ради того, чтобы сигнал не тонул в случайных колебаниях. Майнинг-фермы греются и шумят, но шум этот бесполезен, это просто тупые потери. А тут приходят ребята из нью-йоркского стартапа Normal Computing и говорят: давайте тепловой шум не глушить, а использовать. Пусть физика считает за нас.
И что характерно — у них работает.
Устройство называется SPU, Stochastic Processing Unit — стохастический процессор. По сути это восемь электрических контуров на печатной плате. Каждый контур — катушка, конденсатор и резистор, классическая схема из учебника. В каждый контур подаётся управляемый случайный сигнал — шум. А между контурами стоят переключатели, которые позволяют менять силу связи между ними.
Выглядит как лабораторная работа по электротехнике со второго курса. Работает как генератор случайных чисел с очень специфическими свойствами.
Когда такая система «успокаивается» — приходит в равновесие с окружающей средой — напряжения на её элементах начинают случайно колебаться. Но не как попало, а по вполне определённому закону: эти колебания подчиняются так называемому нормальному распределению, той самой гауссовой «колоколообразной» кривой.
И самое интересное: форму этого колокола можно настраивать. Меняешь ёмкости конденсаторов и силу связей между контурами — меняется и распределение случайных напряжений. Физика сама генерирует случайные числа с нужными тебе статистическими свойствами.
Случайные числа нужны везде: в криптографии, в симуляциях, в машинном обучении. Обычно их генерируют программно — алгоритмы псевдослучайных чисел работают быстро и предсказуемо.
Но есть задачи, где нужны не просто случайные числа, а случайные числа с определённой структурой зависимостей. Представьте, что вам нужно смоделировать систему из тысячи переменных, которые все связаны друг с другом сложным образом. Температура влияет на давление, давление на плотность, плотность обратно на температуру — и так тысяча параметров, каждый с каждым.
Чтобы сгенерировать один «сэмпл» такой системы — одну согласованную комбинацию всех тысячи значений — на обычном компьютере нужно перемножать огромные матрицы. Это кубическая сложность: в десять раз больше переменных — в тысячу раз больше вычислений.
А термодинамический процессор делает это иначе. Настраиваешь связи между контурами так, чтобы они отражали зависимости в твоей модели. Ждёшь, пока система придёт в равновесие. Измеряешь напряжения. Готово — вот тебе согласованный набор случайных значений с правильной структурой корреляций.
Время ожидания равновесия почти не зависит от числа переменных. Физика делает всю работу за микросекунды.
Но генерация случайных чисел — это только половина истории. Оказывается, тот же самый процесс можно использовать для решения задач линейной алгебры.
Обращение матрицы — одна из базовых операций в вычислениях. Решение систем уравнений, регрессия, оптимизация — всё сводится к обращению матриц. И это дорого: для матрицы размером тысяча на тысячу нужен примерно миллиард операций.
Теперь, в тред врывается ее величество Термодинамика. Информация об исходной матрице «зашивается» в параметры схемы — в ёмкости и силу связей. Потом система приходит в равновесие и начинает выдавать случайные напряжения. Если собрать много таких измерений и посчитать, как напряжения разных контуров соотносятся друг с другом в среднем, получится... обратная матрица.
Звучит как магия, но это следствие фундаментальной теоремы статистической физики. Структура равновесных флуктуаций системы напрямую связана с параметрами этой системы — причём связана через операцию обращения.
Чем больше измерений соберёшь, тем точнее результат. Физика превращает задачу алгебры в задачу статистики. А со статистикой мы уже знаем, что делать!
Текущий прототип — восемь контуров, каждый связан с каждым (всего 28 связей). Частота измерений — 12 миллионов в секунду. Для проверки воспроизводимости собрали три одинаковые платы и прогнали те же эксперименты на всех трёх.
На задаче генерации случайных чисел результаты совпадают с теорией — распределения выглядят как надо, статистики сходятся.
На задаче обращения матрицы 8×8 погрешность составила 25-30% при двенадцати тысячах измерений. Три платы дали согласованные результаты.
Тридцать процентов — это, конечно, много для серьёзных вычислений. Но речь о proof of concept на восьми элементах. Куда интереснее посмотреть на прогнозы: что будет, если масштабировать систему до тысяч элементов?
Для оценки перспектив построена модель, сравнивающая гипотетический большой термодинамический процессор с видеокартой NVIDIA RTX A6000.
Результат: при размерности около трёх тысяч переменных термодинамический процессор начинает обгонять GPU по времени. При десяти тысячах — выигрыш уже на порядок, то есть в десять раз быстрее.
Почему так? Обычный алгоритм обращения матрицы имеет кубическую сложность: удвоил размер — получил в восемь раз больше работы. Термодинамический процессор работает иначе: время установления равновесия почти не растёт с размером системы, основные затраты — на ввод параметров и считывание результатов. Это квадратичная сложность: удвоил размер — в четыре раза больше работы. На больших масштабах квадрат всегда побеждает куб.
По энергопотреблению термодинамический процессор выигрывает на всех размерностях, даже на маленьких. GPU приходится выполнять каждую арифметическую операцию явно, тратя энергию на каждое умножение и сложение. Физика считает «бесплатно» — за счёт тепла окружающей среды.
В статье честно описаны ограничения текущего дизайна.
Во-первых, катушки индуктивности. Они плохо переносят миниатюризацию: занимают много места на микросхеме, создают паразитные наводки на соседей, требуют нестандартных производственных процессов. Сделать чип с сотнями катушек — инженерный кошмар.
Во-вторых, связность. Сейчас каждый контур связан с каждым — это 28 связей для восьми элементов. Для тысячи элементов понадобится почти полмиллиона связей. Столько проводников на чип не влезет.
Поэтому предлагается альтернативная архитектура без катушек, с другим способом связи между элементами. Симуляции показывают, что она работает и даёт погрешность около двух процентов — уже похоже на то, с чем можно работать.
Вопрос со связностью сложнее. Есть идеи, как обходиться меньшим числом связей для определённых типов задач, но конкретных демонстраций пока нет.
Статья явно сравнивает термодинамические вычисления с квантовыми — и сравнение получается любопытным.
Квантовые компьютеры страдают от взаимодействия с окружающей средой: тепло и вибрации разрушают хрупкие квантовые состояния. Отсюда охлаждение до почти абсолютного нуля, вакуумные камеры, экзотические материалы. Каждый дополнительный кубит — отдельная инженерная битва.
Термодинамический компьютер работает при комнатной температуре, из обычных электронных компонентов. Тепловой шум здесь не враг, а источник вычислительной мощности: чем интенсивнее флуктуации, тем быстрее система приходит к равновесию, тем быстрее получаем результат.
Оба подхода обещают ускорение для задач, связанных с вероятностями и случайностью. Но барьеры разные. Для квантовых компьютеров нужны прорывы в физике материалов. Для термодинамических — «всего лишь» хорошая инженерия в рамках существующих технологий. Как там говорил Илон Маск, нам не нужны рисёчеры, нам нужны Серьёзные Инженеры :)
Абстрактные применения мало что говорят, поэтому разберём один конкретный случай — байесовские нейронные сети.
Обычная нейросеть выдаёт ответ: «на картинке кошка». Может добавить уверенность: «вероятность 94%». Но эта цифра часто врёт — сеть может быть «уверена на 94%» в полной ерунде, если картинка непохожа на то, что она видела при обучении.
Байесовская нейросеть устроена иначе. Вместо одного набора параметров она хранит целое облако возможных вариантов — распределение. И когда приходит картинка, сеть как бы спрашивает каждый вариант: «что ты думаешь?» Если все варианты согласны — сеть уверена. Если мнения расходятся — сеть честно говорит: «не знаю».
Для медицинской диагностики, автономного вождения, финансовых решений это критически важно. Знать, что система не знает — иногда важнее, чем получить ответ.
Проблема в вычислениях. Чтобы «опросить» все варианты параметров, нужно генерировать тысячи согласованных случайных наборов весов — это именно та задача генерации коррелированных случайных чисел, о которой шла речь выше. На GPU это медленно и дорого. Поэтому байесовские методы на практике используются редко — точечные оценки побеждают просто за счёт скорости.
Термодинамический сопроцессор мог бы изменить этот баланс. В supplementary materials к статье описана демонстрация на реальной задаче машинного обучения — пока на восьми измерениях, но принцип работает.
Несколько вопросов, на которые статья не даёт ответа.
Точность. Даже в лучших симуляциях погрешность составляет несколько процентов. Для нейросетей это может быть приемлемо — там всё равно всё приблизительно. Но для задач, где нужна высокая точность, несколько процентов — это много. Упоминаются методы коррекции ошибок, но детали не раскрываются.
Ограничения на тип матриц. Не любую матрицу можно обратить таким способом — только матрицы с определёнными математическими свойствами. Для остальных нужна предобработка, но насколько она усложняет и замедляет процесс — непонятно.
Программная инфраструктура. Даже если железо заработает, для практического использования нужны библиотеки, интеграция с PyTorch и другими фреймворками. Ничего этого пока нет.
Двадцать лет назад проект Blue Brain обещал полную компьютерную модель человеческого мозга за десять лет. За двадцать лет добрались до мозга мыши — и то не целиком. Прогнозы в науке о сложных системах почти всегда оптимистичны.
Термодинамические вычисления сейчас примерно там же, где квантовые были в середине девяностых: работающие прототипы на единицах элементов, обещания ускорения на больших масштабах, понимание инженерных барьеров на пути туда.
Разница в том, что здесь не нужно переписывать учебники физики. Все необходимые компоненты существуют, вопрос в том, как их правильно собрать.
Normal Computing показали, что тепловой шум можно превратить из помехи в вычислительный ресурс. Восемь элементов на печатной плате — это демонстрация принципа, не готовый продукт. Но принцип работает.
Посмотрим через десять лет. Если получится — генерация случайных чисел и работа с неопределённостью в машинном обучении станут намного дешевле. А значит, системы, которые умеют говорить «я не знаю», перестанут быть вычислительной роскошью.
Источник: Melanson et al., "Thermodynamic computing system for AI applications", Nature Communications (2025) 16:3757
PDF-файл с работой: https://t.me/filebin_1red2black/37
Telegram-канал для обсуждений https://t.me/tg_1red2black
DOI: https://doi.org/10.1038/s41467-025-59011-x
Источник


