В начале 2022 г. группа исследователей из Epoch AI подвергла статистической обработке солидный массив официальных данных и выяснила, что на протяжении шести десятилетий — с 1950 по 2010 г., — вычислительная стоимость тренировки наиболее значимых моделей машинного обучения росла как линейная функция (по логарифмической шкале, конечно же), увеличиваясь примерно в 1,5 раза каждый год. Под вычислительной стоимостью (training compute) здесь подразумевается общее число операций с плавающей запятой (FLOP), произведённых вычислительными системами — на полупроводниковой элементной базе, разумеется; за неимением иных по принципу действия и притом сопоставимых по доступности — в процессе этой самой тренировки. Так вот, с начала 2010-х, когда в Google и ряде других компаний плотно взялись за разработку по-настоящему многопараметрических обучающихся без учителя моделей, произошёл резкий перелом этого неспешного тренда: с тех пор и вплоть до 2025 г. (в Epoch AI не остановились на исходной публикации, а принялись регулярно пополнять свою базу данных новыми сведениями) вычислительная стоимость новых моделей возрастает год от года снова линейно в логарифмическом масштабе — но уже с коэффициентом 4,7. Такими темпами, подсчитали исследователи (опять-таки в предположении, что далее эмулируемые на фон-неймановских полупроводниковых вычислителях нейросети продолжат развиваться поступательно, без новых рывков), уже к 2030 г. обучение одного-единственного генеративного ИИ очередного поколения будет требовать вычислительных ресурсов, стократ превосходящих то количество FLOP, которое за год перемалывают сегодня десять мощнейших суперкомпьютеров мира. Вот уж, поистине, велика цена прогресса!
Такими темпами не прекращающиеся до сих пор дебаты о том, насколько в принципе достижим сильный ИИ, грозят так и остаться пустым сотрясанием воздуха: количество энергии, потребной для создания хотя бы бледного подобия artificial general intelligence, AGI, человечество попросту не в состоянии окажется — ну если не выработать вообще, то уж определённо направить на достижение этой цели: наверняка найдутся задачи поактуальнее. Решить проблему за счёт повышения энергоэффективности кремниевых полупроводниковых чипов навряд ли выйдет: по мере дальнейшей миниатюризации техпроцессов «цена» одной FLOP, выраженная в ваттах, действительно снижается, но при этом чудовищно растут затраты на освоение самих этих технологических норм; мы не раз уже обращались к этой теме в разделе «Offсянка». Отказ от принципов архитектуры фон Неймана — один из возможных способов выбраться из обозначенного тупика, но здесь опять-таки необходимы огромные инвестиции, причём начинать придётся практически с нуля, а ведь до нынешних высот полупроводниковая отрасль добиралась три с лишним четверти века, и совершенно не факт, что на принципиально новом с инженерной точки зрения направлении прогресс пойдёт быстрее. Вот бы отыскать такую технологию, которая нынешние, фон-неймановские принципы организации вычислений оставила бы по большому счёту неизменными, но обеспечила бы радикальный прирост по части энергоэффективности!
«Есть такая технология», — утверждает целый ряд экспертов, указывая на сверхпроводники — которые, в отличие от полупроводников, вовсе не рассеивают тепла, пропуская электрический ток. Бесспорно, на современном этапе все сколько-нибудь работоспособные сверхпроводники — существенно низкотемпературные, хотя периодически и появляются сообщения (которые раз за разом, увы, оказываются дутыми сенсациями) о вот-вот грядущем радикальном прорыве в этой области — с получением материалов, что сохраняют сверхпроводимость при комнатной температуре. То бишь если условно заменить нынешнюю микроэлектронику в масштабах, допустим, дата-центра аналогичными по мощности сверхпроводниковыми вычислителями (оставляя пока в стороне вопрос о том, по каким именно принципам те будут работать), их придётся охлаждать до близких к абсолютному нулю температур — и хорошо ещё, если локально, каждый чип или хотя бы сервер по отдельности, а не в масштабах всего машинного зала разом. Впрочем, утверждают оптимисты, это всё равно выйдет дешевле (именно по энергетическому балансу уже готовых инсталляций; расходы на разработку и внедрение соответствующего «железа» — вопрос особый), чем снабжать электропитанием набитые серверными видеоадаптерами стандартные стойки — а заодно ещё и отводить от них тепло изощрёнными системами охлаждения.
Более того: чем мощнее полупроводниковые процессоры, тем больше тепла они выделяют, и энергоёмкость условной типичной стойки в дата-центре росла вполне уверенными темпами даже до начала всемирной ИИ-революции. В 2008 г. эта мощность составляла в среднем по миру 6 кВт, в 2016-м — 16 кВт, а сегодня набитая под завязку адаптерами Nvidia серверная стойка может требовать и 40, и 60 кВт — по сравнению с этим, пожалуй, классическая низкотемпературная сверхпроводимость и в самом деле представляется не худшим из зол. К тому же по мере совершенствования сверхпроводящих процессоров им не будет требоваться ещё более мощное охлаждение, — и так уже почти абсолютный ноль, — а значит, дальнейший прирост вычислительной мощи (за счёт совершенствования уже самих сверхпроводящих процессоров) после выхода криоЦОДов на рабочий режим в плане энергозатрат выйдет по сути бесплатным.
⇡#Бережливость — путь прогресса
Ещё одно соображение в пользу сверхпроводящей вычислительной логики: её энергопотребление в процессе работы (за вычетом, разумеется, расходов на достижение и поддержание необходимых для самой этой работы температур) заведомо ниже, чем у полупроводниковой. Просто потому, что в сверхпроводящем канале передачи сигнала со всей очевидностью нет тепловых шумов, а значит, сам этот информационный сигнал можно сделать чрезвычайно коротким и малым по амплитуде — хватало бы только чувствительности принимающего очередной «логический 0» или «логическую 1» контура. Суммируя все плюсы пока ещё остающихся в стадии разработки сверхпроводящих логических схем, исследователи из Imec утверждают: едва криовычислитель (построенный на доступной прямо сегодня, напомним, материальной базе; безо всякой — гипотетической пока — высокотемпературной сверхпроводимости) достигнет порога производительности в 1016 FLOPS — здесь, обратим внимание, речь идёт уже о FLOP в секунду, — как по энергоэффективности вычислений он с учётом затрат на охлаждение до сверхнизких температур сравняется с классическими машинами на полупроводниковых чипах, способными решать предлагаемые им задачи за сравнимое время. Собственно, такая производительность — десятки, а на пике и сотни ПФЛОПС — уже типична для сегодняшних суперкомпьютеров-рекордсменов, что и заставляет инженеров из Imec (и не их одних, разумеется) всё предметнее рассуждать о необходимости начинать сворачивать на новую магистральную дорогу, по которой развитие вычислительной отрасли будет двигаться грядущие несколько десятилетий. Оговоримся сразу: наверняка не всей этой отрасли — домашние и даже геймерские ПК с криоустановками в продажу вряд ли поступят, — но на уровне дата-центров, в особенности специализированных на ИИ, уж точно. И практические работы над сверхпроводящими вычислителями начались почти одновременно с недавним взрывным расцветом генеративных ИИ-моделей, поскольку как раз тогда наиболее прозорливые микроэлектронщики осознали чрезмерную цену (в энергетическом плане прежде всего) экстенсивной эволюции классических полупроводников. При этом важно было удержаться в рамках фон-неймановского подхода, поскольку, к примеру, квантовые компьютеры — при всей их неимоверной заманчивости, о которой мы не раз уже писали, — пока ещё убийственно далеки от практической применимости, тем более в части эмуляции многослойных глубоких нейросетей.
Справедливости ради отметим, что сверхпроводящая трасса развития вычислительной техники была намечена немногим позже полупроводниковой — в 1950-х, когда Дадли Аллен Бак (Dudley Allen Buck) предложил идею криотронного компьютера. В те былинные по части развития вычислительных машин времена исследователи активно экспериментировали с уже неплохо освоенными промышленностью радиолампами и первыми транзисторами — те и другие представлялись весьма перспективными в качестве базовых элементов логических схем (ещё далеко не микросхем). Вариантов реализации памяти, кстати сказать, было ещё больше: электронно-лучевые трубки (да, те самые CRT, cathode-ray tubes, что довольно долго были основой для телеприёмников и компьютерных мониторов), линии задержки с использованием заполненных ртутью колб, по которым распространялись акустические волны (mercury-filled pipes), магнитные барабаны (magnetic drums — по сути, отдалённые прародители постепенно уходящих ныне в историю HDD), а также ферритовые магнитные сердечники (magnetic cores). В этом ряду разнообразных и порой весьма остроумных решений очень органично смотрелись и оригинальные разработки Бака, на базе которых в 1957 г. в легендарном MIT, Массачусетском технологическом институте, был создан первый криотрон — как может с немалой вероятностью оказаться, предтеча элементной базы мощных криокомпьютеров не такого уж отдалённого будущего.
В середине 1950-х, когда Дадли Бак как раз подвизался в MIT (покинув ради участия в проекте Whirlwind и написания диссертации своё прежнее место работы — Агентство национальной безопасности, National Security Agency, NSA, где также трудился над электронными вычислителями), грядущее торжество полупроводниковых технологий в ИТ-отрасли вовсе не представлялось жёстко предопределённым. Более того, и самые общие перспективы этой отрасли даже её грядущим флагманам виделись довольно-таки туманно. Даже тогдашний глава IBM Томас Уотсон (Thomas Watson), выступая в 1953 г. перед акционерами, признал, что первый серийный мэйнфрейм этой компании — IBM 701 Electronic Data Processing Machine — обходился пользователям настолько дорого (арендная плата составляла от 12 до 18 тыс. долл. США в месяц — тогдашних, полновесных долларов; золотой стандарт ещё действовал — точная цена определялась условиями по сути лизингового контракта; о продаже этого монстра в собственность заказчика речь даже не шла), что, по первичным прикидкам отдела продаж, рассчитывать стоило максимум на пять заключённых контрактов — не в квартал, не в год, а вообще. Так что, когда после наглядной и впечатляющей презентации возможностей 701-й модели IBM получила на её аренду 18 заявок разом, для компании это оказалось настоящим потрясением, — пришлось срочно перекраивать бизнес-планы и расширять производство, чтобы удовлетворить неожиданно сформировавшийся спрос. История эта, кстати, привела к самозарождению в медиасреде широко известной фразы «Думаю, на весь мир может потребоваться в лучшем случае пять компьютеров», которую нередко включают в списки самых катастрофически неверных предсказаний в области ИТ, приписывая обычно тому же Уотсону, хотя тот её, судя по всему, никогда не произносил именно в этой формулировке. Речь шла только о предварительных прогнозах маркетологов в отношении области рынка, которой на тот момент попросту не существовало: было бы куда поразительней, если бы они угадали.
Зато пример интенсивной практической эксплуатации IBM 701 показал, насколько ненадёжна оперативная память на электронно-лучевых трубках (именно такой машина была снабжена), и активизировал работу исследователей по другим направлениям. Полупроводниковое среди них представлялось едва ли не самым перспективным (прежде всего потому, что на этой элементной базе с одинаковым успехом можно было строить и логические контуры, и ячейки оперативной памяти — той, что теперь называется SRAM), но в середине 1950-х к предметной работе с полупроводниками инженеры только-только приступали. Первые транзисторы, с которыми велись эксперименты, были не кремниевыми, а германиевыми, и проблема паразитного тепловыделения в ходе работы стояла для них особенно остро. По мере того, как потихоньку пошедшие в серию компьютеры обретали всё новые области применения и становились желанными приобретениями для всё большего количества клиентов (государственных и корпоративных, само собой, — звезда персоналок ещё и не думала всходить), в среде прикладных электронщиков (опять-таки пока без приставки «микро-») зрело понимание того, что будущее определённо за интегральными схемами, которые будут изготавливаться неким автоматизированным способом из как можно более миниатюрных базовых элементов, поскольку собирать вручную сколько-нибудь сложные логические контуры из десятков и сотен тысяч макроскопических транзисторов, или ферритовых колечек, или заполненных ртутью трубок было делом крайне затратным во всех смыслах.
⇡#Нужно больше логики
Но десятки, а тем более сотни расположенных в непосредственной близости один от другого крупногабаритных транзисторов выделяли настолько много тепла — и чем выше поднималась частота вычислений, тем сильнее, — что на охлаждение их уже тогда приходилось расходовать немало энергии. А раз всё равно никуда не деться от мощного охлаждения, подумалось, вероятно, Дадли Баку, так почему не приблизить температуру хладагента к абсолютному нулю, а проводящие элементы вычислительной схемы не сделать сверхпроводящими? Ведь тогда сопротивление разом пропадёт, и дальнейшее наращивание частоты работы вычислительной системы уже не обернётся пропорциональным ростом тепловыделения: инвестиции в охлаждающий контур — огромные, бесспорно, — выйдут разовыми.
Первый вариант такого сверхпроводящего элемента, названного без лишних затей криотроном, был до изящества прост: две металлические проволочки, обе охлаждённые до сверхпроводящего состояния, одна из которых, контрольная, обвивала другую — шину данных. Пропускание небольшого тока по контрольной проволочке приводило к генерации слабого магнитного поля — а то, в свою очередь, препятствовало перемещению заряда по сверхпроводящей. Малые по величие информационные импульсы, передаваемые по шине данных, таким образом эффективно блокировались. Стоило же снять напряжение с управляющей проволочки — и шина вновь обретала сверхпроводящие свойства, обеспечивая передачу сигнала.
Подтвердив на экспериментальном образце справедливость своих умозаключений, Бак принялся размышлять над тем, как бы уменьшить созданную им систему — и приспособить её к массовому производству. Возникла идея формировать миниатюрные криотроны на тонких металлических плёнках по заранее созданному шаблону (patterning), уже сразу, на этапе проектирования этого шаблона, выстраивая их в необходимые логические контуры. Перспектива заполучить фантастический на тот момент по мощности вычислитель с довольно миниатюрными компонентами (сделать компактными пару проволочек в середине 1950-х было куда реалистичнее и проще, чем германиевый транзистор) буквально завораживала: помимо NSA (бывших сотрудников служб безопасности, даже электронщиков, очевидно, не бывает, — связей с прежним местом службы инженер не потерял), такого рода разработками деятельно заинтересовались IBM, RCA (Radio Corporation of America — в те времена один из крупнейших игроков страны и мира на рынке радиотехнической продукции) и General Electric. На криотронах, сформированных по шаблону на танталониобиевых тонких плёнках, в 1965 г. удалось даже создать работающую подсистему памяти — правда, на этом намеченный рано ушедшим из жизни Баком путь фон-неймановских вычислителей на сверхпроводниках по сути завершился. Выяснилось, что эффективные логические контуры — не SRAM-подобную память, а сумматоры и тому подобные схемы — на таких элементах организовать всё же непросто.
Как нельзя более кстати примерно тогда же, в 1962-м, Брайан Джозефсон (Brian Josephson) предсказал эффект, названный позже его именем, — туннелирование куперовских пар электронов в сверхпроводнике через барьер, формально для них непреодолимый (скажем, через участок диэлектрика, который, сколько его ни охлаждай, в сверхпроводящее состояние не перейдёт). Мы уже рассматривали применение этого эффекта в виде джозефсоновских переходов к созданию макроскопических квантовых вычислителей, но, строго говоря, никто не запрещает те же самые квантовые макросистемы («макро» они в сравнении с природными квантовыми объектами — элементарными частицами) использовать для конструирования фон-неймановских сверхпроводящих машин. По сути, джозефсоновский переход (контакт) — тот же криотрон, только с туннелированием заряда вместо передачи его по непрерывной шине: квантово обусловленная нелинейность этой системы ставит её в один ряд с транзисторами, мемристорами и прочими нелинейными элементами логических схем.
Напомним вкратце, что за эффект предсказал в своей нашумевшей работе 1962 г. Брайан Джозефсон (Brian David Josephson) для контакта двух сверхпроводников, разделённых тонким непроводящим слоем — настолько тонким, что в нормальных сверхпроводящих условиях куперовские пары проскакивают этот зазор, словно не замечая его. Предсказаний было, собственно, два: во-первых, через такой контакт в отсутствие приложенного извне напряжения может течь постоянный сверхпроводящий ток; во-вторых, если определённое напряжение к контакту всё же приложить, то помимо постоянного тока через него станет протекать ещё и переменный — с частотой, прямо пропорциональной приложенному напряжению. Сверхпроводящий ток — бездиссипативный, т. е. не приводит к выделению тепла в процессе прохождения заряженных частиц по проводнику, и, если никаких внешних возмущений нет, в замкнутом кольцевом сверхпроводящем контуре с небольшим разрывом (тот как раз и будет представлять собой джозефсоновский контакт) однажды запущенный ток будет течь по кругу вечно — точнее, пока не выйдет из строя поддерживающая сверхпроводимость такой системы криогенная установка. Но если приложить к этому участку внешнее постоянное напряжение, в контакте возникнет электрическое поле — и, как следует из квантово-механического описания рассматриваемой системы, породит оно переменный диссипативный ток — в тепло будет превращаться энергия, переданная системе индуцированным извне полем. И вот когда сила тока в сверхпроводящем кольце превысит благодаря внешнему напряжению определённую критическую величину, для переноса всего сообщённого (сверх)проводнику заряда уже недостаточно будет сформировавшихся в нём куперовских пар свободных электронов, — в дополнение к сверхпроводящему току появится «обычный», переносимый одиночными электронами; диссипативный, но всё же крайне малый. Система в результате примется периодически, пока действует внешнее напряжение, выделять ничтожную энергию, порядка 2·10−20 джоулей, в виде электрического импульса продолжительностью около пикосекунды. Если сравнивать с энергией, необходимой для записи единичного бита данных в ячейку памяти NAND, разница выйдет примерно в 11 десятичных порядков — джозефсоновский контакт эффективнее этой операции в сто миллиардов раз. Весьма весомый аргумент в пользу новой технологии, не так ли?
Поскольку магнитный поток квантуется, в замкнутом контуре с джозефсоновским контактом образуется электрический ток строго определённых характеристик — одноквантовый (Single Flux Quantum, SFQ). Это, собственно, и позволяет формировать из джозефсоновских петель и иных схожих конструкций логические схемы, получающие на входе и так или иначе преобразующие фиксированные по величине сигналы (биты) в рамках классической булевой логики: если в петле есть заряд, это можно рассматривать как «логическую 1», если нет, то как «логический 0», — по схожим принципам действуют и полупроводниковые интегральные микросхемы. С оперативной памятью тоже никаких проблем — SRAM-подобные контуры с той же непринуждённостью выстраиваются из джозефсоновских петель, как и из полупроводниковых транзисторов: специфика в плане реализации схем есть, но общие принципы прежние.
Звучит всё это, бесспорно, заманчиво, причём исследователей особенно привлекает возможность воспроизвести на формально квантовой основе (сверхпроводники — квантовые системы!) привычную фон-неймановскую логику, избежав тем самым необходимости кардинально переделывать ПО — а заодно получив громадный, исчисляемый десятичными порядками величины прирост энергоэффективности. Впрочем, сами же инженеры Imec ещё в 2024-м (объявлений о сколько-нибудь заметном продвижении по этому вектору с тех пор не появлялось) указывали на целый спектр чисто технических проблем, которые придётся решить, прежде чем в дата-центрах мира начнут появляться первые серийные фон-неймановские криокомпьютеры. Потребуется подобрать подходящие для длительной и интенсивной эксплуатации материалы; разработать технологию массового получения из них необходимых контуров; создать оригинальную криопроцессорную архитектуру — да, в значительной мере наследующую полупроводниковой микропроцессорной, однако учитывающую физические особенности применяемых элементов и условия среды (охлаждение до почти абсолютного нуля).
И всё-таки это направление прямо сейчас представляется едва ли не наиболее перспективным из всех, что рассматривают сегодня на замену классическому кремнию, который сталкивается со всё бóльшими энергозатратами при решении самых актуальных сегодня ИИ-задач. Учитывая, что в области фон-неймановского криокомпьютинга практически все страны и научные лаборатории мира находятся примерно в равных стартовых условиях, можно ожидать, что не только в США и Японии, но и в КНР и в России разработки такого рода смогут «выстрелить» уже сравнительно скоро — если им назначат достаточный приоритет, конечно.
⇡#Материалы по теме
- Физики усомнились в работоспособности квантового процессора Microsoft Majorana 1 на фермионах Майораны.
- Китайцы нашли новый путь к сверхпроводимости при комнатной температуре.
- Японцы открыли сверхпроводник с признаком нетрадиционной сверхпроводимости.
- Учёные доказали существование нового типа сверхпроводимости.
- Учёные разгадали одну из загадок сверхпроводимости.