Ким Чон Хо, отец HBM: суть AI — это память, GPU реально работает только 10% времени

Профессор Ким Джонхо из Корейского института передовых технологий (KAIST), которого называют «отцом HBM», сделал революционное заявление: Суть искусственного интеллекта — это память, а не GPU.

На днях профессор кафедры электротехники KAIST Ким Джонхо дал видеоинтервью, в котором систематически рассказал об эволюции технологии HBM, архитектуре вычислений для ИИ и будущем полупроводниковых решений. Ким Джонхо в отрасли называют «отцом HBM»: еще в начале 2010-х годов он вместе с SK hynix участвовал в разработке HBM1, а впоследствии возглавил серию исследований в области низкоуровневых архитектур. Содержание этого интервью широко распространилось среди технологических и инвестиционных кругов, а ключевые тезисы указывают на структурные противоречия в гонке вычислительных мощностей для ИИ.

В интервью Ким Джонхо назвал поразительную цифру:

"GPU, даже если установить миллион штук, реально работают только 10% времени."

Он объяснил: каждый раз, когда ChatGPT генерирует слово, система должна прочитать данные из HBM, провести вычисление и записать результат в память. "Чтение и запись занимают практически все время, и GPU просто ждёт в стороне." Даже оптимизация алгоритмов с трудом позволяет достичь загрузки GPU выше 30%.

В этом и заключается его давний основной тезис: "ИИ — это память (AI = Memory)."

Ким Джонхо весьма резко оценил текущую ситуацию NVIDIA. По его словам, Хуанг Жэньсюнь в последнее время часто посещает Корею, участвует в шоу, ест курицу, пьет пиво, встречается с разными людьми: «За всеми этими встречами скрывается тревога».

"Технический рост GPU практически прекратился — это мое мнение. Эволюция компьютеров для искусственного интеллекта теперь зависит от памяти."

Он рассуждает: чтобы увеличить производительность GPU, нужно увеличить площадь кристалла и добавить больше вычислительных ядер; однако GPU сильно нагреваются, обязательно требуется система охлаждения с обратной стороны, поэтому, в отличие от памяти, вертикальное наращивание невозможно. «GPU оказались в структурном тупике (외통수).»

На смену эпохе обучения приходит эпоха вывода, и значимость памяти переосмысляется. Ким Джонхо отмечает: «В эпоху вывода важно, сколько данных можно загрузить в ИИ, и за это отвечает соответствующий полупроводник — память.»

Он подчеркивает, что конкуренция в области ИИ в итоге становится конкуренцией в области памяти: «Google Gemini, OpenAI, Anthropic Claude — кто из них сильнее, определяет память, вот мой главный тезис».

Ким Джонхо выделяет две ключевые ценности HBM.

Первое — ёмкость. С приходом «контекстной инженерии», мультимодального ввода и Agentic AI потребности в памяти ежегодно удваиваются — «за 10 лет это увеличение в 1000 раз». Раньше наращивали ёмкость за счет уменьшения транзисторов, но сегодня близки к физическим границам — дальше уменьшать невозможно, и выход только во «вертикальном наращивании».

Второе — пропускная способность. Ким Джонхо сравнил: «Если традиционная память — это восьмиполосная автомагистраль, то HBM — 1024 полосы, сейчас 2048 полос, а через несколько лет эта цифра может дойти до миллиона». Только параллельная передача огромных объемов данных способна удовлетворить требования скорости вычислений для ИИ.

HBM решила проблему скорости, но по ёмкости все равно есть пределы. В интервью Ким Джонхо подробно описал следующую, на его взгляд, технологическую линию развития — HBF (High Bandwidth Flash).

Грубо говоря, HBF — это вертикальное наращивание NAND Flash по аналогии с HBM. DRAM — быстрый, но ограничен по объему; NAND Flash — объемен, позволяет долгосрочное хранение, хоть и медленней, но этого достаточно для хранения «холодных данных» в вычислениях вывода.

По мнению Ким Джонхо, вместо противостояния формируется сосуществование HBM и HBF — как при планировании города: «Есть универмаг, а вокруг него многоэтажки, стандартные дома, разные формы HBM и HBF составляют комплекс для снабжения GPU данными».

Он делает долгосрочный прогноз: «Сейчас время HBM, но через 10 лет спрос на NAND Flash и HBF превзойдет HBM. Samsung и SK hynix уже должны готовиться к эре HBF».

Он указывает: Сейчас HBF разрабатывают SK hynix, Sandisk, Samsung Electronics и японская Kioxia. Капитализация Kioxia недавно превысила Toyota, вышла на первое место на японском рынке, акции Sandisk растут, а Samsung и SK hynix продолжают лидировать на корейском рынке.

Ким Джонхо выдвинул и концепцию, пока что передовую, — HBS (High Bandwidth SRAM).

SRAM (статическая оперативная память) примерно в 1000 раз быстрее DRAM, но имеет меньшую плотность, дорогая, традиционно используется как небольшой кеш внутри кристалла. Идея Ким Джонхо: сделать целую 12-дюймовую пластину SRAM и наслоить их 12–16 раз, достигая объема от 100 до 1600 ГБ.

«Так скорость становится больше в тысячу раз, объема достаточно — логика очевидна».

Он рисует форму финального ИИ-чипа как «100-этажное 3D-здание»: «HBM, HBF, HBS — это разные этажи, а GPU на верхнем этаже, отвечает за охлаждение — вот такая 3D-полупроводниковая архитектура, которой не избежать в будущем ИИ-компьютерах — это мой текущий вывод».

Он признает, что главная инженерная задача на этом пути — не вычисления, а питание и охлаждение: «GPU и наращиваемая память потребуют тысячи ампер тока, поэтому проектирование электросети станет самой сложной технологией и главным камнем преткновения в конкурентной борьбе».

Ким Джонхо отдельно осветил изменения в структуре спроса и предложения с появлением HBM4.

Раньше память была стандартизированным продуктом: производитель выпускал партию, клиент выбирал объем, цена определялась покупателем — и все риски запасов ложились на производителя, в этом и суть «цикла памяти».

Но с приходом HBM4, поскольку требуется проектирование под архитектуру ускорителей клиентов (таких как NVIDIA, Google, AMD), производитель памяти берет обязательства по объему еще на этапе разработки — вступая в «долгосрочные соглашения».

«ИИ-компаниям крайне нужны высокопроизводительные HBM, они становятся в очередь. Теперь цена диктуется поставщиком — парадигма сменилась».

Далее Ким Джонхо предсказывает, что в будущем память HBM сможет общаться с другими HBM, формируя что-то вроде союза: «Они сами выбирают, кому выделять больше памяти, не подчиняющимся GPU ничего не достанется».

Это еще больше укрепляет системную роль производителей памяти.

Ким Джонхо неоднократно подчеркивал: во всем мире только Samsung Electronics и SK hynix способны одновременно производить и DRAM (HBM), и NAND Flash (HBF).

«У Sandisk и Kioxia акции растут в разы, но они могут делать только HBF, но не HBM. У Samsung и SK hynix самые мощные инструменты для будущего».

На вопрос, реалистичен ли прогноз общей операционной прибыли Samsung и SK hynix в этом году на уровне 500–600 трлн вон, Ким ответил: «Реалистичен». Он добавляет, что часто общается с руководством компаний: «В их глазах все больше азарта».

И все же давление со стороны конкурентов реально: Micron и Sandisk получают заказы от NVIDIA и Google.

Ким Джонхо расширяет дискуссию о памяти до конечных устройств.

Он прогнозирует: чтобы персональный AI PC действительно реализовал ИИ-вычисления, потребуется столько памяти, что «цена одной машины достигнет 10 млн вон, а стоимость памяти станет определяющей». При цене AI-смартфона 3–5 млн вон 2–3 млн придется именно на память.

«Инфраструктура и модели ИИ продолжают эволюционировать, значит, памяти нужно все больше. AI PC и AI смартфоны — еще один мощный тренд».

Ким Джонхо не обходит стороной и направления эволюции ИИ. Он считает, что с приходом Agentic AI и Physical AI, объем использования памяти вырастет примерно в 1000 раз по сравнению с текущим уровнем.

«ИИ-агенты работают 24 часа, в отличие от человека, который спит — объем заданий взлетает, а значит, растёт и потребность в памяти. Тогда понадобится уже не просто HBM, а супер-HBM».

В заключение интервью Ким Джонхо рассказал о своем пути в науке. В 1993 он получил степень доктора, занимался ультракороткими телекоммуникационными сигналами на фемтосекундном уровне, а его научный руководитель несколько лет назад стал лауреатом Нобелевской премии по физике. В 1994 присоединился к подразделению памяти Samsung Electronics, а в 1996 вернулся в KAIST; после этого он более 10 лет занимался фундаментальными исследованиями в области памяти и HBM, результатом которых стали коммерческие продукты.

В 2015 он впервые услышал термин «глубокое обучение» на университетском собрании, и сразу осознал, что используют ту же математику, что и для архитектуры HBM: линейную алгебру и матричные вычисления. «Я любил матрицы еще на втором курсе университета, а оказалось, что оба направления используют одну и ту же математику — вот и удача».

Он улыбается: когда разрабатывал HBM, думал использовать ее для ТВ, чтобы сделать картинку ярче, и даже не представлял, что это станет основой ИИ-эры: «Тогда я не знал, это действительно счастливый случай».

Ниже приведена сокращенная расшифровка интервью (с помощью AI-перевода)

Ким Джонхо: HBM, HBF и HBS будут составлять единое здание в сто этажей, а GPU будет заниматься охлаждением на вершине. Я думаю, подобная структура 3D-полупроводников неизбежна для будущих ИИ-компьютеров. И одна из самых сложных технологий здесь — электроснабжение. Нужно подавать тысячи ампер тока, поэтому проектирование электросети — самое трудное. Это станет ключевым технологическим конкурентным преимуществом.

Ведущий: К нам в гости пришёл профессор KAIST Ким Джонхо, которого называют «отцом HBM». Здравствуйте!

Ким Джонхо: Здравствуйте, рад знакомству. Спасибо за приглашение.

Ведущий: Благодарим, что нашли время.

Ким Джонхо: Не за что. (Смех)

Ведущий: Начну с HBM. Реально массовое производство и внедрение HBM — это всего пару лет, верно? По HBM3. HBM1 же появился в начале 2010-х, вы тогда работали с SK hynix, а по GPU — с NVIDIA и AMD. То есть разработки HBM1 начались в начале 2010-х, но тогда это было для видеокарт.

Ведущий: Профессор, вы получили докторскую степень, если не ошибаюсь, в 1990-х?

Ким Джонхо: Да.

Ведущий: Но уже к 2010-му, когда был создан первый HBM, вы начали соответствующие исследования.

Ким Джонхо: Все верно. В 1993 я стал доктором наук, исследовал физику. Сделал осциллограф, который измерял электрические сигналы с помощью лазера, был самым быстрым на тот момент в мире. Мой научный руководитель в недавнее время получил Нобелевскую премию. Тогда мое оборудование могло регистрировать явления длительностью в фемтосекунды (почти стационарный свет). Сейчас, с развитием ИИ, требуются массивные данные, цифровые схемы работают уже в пико- и фемтосекундном режиме, так что разработки 30-летней давности пригодились.

Но изначально это была весьма нишевая область исследований, а по складу характера я больше ориентировался на связь с обществом. Поэтому понял, что памяти предстоит стать крайне важной. Так, в 1994 перешел в подразделение памяти Samsung. С той поры и изучаю память. В 1996 году пришел в KAIST, а где-то до 2010 занимался базовыми исследованиями HBM — около 10 лет, прежде чем появились продукты.

Много нужных знаний для HBM — квантовая механика, физика полупроводников, математика — всё это я изучал на втором-третьем курсе университета, особенно линейная алгебра. HBM постоянно совершенствуются, у нас в лаборатории даже дорожная карта до HBM8 на 30 лет вперёд. В сумме — около 50 лет работы с момента первого интереса до коммерческих решений.

Ведущий: Когда вы начинали исследовать и обдумывать концепцию HBM — вы предполагали, что наступит эра ИИ и HBM станет её ядром?

Ким Джонхо: Нет, изначально AMD и NVIDIA планировали использовать HBM только для видеокарт. Математика для графики и для ИИ совпадает, поэтому позже HBM стала основой для AI, но изначально с точки зрения NVIDIA это был продукт для GPU. А я тогда думал, что раз Южная Корея сильна в телевизорах, стоит встроить такие чипы в ТВ, чтобы картинка была еще более живой, яркой — то есть хотел использовать это в телевизорах.

Примерно в 2015, на одном из собраний молодых преподавателей услышал термин «глубокое обучение», это была заря ИИ. По началу не понял, о чем речь. Уже где-то с 2015 года полностью ушёл в ИИ-исследования: хотя лаборатория сохраняла HBM-профиль, я лично всецело занялся AI. Спустя пару лет понял — алгоритмы ИИ и архитектура HBM идеально сочетаются. Тогда я предчувствовал: начнётся взрывное внедрение в ИИ.

Изначально это было лишь для CNN (распознавания объектов с камер), позже — для обучения с подкреплением (например, игры в го) — для них нужны массивные матричные вычисления, и здесь никто не обойдет HBM. А взрывной рост случился уже с появлением ChatGPT в начале 2020-х. В будущем ИИ пойдет в направлении Agentic AI, частично также в направлении Physical AI. Уже сейчас видно, что Agentic и Physical AI потребуют в 1000 раз больше памяти, чем сегодня. Это будет эра Ultra HBM, так что мы обдумываем и другие варианты. В любом случае изначально я об этом не думал — повезло. Я просто любил линейную алгебру с университета, а оказалось, что это и есть необходимый математический аппарат.

Ведущий: Насколько я понимаю, HBM — это просто вертикальная сборка множества чипов DRAM, так?

Ким Джонхо: Совершенно верно. Неважно, речь о видеокарте или AI — в обоих случаях нужны сверхбыстрые операции с памятью. У HBM два преимущества. Первое — ёмкость. В эпоху контекстной инженерии, мультимодальности, Physical AI, объем хранимых данных постоянно растет. Может, удваивается ежегодно; за десять лет — тысяча раз. Чтобы увеличить ёмкость, нужен постоянный прогресс в уменьшении размера ячеек, но из-за паразитных эффектов подошли к физическим границам, уменьшать больше некуда. Поэтому ёмкость почти не растёт.

Так вот, еще в начале 2000-х я решил, что память обязательно придется строить в виде стека. Тогда все делали однослойные чипы, а мы предложили многослойную архитектуру. Разумеется, мы проектировали, а Samsung и SK hynix воплощали идеи на практике: так и появился HBM. Второе преимущество — скорость передачи к GPU. Для быстрого отклика — обработки документов, текста, фильмов — нужна передача огромного массива данных, параллельно по скоростным «магистралям». Как если бы на обычной памяти было 8 полос, на HBM — 1024 или 2048, а в будущем — миллион.

Так что суть HBM — в наращивании ёмкости за счёт стека и резком увеличении пропускной способности за счет «лифтов» и «скоростных магистралей»: скорость передачи в тысячи и миллионы раз выше традиционной памяти, за счет параллельности.

Ведущий: Вдобавок к HBM часто говорят об HBF. Что это такое и чем отличается от HBM?

Ким Джонхо: В мире общепринято две основные памяти: DRAM и NAND Flash. DRAM быстрая, но не хранит данные долго; NAND Flash медленнее, зато очень объемна (примерно в 10 раз больше DRAM), данные хранит долго, используется в фотоаппаратах и подобных устройствах. Но, как я говорил, даже у HBM запас ёмкости ограничен. В эру контекст-инжиниринга, когда в систему ИИ, кроме текста, могут загружаться файлы, видеоролики YouTube и прочее, а значит — сильно возрастают объемы данных и требования к памяти. Все промежуточные результаты вычислений (KV Cache) тоже надо где-то хранить.

С приходом Agentic AI мы можем «нанимать» 10 или 100 ИИ-агентов для работы, а их производительность в 100 раз выше человеческой, они работают круглосуточно — нагрузка массированно возрастает, и запросы к памяти умножаются. Хоть сколько соединяем DRAM в стеке — этого все равно недостаточно, и тогда пришла идея использовать стек NAND Flash — это и есть HBF. Сейчас HBF разрабатывают SK hynix, Sandisk, Samsung Electronics, возможно, и японская Kioxia. Недавно капитализация Kioxia превысила Toyota. Американские производители NAND Flash/HBF Micron и Sandisk тоже на подъёме, а Samsung и SK hynix — лидеры в Корее.

Память, стоящая ближе всего к GPU — HBM и HBF, это «горячая память»; устройства для долгосрочного хранения информации об ИИ-пользователе — это «холодная память», оба тренда имеют взрывной рост. В долгосрочной перспективе через десять лет спрос на NAND Flash и HBF может превзойти HBM. Сейчас эра HBM, но Samsung и SK hynix обязаны быть готовы к HBF — это моя позиция.

Ведущий: Вы отмечали, что примерно к 2038 году HBM дойдет до восьмого поколения?

Ким Джонхо: Да.

Ведущий: К тому времени и HBM, и HBF войдут в коммерческое использование. Это будут конкурирующие или комплементарные технологии?

Ким Джонхо: Это комплементарные решения. HBM4 выходит в этом году, через несколько лет будет HBM5, примерно каждые три года новое поколение, значит к 10 годам — HBM8. Тогда HBM и HBF станут использовать вместе. Мощность HBM небольшая, зато скорость огромная; HBF чуть медленнее, есть физические ограничения, зато ёмкость гигантская. Когда объема HBM не хватает, рядом будет HBF, это как многоквартирные комплексы вокруг универмага HBM. Итоговая емкость всего комплекса — HBF может превзойти HBM.

Ведущий: То есть идет речь только о разных технологиях наращивания ёмкости — DRAM и NAND Flash, а обе нужны одновременно?

Ким Джонхо: Да, и во всём мире всего две компании могут производить обе: Samsung Electronics и SK hynix. У Sandisk и Kioxia взлетели акции, но они делают только HBF (либо ESSD на стеке NAND), а не HBM. Поэтому я считаю, что ключ к будущему — у Samsung и SK hynix.

Ведущий: Значит, Samsung и SK hynix имеют абсолютное преимущество?

Ким Джонхо: Именно так. Кстати, сегодня утром их акции взлетели выше 9000. Я не даю прогнозов по акциям, но фундаментальный тренд ясен — эра ИИ-гегемонии, а всё решает память. Еще в прошлом году я думал, что всё зависит от математики (механизм внимания и пр.), но без памяти их реализовать невозможно. Итог: производительность памяти — это производительность ИИ. Я определяю: «ИИ = Память». Будь то ИИ-компания, государство ИИ, дата-центр на полупроводниках — все зависит от производителей памяти. Сейчас идет именно такая трансформация.

Еще удивительнее: для ИИ-дата-центров строят «ИИ-фабрики» — фабрики по созданию ИИ. Я называю их «фабриками памяти» — главное в ИИ-фабрике — это её память, её объем определяет лидерство страны или компании в ИИ. Google, Gemini, OpenAI, Anthropic Claude — кто победит? Я считаю, что — тот, у кого больше памяти.

Сейчас, чтобы защитить персональные данные, появился тренд установки ИИ-программ прямо на домашний компьютер — это AIPC. NVIDIA тоже хочет идти по этому пути, совместно с TSMC делает компьютеры с LPDDR на 128 ГБ и т.д. Для по-настоящему крутого варианта, возможно, скоро потребуется терабайт, а тогда цена ПК дойдет до 10 млн вон, и именно память будет стоить больше всего. В будущем даже смартфоны станут AI-смартфонами, и, возможно, кроме дисплея будет только окно с ИИ, а всё остальное работать в фоновом режиме — даже AI-очки появятся. Я полагаю, что больше половины цены AI-смартфона составит память: например, из цены в 3–5 млн вон 2–3 млн будет непосредственно стоимость памяти. По мере развития ИИ-инфраструктуры и моделей спрос на память растет, а AI PC и AI-смартфоны — второй драйвер роста.

Ведущий: Среди мировых ИТ-лидеров сейчас NVIDIA — неоспоримый лидер производительности. В чем секрет её успеха?

Ким Джонхо: До прошлого года обучение для ИИ было важнее всего — мощность ИИ равнялась способности к обучению. Здесь модель Transformer использует энкодер с обратным распространением ошибки, работает с дифференцированием — и именно GPU отлично умеют это делать. Так что в эпоху обучения центр был за GPU: чтобы делать ИИ — нужно было установить GPU, поэтому на них огромный спрос за любые деньги. Но с прошлого лета важнее стала функция вывода. Обучением уже не решить проблему «галлюцинаций», выдачу абсурдных ответов. Для персонального ИИ важнее стало именно inference — и критически важный полупроводник в этой эре — память. Поэтому на этом этапе память будет дороже и востребованнее, чем GPU.

Вдобавок, чтобы нарастить мощность GPU, нужно делать большую площадь кристалла — то есть добавлять вычислительные блоки. Например, компания Cerebras делает GPU на всю пластину по 12 дюймов. Проблема: производство сложно, дефект на пластине — всё в брак, да и область применения ограничена. Но даже у Cerebras есть HBM и HBF, без памяти в эпоху inference такие чипы становятся слабыми. Можно ли сделать стек GPU, как память? Нет, слишком жарко, радиатор обязателен, стека сделать нельзя. Так что GPU попали в «ловушку». В последнее время Хуанг Жэньсюнь нервничает, ездит по Корее, снимается на ТВ, бросает бейсбольный мяч, пьёт пиво — это сигнал его беспокойства. Я считаю, что техническое развитие GPU остановилось, а дальнейший прогресс ИИ-компьютеров решается уже памятью.

Ведущий: Ходят разговоры, что реальные GPU работают только на 10%?

Ким Джонхо: Да. Даже если поставить миллион GPU, реально они загружены только на 10–20%. Почему? GPU ждёт данные из памяти для расчетов и возврата результатов, но поток между HBM/HBF и процессором узкий. Когда ChatGPT быстро печатает слова, на каждую букву нужно считать, читать и записывать данные из памяти, и на это уходит почти всё время — GPU простаивает. Тут важно не как оптимизировать алгоритмы, а как обеспечить скоростной обмен и максимально увеличить поток в обе стороны, что и решает HBM/HBF. Даже если алгоритмы хороши, GPU реально работает максимум на 30% — остальное пустое ожидание.

Ведущий: Значит, вы полагаете, что будущие HBM и HBF будут включать функции GPU, открывая новую эру?

Ким Джонхо: Да. Раз данные в HBM/HBF заставляют GPU ждать, зачем гонять поток туда-сюда? Логичнее дать часть вычислений самой памяти — условно разместить GPU на первом этаже высотки, данные приезжают на «лифте», обработка внутри здания. Поэтому мой тезис: интеграция CPU/GPU прямо в HBM, а GPU оставить лишь запросы — это и есть переход к memory-centric computing. На HBM4 уже идет работа в этом направлении.

Ведущий: Если HBM/HBF получат функции GPU, но не сложены в стек — проблемы с охлаждением не будет?

Ким Джонхо: Проблема тепловыделения всё же остается. На HBM4 производительность разных моделей SK hynix и Samsung тоже разная из-за эффективности отведения тепла — ведь часть GPU-функций тоже внутри, память сидит на «тёплом полу», производительность падает, охлаждение важно. Кто лучше решит вопрос охлаждения, тот и возглавит рынок HBM4 и последующих поколений. У нас в лаборатории одна из ведущих идей — вынести часть функций на крышу высотки, сверху добавить башню охлаждения, тогда обдув идёт сверху вниз — и температура проще контролируется. Сейчас мы это исследуем в рамках проектов для HBM5, наши аспиранты ведут эти исследования.

Когда выходят наши статьи, NVIDIA, AMD, Samsung, SK hynix внимательно читают работу. Сперва кажется странным, потом пробуют — и других вариантов просто не остаётся.

Ведущий: Если реализовать вашу концепцию интеграции GPU-функций прямо в HBM/HBF, даже добавить CPU, это ведь даст Samsung и SK hynix новые преимущества?

Ким Джонхо: Да, открываются новые возможности и власть — шанс даже превзойти NVIDIA. Но нужна техническая база, инвестиции, кадры и главное грамотная политика и открытые взгляды у управленцев. Всё решает руководство.

Ведущий: Вы утверждаете, что впереди эра памяти, а не GPU — похоже, это уже начинается. Кстати, сейчас помимо GPU появляется и NPU, что это такое?

Ким Джонхо: Все они — процессоры для матричных вычислений в ИИ. GPU — это GPGPU, у TPU тоже стоит HBM, так что любой чип для AI не обойдется без HBM или другой памяти. У Gemini много функций: написание текстов, графика, обработка языка; а у некоторых чипов только текст — это NPU (Neural Processing Unit). Есть даже LPU. Это все специализированные вычислители с низким энергопотреблением и стоимостью. В Корее есть компании Rebellions, FuriosaAI, HyperExcel, а в мире таких проектов — десятки, но все они, чтобы получить высокую производительность, используют HBM.

Ведущий: В FuriosaAI и Rebellions недавно вложил крупные инвестиции Фонд роста национальных чемпионов — целью стать реальным конкурентом NVIDIA. Есть ли у них для этого потенциал?

Ким Джонхо: Я был одним из экспертов, принимавших решение. Логика такая: NVIDIA не может охватить весь мировой рынок, у NPU, TPU есть свои ниши. К примеру, если Саудовская Аравия строит дата-центр, не захочет зависеть только от американских решений — всегда 10% может отдать другим решениям, это шанс для корейских NPU. В Корее сейчас строится ИИ-дата-центр (на миллион устройств), если всё поставить NVIDIA, зависимость от зарубежных технологий слишком высока. Значит, надо выращивать своих игроков — вот для чего и делались инвестиции. Имеют и технические преимущества.

Ведущий: Среди ваших недавних исследований — новая концепция HBS, High Bandwidth SRAM?

Ким Джонхо: Да, это моя последняя идея. Как уже говорил, я просто генерирую концепты, а реализуют их Samsung и SK hynix. На внедрение иногда уходит 10–20 лет. Уже отмечал компанию Cerebras, делающую огромные GPU на весь 12-дюймовый кремний. В них и США делают LPU, пытаются встроить SRAM внутрь, чтобы минимизировать зависимость от HBM. SRAM в тысячу раз быстрее DRAM, но мал по объему. Смотрел — даже у Cerebras, где весь кремний под SRAM, памяти только 44 ГБ, а чтобы иметь смысл, надо минимум 400 и даже 440 ГБ.

Поэтому мой план: сделать чип SRAM на всей пластины, а потом сложить их в стек — на 10, 12 или 16 слоев. Получаем 100–1600 ГБ на бешеной скорости. На этот стек поставить GPU. Скорость увеличивается в 1000 раз, объем памяти достаточен — получается вполне рабочее решение. Такой стек SRAM я называю HBS. Мое видение будущего — здание из HBM, HBF и HBS по 100 этажей, GPU размещается сверху, охлаждение интегрировано — эта структура неизбежна для будущих ИИ-компьютеров.

Может, потребуется 10, 20, даже 30 лет. Причем главный технический вызов — электропитание: к стекам HBS и HBM сверху прибавляем GPU, нужны тысячи ампер, а сеть питания — камень преткновения. Это станет ключевым вызовом для SK hynix, Samsung, Micron, TSMC. Следом — задача охлаждения. Сейчас спорят, кто лучше на 3нм, но в будущем для 3D-компьютеров на HBS ключом станет то, кто лучше решит питание и охлаждение.

Ведущий: Можно сказать, HBS — это «Хван Чонмин» на рынке памяти (сравнение с суперзвездой).

Ким Джонхо: Совершенно верно, «Хван Чонмин». Еще 10 лет назад услышал, что Cerebras делает GPU на 12-дюймовой пластине — подумал: «А где это можно применить?» Наверное, для военного ИИ. Тогда был высокомерен, но две недели назад они вышли на IPO на NASDAQ — и я изменил мнение. Значит, все-таки нужно. Если у Cerebras мало памяти, придется стеками добавлять. Однажды с утра пришла идея, попросил студентов нарисовать схему. Как только в этом году придут новые магистранты, поручим им работу по HBS.

Ведущий: Кто изготавливает SRAM-чипы?

Ким Джонхо: Все производственные фабрики: TSMC, Samsung Electronics — все могут.

Ведущий: В этом году совокупная прибыль Samsung и SK hynix, говорят, может достигнуть 500–600 трлн вон — это реалистично или чересчур оптимистично?

Ким Джонхо: На мой взгляд — реалистично. Провожу технические встречи с топ-менеджерами, вижу — горят глаза. Цифры продаж они мне не раскрывают. Главное новшество HBM/HBF — «кастомизированный HBM». Раньше товар был стандартом; производили большие партии, а покупатель выбирал и диктовал цену — вот и был «цикл памяти». Главную роль играли CPU-производители, Microsoft, бренды ПК, а у памяти вся ответственность за запасы и колебания — отсюда цикл.

С HBM4 добавляются интеграция функций GPU и внутренняя связь между чипами HBM. Если раньше память просто выполняла команды от GPU, то теперь появляется коммуникация между чипами памяти: лучшие HBM могут получать большую загрузку, а слабым памяти не достаётся. Каждый заказчик (Google, AMD, NVIDIA) хочет свой уникальный HBM — то есть кастомизация, заказы оформляют заранее и заключают долгосрочные соглашения. Без заказов не будет разработок.

Сейчас спрос на высокопроизводительный HBM настолько высок, что клиенты сами выстраиваются в очередь. Рынок продавца, цена на стороне производителей — это сдвиг парадигмы.

Ведущий: Сегодня профессор Ким Джонхо из KAIST поделился взглядом на экосистему полупроводников. Спасибо за содержательную беседу.

Ким Джонхо: Благодарю.