Jin Jeong-ho, el padre de HBM: La esencia de la IA es la memoria, las GPU solo trabajan realmente el 10% del tiempo

El profesor Kim Jung-ho de la KAIST (Instituto Avanzado de Ciencia y Tecnología de Corea), conocido como el "Padre de la HBM", lanzó una afirmación disruptiva: la esencia de la IA es la memoria, no la GPU.

Recientemente, Kim Jung-ho, profesor del Departamento de Ingeniería Eléctrica de KAIST, concedió una entrevista por video en la que explicó sistemáticamente la evolución de la tecnología HBM, el panorama del poder computacional de la IA y la arquitectura futura de los semiconductores. Reconocido como el "Padre de la HBM" en la industria, Kim ya colaboraba con SK hynix en el desarrollo del HBM1 a principios de la década de 2010, liderando desde entonces una serie de investigaciones sobre la arquitectura de base. Las ideas de esta entrevista se han difundido ampliamente en los círculos tecnológicos y de inversión, y sus conceptos centrales apuntan a las contradicciones estructurales de la actual carrera por el poder computacional de la IA.

Kim Jung-ho presentó en la entrevista un dato impactante:

"Se instalan 1 millón de GPUs y sólo trabajan el 10% del tiempo real."

Explicó que cada vez que ChatGPT produce una palabra, el sistema debe leer datos de la HBM, realizar cálculos y escribirlos nuevamente en la memoria: "Leer y escribir consume casi todo el tiempo, la GPU sólo espera al costado." Incluso optimizando el algoritmo, la tasa de utilización de las GPU difícilmente supera el 30%.

Esto es la base real de la tesis que Kim ha defendido durante años: "IA equivale a memoria (IA = Memory)."

Kim Jung-ho es contundente en su análisis sobre la situación de NVIDIA. Afirma que Jensen Huang visitó Corea varias veces, participó en programas de entretenimiento, comió pollo frito y bebió cerveza, y se encontró con gente de todos los ámbitos, "tanta interacción demuestra que no está tranquilo".

"El crecimiento tecnológico de la GPU casi se detiene, ese es mi diagnóstico. La evolución de la computadora de IA está en manos de la memoria."

Su lógica es clara: para mejorar el rendimiento de la GPU sólo queda aumentar el tamaño del chip y apilar más núcleos de cálculo, pero la GPU genera tanto calor que debe llevar dispositivos de enfriamiento en la parte trasera, lo que impide el apilamiento vertical como la memoria. "La GPU cayó en un callejón sin salida externo (外通手에 걸린 느낌)."

Por otro lado, el cambio de la era de entrenamiento a la era de inferencia está revalorizando la importancia de la memoria. Kim comenta: "En la era de inferencia, lo más relevante es cuánta data se puede cargar en la IA, y el semiconductor que lo determina es la memoria."

Añade que la competencia en capacidades de IA es, en última instancia, competencia de capacidades de memoria: "Gemini de Google, OpenAI, Anthropic Claude, quien sea más fuerte, lo determina la memoria — esa es mi postura."

Kim Jung-ho señala que el valor de la HBM radica en dos dimensiones.

La primera es la capacidad. Gracias a la ingeniería de contexto, el input multimodal y la IA agente, la demanda de memoria crece al doble cada año, "10 años equivale a 1000 veces". Tradicionalmente se busca aumentar capacidad reduciendo el tamaño del transistor, pero hoy se está cerca del límite de la mecánica cuántica, prácticamente imposible de seguir reduciendo, por lo que hay que "apilar hacia arriba".

La segunda es el ancho de banda. Kim pone un ejemplo: "La memoria tradicional sería como una autopista de 8 carriles, la HBM tiene 1024 carriles, ahora 2048, y en unos años podría llegar a 100 mil carriles." Sólo con canales paralelos para transferir datos masivos se puede satisfacer la velocidad que exige el cálculo de IA.

La HBM resolvió la velocidad, pero la capacidad aún tiene límite. Kim detalla la ruta técnica que considera a futuro: HBF (High Bandwidth Flash).

En resumen, HBF implica apilar verticalmente NAND flash igual que la HBM. DRAM es rápida pero limitada en capacidad, NAND flash tiene gran capacidad y puede almacenar datos a largo plazo; aunque es más lenta, en inferencia es suficiente para los datos fríos.

Kim estima que en el futuro HBM y HBF coexistirán, como el diseño urbano: "Como hay un shopping central, rodeado de dúplex, hogares comunes, distintas formas de HBM y HBF se reúnen, formando un complejo, abasteciendo de datos a la GPU."

Hace una proyección clara: "Ahora es la era de la HBM, pero en 10 años la demanda de mercado de NAND flash y HBF superará la de HBM. Samsung y SK hynix deben prepararse para la era HBF."

Aclara que las compañías desarrollando HBF actualmente son SK hynix, Sandisk, Samsung Electronics y la japonesa Kioxia. Kioxia recientemente superó el valor bursátil de Toyota y es líder en la bolsa japonesa; Sandisk sube constantemente, y Samsung y SK hynix siguen encabezando en el mercado coreano.

Kim Jung-ho también propuso un concepto aún de frontera: HBS (High Bandwidth SRAM).

SRAM (memoria estática de acceso aleatorio) es unas 1000 veces más rápida que DRAM, pero tiene baja densidad y un costo mayor, normalmente se usa como caché pequeño dentro del chip. Kim propone utilizar toda una oblea de 12 pulgadas para fabricar SRAM y luego apilar de 12 a 16 capas, lo que expandiría la capacidad de 100GB a 1600GB.

"Así tendríamos una velocidad 1000 veces mayor, y capacidad suficiente, tendría sentido."

Su visión del chip de IA definitivo es un "edificio 3D de 100 pisos": "HBM, HBF y HBS forman capas de edificio, la GPU se coloca en la cima para enfriar, ese es el inevitable diseño 3D de semiconductores para computadoras de IA del futuro — esa es mi opinión actual."

Reconoce también que el mayor desafío de ingeniería en este camino no es el cálculo, sino la alimentación eléctrica y el enfriamiento: "Se deben suministrar miles de amperios para la GPU y las memorias apiladas, el diseño de la red de suministro será la técnica más difícil, y se convertirá en la verdadera competencia esencial entre empresas."

Kim Jung-ho enfatizó el cambio de estructura de oferta y demanda que trae HBM4.

Antes, la memoria era un producto estandarizado: el fabricante producía, el cliente lo elegía y compraba, los compradores fijaban el precio, el riesgo de inventarios quedaba del lado del fabricante, de ahí la esencia del "ciclo de memoria".

Pero con HBM4, por la necesidad de adaptar el diseño al acelerador de cada cliente (como NVIDIA, Google, AMD), los fabricantes de memoria deben tener el compromiso de cantidad desde el inicio del desarrollo, para lanzar el producto — el llamado "Acuerdo de Largo Plazo" (Long-term Agreement).

"Las empresas de IA necesitan HBM de alto rendimiento con urgencia, así que hacen fila. El proveedor comienza a fijar los precios, es un cambio de paradigma."

Predice también que en el futuro los chips HBM llevarán funciones de comunicación para que "las HBM se comuniquen entre sí", formando una estructura tipo alianza: "Nos comunicamos, quien nos favorece recibe más memoria; a la GPU que no coopera, no le asignamos memoria."

Esto refuerza la posición sistémica de los fabricantes de memoria.

Kim Jung-ho remarca que, a nivel mundial, sólo Samsung Electronics y SK hynix pueden producir simultáneamente DRAM (HBM) y NAND flash (HBF).

"Sandisk y Kioxia tienen acciones en alza, pero sólo hacen HBF, no HBM. Samsung y SK hynix tienen las herramientas más poderosas para liderar el futuro."

Ante la pregunta de si es realista prever un beneficio operativo combinado de 500 a 600 billones de wones este año para Samsung y SK hynix, Kim respondió: "Es realista." Añadió que suele intercambiar ideas técnicas con altos ejecutivos de ambas empresas, "cada vez les brillan más los ojos."

Pero reconoce que la competencia es real: Micron y Sandisk reciben pedidos de NVIDIA y Google, lo que dispersa el negocio.

Kim extendió la narrativa de demanda de memoria hasta los dispositivos finales.

Predice que, para que una PC de IA logre computación personal real, la memoria requerida llevará el precio "a 10 millones de wones por PC, el precio de la memoria condiciona el precio del equipo". Y en un smartphone IA, de los 3 a 5 millones de wones, de 2 a 3 serán el costo de la memoria.

"La evolución continua de la infraestructura y los modelos de IA necesita cada vez más memoria. La PC de IA y el smartphone de IA son otra línea clave de este proceso."

La visión de Kim Jung-ho sobre el desarrollo de la IA es también digna de atención. Considera que con la llegada de Agentic AI (IA agente) y Physical AI (IA física), el uso de memoria será unas 1000 veces superior al actual.

"Agentes IA trabajan 24 horas, no duermen como los humanos, el volumen se multiplica, la demanda de memoria explota. No se necesitará HBM, sino una era de 'Super HBM'."

Kim Jung-ho relató su trayectoria académica al final de la entrevista. Se doctoró en 1993, su campo era la medición ultrarrápida de señales eléctricas femtosegundo, su mentor ganó el Nobel de Física años más tarde. En 1994 entró a la división de memorias de Samsung, en 1996 volvió a KAIST, y durante unos 10 años se dedicó a la investigación básica de memoria y HBM antes de que se convirtiera en producto comercial.

En 2015, en una reunión interna escuchó por primera vez el término "deep learning", y vio que los algoritmos IA y la arquitectura HBM usan la misma matemática, álgebra lineal y matrices. "Me gustaba mucho la matriz en segundo año de universidad, resulta que ambos usan la misma matemática — eso es suerte."

Se ríe: al principio pensó en usar HBM para televisores, hacer la imagen más viva, jamás imaginó que sería infraestructura de la era IA: "No lo sabía en ese entonces, también es suerte."

El texto que sigue es una versión editada de la entrevista (con ayuda de IA para traducir)

Kim Jung-ho: HBM, HBF y HBS formarán un edificio de cien pisos, la GPU irá en el más alto para refrigerarse, etc. Creo que la estructura de semiconductores 3D será inevitable para las computadoras IA del futuro. Y uno de los mayores desafíos técnicos es la alimentación. Se requieren miles de amperios, así que el diseño de la red eléctrica será el reto más difícil. Eso será la clave de la competencia técnica.

Presentador: Nos acompaña Kim Jung-ho, conocido como el "Padre de la HBM" de KAIST. ¡Bienvenido!

Kim Jung-ho: Hola, encantado de verle. Gracias por la invitación.

Presentador: Gracias por sacar tiempo para nosotros.

Kim Jung-ho: No hay de qué. (Risas)

Presentador: Debemos empezar hablando de HBM. De hecho, el verdadero uso comercial de HBM comenzó hace apenas dos años, ¿verdad? El HBM3. El HBM1 sí, desde principios de la década de 2010 con SK hynix y en GPU se involucraban NVIDIA y AMD. Así que el HBM1 nació a principios de 2010, pero era para tarjetas gráficas.

Presentador: ¿Obtuvo su doctorado en los '90, profesor?

Kim Jung-ho: Sí.

Presentador: Pero ya comenzó a investigar en HBM desde su primer desarrollo en 2010.

Kim Jung-ho: Sí. Me doctoré en 1993, y mi investigación era más física. Construí el osciloscopio más rápido del mundo usando láser para medir señales eléctricas. Mi mentor ganó el Nobel de Física hace varios años. Lo que construí podía observar efectos temporales extremos en el rango femtosegundo (luz casi estática). Ahora, con la IA, se manejan cantidades enormes de información, y la velocidad llega incluso al rango de picosegundos y femtosegundos. Así que la investigación doctoral de hace 30 años sirve actualmente.

Eso sí, el campo era muy profundo y especializado, pero mi carácter era más social y comunicativo. Por eso pensé, la memoria será importante en el futuro. Así me uní en 1994 a Samsung Electronics división memoria, y desde ese entonces estudié y desarrollé memoria. En 1996 llegué a KAIST, donde hice investigación básica hasta cerca del 2010, y allí nació el HBM.

Las técnicas necesarias para HBM, como la mecánica cuántica, física de semiconductores, matemáticas, realmente se enseñan en segundo o tercer año universitario. Requieren mucho álgebra lineal, que aprendí en 1981 y sigo usando hoy. HBM evoluciona continuamente y en mi laboratorio hemos hecho incluso una hoja de ruta hasta HBM8, para 30 años. Así, desde la investigación inicial hasta hoy, han pasado unas cinco décadas.

Presentador: ¿Cuando empezó a analizar el concepto HBM ya imaginaba la era de la IA y que HBM sería clave?

Kim Jung-ho: No, AMD y NVIDIA querían usarlo para tarjetas gráficas. Las matemáticas en las gráficas y en la IA son iguales. Por eso HBM luego se hizo crucial para IA, aunque NVIDIA inicialmente veía HBM sólo para gráficos. Yo pensaba en usarlo para televisores porque Corea era líder en TV, y buscaba hacer las imágenes más vivas, así que la idea original era para TV.

En 2015, en una reunión en la universidad, algunos profesores jóvenes mencionaron "deep learning", que era el inicio de la IA. Yo sólo pensé "ah, existe esa tecnología", y medio en broma lo comenté, siendo el único que no entendía. Así que desde entonces, en 2015, realmente orienté mi especialidad a IA. Mi laboratorio aún investiga HBM, pero desde 2015 me dediqué totalmente a IA. Luego vi que los algoritmos de IA y HBM eran casi perfectos juntos. Entendí que eso iba a explotar en IA.

Al principio se usaba en CNN (reconocimiento por cámara), luego en aprendizaje reforzado (como en Go), todos necesitan muchos cálculos de matrices, por lo que requieren HBM. Pero la explosión total llegó con ChatGPT en los 2020. En el futuro la IA evolucionará hacia Agentic AI y también Physical AI. Por algoritmo, el uso de memoria podría crecer 1000 veces. En ese caso, necesitaremos una versión ultra de HBM, "Ultra HBM". Por eso tenemos más ideas. En todo caso, al principio no lo sabía, se puede llamar suerte. Me gustaba mucho álgebra lineal en segundo universitario y ambas áreas usan la misma matemática.

Presentador: Yo entiendo HBM como apilar varios DRAM, ¿es correcto?

Kim Jung-ho: Sí, es correcto. Sea para gráficos o IA, los cálculos requieren acceso rápido a memoria. HBM es necesario por dos razones. Primero, que tenga gran capacidad. En IA usamos cada vez más contexto, inputs multimodales, y Physical AI exige acumular más datos en memoria. Puede duplicarse cada año, en 10 ser 1000 veces. Para aumentar capacidad hay que reducir el tamaño del transistor, pero ya está al límite por interferencia y fuga, rozando la mecánica cuántica, muy difícil seguir reduciendo. Así que la capacidad es difícil de aumentar.

Por eso, en los 2000 ya veía que la memoria del futuro tendría que apilarse. Desde ahí propusimos el "apilamiento" en vez de "planar". La mayoría diseñaba semiconductores de una sola capa, nosotros apostamos por apilar. Nosotros diseñamos, Samsung y SK hynix lo hicieron realidad, y el resultado es HBM. Segundo, la capacidad sola no alcanza, hay que transferir datos rápido a la GPU. Así responde rápido: documentos, texto, incluso películas. Hay que transmitir datos en paralelo. Es como pasar de una autopista de 8 carriles a 1024, luego 2048, y en unos años quizá 1 millón.

Así, el núcleo de HBM es: apilar para aumentar capacidad e instalar "ascensores" y "autopistas", transmitiendo datos a velocidad de luz (mil, millones de veces más rápido que la memoria convencional), esa es la estructura paralela.

Presentador: Se habla de HBF junto con HBM. ¿Qué es HBF y en qué se diferencian?

Kim Jung-ho: Hay dos tipos principales de memoria: DRAM y NAND Flash. DRAM es rápida pero no sirve para guardar datos a largo plazo; NAND Flash tiene 10 veces la capacidad de DRAM, es más lenta pero almacena datos a largo plazo, como en cámaras. HBM es apilada pero sigue siendo poca capacidad. Ahora con ingeniería de contexto, al cargar a la IA no sólo texto sino documentos, videos de YouTube, la cantidad de archivos crece y la memoria tiene mucha más demanda. Los resultados intermedios de cálculo (KV Cache) también necesitan almacenamiento.

Con Agentic AI, puedo tener 10, 100 agentes IA trabajando para mí, su volumen de trabajo es 100 veces el mío, trabajan 24 horas, así que el trabajo y la memoria se disparan. Incluso apilando DRAM la capacidad no da, así que pensamos en apilar NAND Flash, eso es HBF. Los desarrolladores de HBF son SK hynix, Sandisk, Samsung Electronics y Japón Kioxia. Kioxia superó a Toyota, es número uno en Japón. Micron y Sandisk de EE.UU. suben en acciones, Samsung y SK hynix lideran en Corea.

Junto a la GPU hay dos tipos de memoria: HBM y HBF, llamadas "memoria caliente"; para guardar a largo plazo datos de usuario de IA son "memoria fría", ambas demandas crecen. En unos 10 años, la demanda de mercado de NAND Flash y HBF podría superar la de HBM. Ahora es la era de HBM, pero Samsung y SK hynix deben prepararse para HBF, esa es mi postura.

Presentador: Dijo que en 2038 HBM podría llegar a su octava generación.

Kim Jung-ho: Sí.

Presentador: En ese tiempo HBM y HBF estarán comercializados, ¿serán complementarios o rivales?

Kim Jung-ho: Son complementarios. HBM4 salió este año, en unos años vendrá HBM5, un avance cada tres años, en 10 años será HBM8. Allí usarán HBM y HBF juntos. HBM tiene poca capacidad pero es rápida; HBF es más lenta y con límites físicos, pero su capacidad es enorme. Si HBM no alcanza, se acompaña con HBF, no existen solos sino como un complejo tipo conjunto de departamentos: un shopping central (HBM) y un conjunto de edificios (HBF). Diferentes formas de HBM y HBF conectadas, dando servicio al usuario. En capacidad total, HBF puede superar a HBM.

Presentador: Entonces, la diferencia clave es apilar DRAM o NAND Flash, ambos imprescindibles.

Kim Jung-ho: Exacto, sólo Samsung Electronics y SK hynix hacen los dos tipos. Sandisk y Kioxia sólo pueden hacer HBF (o ESSD apilado NAND), no HBM. Por eso veo a Samsung y SK hynix como los más preparados para liderar el futuro.

Presentador: ¿Puede decirse que Samsung y SK hynix tienen una ventaja absoluta?

Kim Jung-ho: Sí. Hoy subieron a 9000 en bolsa, ¿no? Aunque prever acciones no es mi rubro, la tendencia mundial va a la hegemonía IA, y el poder de la IA lo define la memoria. Hasta el año pasado creía que la IA dependía de matemática (por ejemplo, el mecanismo de atención), pero necesita memoria. Finalmente, el rendimiento de memoria es el rendimiento de IA. Por eso defino "IA = memoria". Empresas, países de IA o centros de datos dependen de las compañías de memoria. Es una era de cambio de paradigma.

Aún más, HBM y HBF se usan en data centers IA, ahora llamados "fábricas de IA" — fábricas que hacen IA. Yo lo llamo "fábricas de memoria", el núcleo de la fábrica IA es la memoria, la cantidad de memoria decide la hegemonía nacional y empresarial IA. ¿Google, Gemini, OpenAI, Anthropic Claude, quién es mejor? Yo sostengo que lo decide la memoria.

Se habla de calcular IA directamente en la computadora personal para proteger datos, eso se llama AIPC. NVIDIA quiere hacerlo, colaborando con TSMC para fabricar PC con 128GB LPDDR, memoria enorme. Para hacerlo bien quizá se requiera TB de memoria, el precio de una PC será 10 millones de wones, el costo de memoria determina el precio. Los smartphones serán IA, pantalla con ventana única, todo lo demás lo hará la IA, incluso IA glasses. Yo sostengo que más de la mitad del precio de un smartphone IA será memoria, por ejemplo un móvil de 3-5 millones de wones, 2-3 millones serán memoria. A mayor evolución de infraestructura y modelos de IA, más memoria, PC de IA y móvil de IA es otro eje de crecimiento.

Presentador: Entre los grandes de tecnología mundial, NVIDIA conserva el liderazgo, ¿cuál es su secreto?

Kim Jung-ho: Hasta el año pasado, el "entrenamiento" era más importante, la capacidad de entrenar era el poder IA. En el entrenamiento, la parte encoder del modelo Transformer hace retropropagación, diferencial, y la GPU lo hace bien. Por eso la era de entrenamiento era la era GPU, todos querían GPU y pagaban altos precios. Pero desde el verano pasado, la "inferencia" se volvió más crucial. Sólo el entrenamiento no elimina el "hallucination" problem, respuestas erróneas, y la IA no sirve si responde mal. Para personalizar IA, la inferencia es vital y el semiconductor clave es la memoria. Así, en la era de inferencia, la memoria será más cara y demandada que la GPU.

Otro motivo: para aumentar rendimiento de GPU hay que hacerla más grande (más núcleos). Una manera es como Cerebras, toda una oblea de 12 pulgadas para la GPU, pero es difícil de fabricar: si falla una parte hay que desechar todo, no es económico y tiene usos muy limitados. Aun así, Cerebras depende de HBM y HBF, sin memoria es débil en inferencia. ¿Puede NVIDIA apilar GPU? No, por exceso de calor, necesita enfriamiento y no puede apilar. Así la GPU queda atrapada. Últimamente Jensen Huang inquieto, va a Corea, sale en TV, lanza pelotas de béisbol, come pollo y cerveza, ve mucha gente, no está cómodo. Es que la GPU avanzada está casi detenida. Ahora, el crecimiento en computadoras IA depende de memoria.

Presentador: ¿Es cierto que sólo funciona el 10% de las GPU?

Kim Jung-ho: Sí. Aunque se instalen un millón de GPU, sólo trabajan realmente el 20%, o incluso el 10%. ¿Por qué? La GPU depende de la memoria para calcular y entregar resultados, pero la data no llega desde HBM/HBF a tiempo. Cada vez que ChatGPT produce una palabra, hay que leer HBM/HBF, calcular y escribir, casi todo el tiempo se va en leer/escribir, la GPU espera. La clave es lo rápido que se lee, cuánta data, por eso hace falta HBM y HBF. Mejorando algoritmo, la GPU sólo trabaja máximo el 30%, el resto es espera.

Presentador: ¿Entonces sostiene que la HBM/HBF integrará funciones de GPU y abrirá nueva era?

Kim Jung-ho: Sí. Si la data de HBM/HBF hace esperar a la GPU, mejor que nosotros calculemos. Es como poner la GPU en el primer piso del edificio, la data baja en “ascensor” y hacemos todo allí, sin ir a otro sitio, se ahorra tiempo. Así planteo poner CPU/GPU dentro de HBM, incluso que la GPU esté "al costado". Por supuesto, no debe quedar sin nada, hay que repartir funciones, que esté “siempre con hambre”. Eso es lo que llamo "Memory-Centric Computing". Desde HBM4 ya vamos en esa dirección.

Presentador: Si HBM/HBF integran GPU, ¿no habría el problema de calor de apilar GPUs?

Kim Jung-ho: Sí habrá algo de calor. Desde HBM4, SK hynix y Samsung pueden tener diferencias de rendimiento, depende de si logran enfriar bien. Cuando la GPU va "en el primer piso", ese calor puede afectar rendimiento, hay que enfriar bien. Quien logre mejor refrigeración dictará el rendimiento de HBM4 y siguientes, igual en GPU. Mi laboratorio propone, si una capa tiene mucho calor, mover funciones al "techo", poner torre de enfriamiento arriba, enfriar desde la cima. Es una arquitectura clave, en HBM5 los estudiantes de doctorado trabajan en eso, esperamos buenos resultados.

Después de publicar nuestras ideas, NVIDIA, AMD, Samsung, SK hynix lo leen; a veces lo rechazan, pero ven que es el único camino y acaban adoptándolo.

Presentador: Si se integra GPU y hasta CPU en HBM/HBF, ¿Samsung y SK hynix serán aún más fuertes?

Kim Jung-ho: Sí, la oportunidad llega. "Serán más fuertes" significa más capacidad de liderar, incluso superar a NVIDIA. Para lograrlo hace falta investigación, inversión, formación de talentos y buena política de gestión, apertura y buen juicio de la dirección, que es lo más importante.

Presentador: Sostiene que "llega la era de la memoria, no la GPU", parece ya comenzar. Además, aparecen NPU junto al auge de GPU, ¿qué es NPU?

Kim Jung-ho: Todos son procesadores, cálculo de matrices, usados para IA. GPU era GPGPU, en TPU también hay HBM, todos dependen de HBM y memoria. Gemini escribe, procesa lenguaje, dibuja, y algunos chips solo escriben, hechos específicamente, son NPU. Algunos los llaman LPU. Son calculadoras IA para tareas concretas, más pequeños, bajos en consumo y costo. En Corea hay Rebellions, FuriosaAI, HyperExcel, globalmente hay unas pocas NPU, pero para alto rendimiento todas requieren HBM.

Presentador: FuriosaAI y Rebellions recibieron inversiones importantes, buscan competir globalmente con NVIDIA. ¿Tienen realmente competitividad global?

Kim Jung-ho: Yo fui parte del comité de evaluación. Una razón es que NVIDIA no puede dominar todos los campos, NPU, TPU seguramente tendrán nichos. Ejemplo: Arabia Saudita construye data centers, si sólo usa productos estadounidenses, la dependencia es excesiva, así que puede instalar un 10% de alternativas, las NPU coreanas pueden entrar. También, Corea está montando centros IA, si todo es de NVIDIA, dependeríamos mucho del exterior; hace falta desarrollar empresas locales. Por eso la inversión, para potenciar nacionales. En resumen, es así. Técnicamente, también tienen ventajas.

Presentador: En investigaciones recientes propuso el concepto de "SRAM de alto ancho de banda (HBS)"?

Kim Jung-ho: Sí, es nuevo. Suelo proponer ideas, pero realizarlas demanda mucho trabajo de Samsung, SK hynix, etc, y a veces tras 10-20 años impactan mucho. Como mencioné, hay chips enormes como Cerebras en EE.UU., también LPU. Para reducir dependencia de HBM, integraron SRAM dentro de la GPU como memoria. SRAM es 1000 veces más rápida que DRAM pero de poca capacidad. Investigando, sea Cerebras o LPU, el problema es que la SRAM es insuficiente. Toda la oblea de Cerebras sólo logra 44GB SRAM, pero creo que debe haber al menos 400-440GB.

Sugiero fabricar todo el wafer de 12 pulgadas como SRAM, apilar 10, 12, 16 capas; así se pasa de 100GB a 1600GB, una capacidad increíble. Encima del bloque apilado de SRAM poner la GPU. Velocidad mil veces mayor, capacidad suficiente, parece viable. A tal bloque de SRAM lo llamo HBS. Mi sueño: HBM, HBF y HBS formen un edificio de 100 pisos, la GPU arriba, sistema de enfriamiento integrado, y esa estructura 3D será inevitable en la computadora IA futura.

Pueden pasar 10, 20 o hasta 30 años. Uno de los mayores retos técnicos es la alimentación eléctrica. Para apilar GPU encima de HBS, HBM, se necesitan miles de amperios, el diseño eléctrico será el reto esencial, la competencia técnica clave. SK hynix, Samsung, Micron, TSMC, todos iguales; después viene la refrigeración, es una barrera. Hoy se habla de quién logra mejor proceso nanométrico, pero en el futuro, con computadoras IA 3D, la alimentación y refrigeración decidirán el destino de las empresas.

Presentador: HBS es el "Hwang Jung-min" (gran figura) de la memoria.

Kim Jung-ho: ¡Es "Hwang Jung-min", tal cual! Hace 10 años oí que Cerebras usa una oblea de 12 pulgadas para la GPU, pensé "¿esto para qué sirve?" Seguro era para IA defensiva. Me sentía confiado. Dos semanas atrás, la empresa salió a bolsa en Nasdaq y me hizo reconsiderar. Tiene utilidad. Si el gran fallo de Cerebras es su falta de memoria, apilémosla. Una mañana tuve la idea, los estudiantes hicieron el dibujo. Ahora hablo de HBF, y a partir de este año los nuevos estudiantes de máster lo tomarán como tema para tesis, HBS.

Presentador: ¿Quién produce SRAM?

Kim Jung-ho: Las fábricas de chips, TSMC y Samsung lo hacen.

Presentador: ¿La previsión de 500-600 billones de wones de beneficio operativo para Samsung y SK hynix este año es real o demasiado optimista?

Kim Jung-ho: Creo que es real. Me reúno frecuentemente con ejecutivos de Samsung y SK hynix, noto que brillan mucho más, aunque no conversan sobre cifras concretas. HBM y HBF tienen hoy una característica clave: "HBM customizada". Antes eran productos estandarizados, producción masiva, los clientes compran más o menos, el precio fluctúa, y eso se llama "ciclo de memoria". El fabricante no tenía control, dependía del comprador (CPU, Microsoft, PC) y creemos inventario por si acaso, si no compran el stock queda para nosotros, ese es el "ciclo de memoria".

Pero desde HBM4, además de GPU integrada, se agrega que la HBM puede comunicarse entre sí. Antes sólo seguía órdenes de la GPU, ahora buscamos que también se comuniquen. En el futuro, las HBM pueden competir y asignar más memoria a las que mejor funcionan. O sea, forman combinaciones internas y no dejan que las peores transmitan data a la GPU. En síntesis, con estas funciones de algoritmo, comunicación, GPU, cada empresa (Google, AMD, NVIDIA) exige un diseño distinto, eso es HBM customizada. Así, desde el inicio hay acuerdos de suministro a largo plazo (LTA), si no hay pedido no se desarrolla el producto.

Ahora las empresas de IA necesitan HBM de alto rendimiento, hacen cola y el mercado cambia a vendedor, el proveedor fija precio. Es un cambio de paradigma.

Presentador: Hasta aquí conversamos con Kim Jung-ho de KAIST sobre el ecosistema de semiconductores. Gracias por compartir hoy.

Kim Jung-ho: Gracias.