Jin Jeong-ho, le père du HBM : L'essence de l'IA est la mémoire, le GPU ne fonctionne réellement que 10 % du temps

Celui que l’on surnomme "le père du HBM", le professeur Kim Jeong-ho de l’Institut supérieur des sciences et technologies de Corée (KAIST), a lancé un jugement qui bouleverse les idées reçues : la véritable essence de l’IA, c’est la mémoire, pas le GPU.

Récemment, le professeur Kim Jeong-ho du département d’ingénierie électrique du KAIST a donné une interview vidéo détaillant l’évolution technique du HBM, la structure du calcul en IA et l’architecture future des semi-conducteurs. Kim Jeong-ho est appelé par l’industrie "le père du HBM" ; dès le début des années 2010, il a collaboré avec SK hynix sur le développement du HBM1, puis a piloté une série de recherches sur l’architecture fondamentale. Le contenu de cet entretien circule largement dans les sphères technologiques et d’investissement, et met en lumière le principal conflit structurel du concours de puissance actuel de l’IA.

Dans l’interview, Kim Jeong-ho a donné directement un chiffre saisissant :

"Même avec un million de GPU installés, le temps de travail effectif n’atteint que 10%."

Il explique que, chaque fois que ChatGPT sort un mot, le système doit lire les données depuis le HBM, effectuer les calculs, puis écrire les résultats en mémoire. "Lire et écrire prennent presque tout le temps, pendant que le GPU attend à côté sans rien faire." Même avec une optimisation algorithmique, il reste difficile de dépasser 30% d'utilisation des GPU.

Cela illustre la réalité de son axiome défendu depuis des années : "IA = Mémoire".

Kim Jeong-ho a une vision incisive sur la situation actuelle de NVIDIA. Il observe que Jensen Huang a récemment multiplié les visites en Corée, participations à des émissions télé, dégustations de poulet frit et rencontres avec divers interlocuteurs, "ce nombre de rencontres témoigne de son inquiétude".

"L’évolution technologique du GPU est quasiment stoppée, c’est mon jugement. C’est la mémoire qui contrôle l’avancée de l’ordinateur d’intelligence artificielle."

Son raisonnement est limpide : pour augmenter la puissance du GPU, il faut agrandir la surface de la puce et multiplier les unités de calcul ; mais les GPU dégagent trop de chaleur, nécessitent un dispositif de refroidissement au dos et ne peuvent donc pas être empilés verticalement, contrairement à la mémoire. "Le GPU est coincé dans une impasse d’accès externe (외통手에 걸린 느낌)."

En revanche, lors du passage de l’ère de l’apprentissage à celle de l’inférence, l’importance de la mémoire a été redéfinie. Kim Jeong-ho déclare : "À l’ère de l’inférence, l’essentiel est la quantité de données qu’on peut intégrer à l’IA, et c’est la mémoire qui le détermine."

Il va plus loin : la compétition sur les capacités de l’IA finit par être celle sur la mémoire : "Google Gemini, OpenAI, Anthropic Claude – qui est le plus fort, cela dépend de la mémoire : c’est ma conviction."

Kim Jeong-ho résume la valeur du HBM en deux dimensions.

Premièrement, la capacité. Avec l’arrivée de l’ingénierie contextuelle, des entrées multimodales et de l’Agentic AI, la demande en mémoire double chaque année – soit "1000 fois plus en 10 ans". L’ancienne méthode consistait à réduire la taille des transistors, mais on atteint aujourd’hui les limites imposées par la mécanique quantique, impossible de rétrécir davantage : il faut alors "empiler vers le haut".

Deuxièmement, la bande passante. Kim Jeong-ho compare : "Si la mémoire traditionnelle offre une autoroute à 8 voies, le HBM en propose 1024, aujourd’hui 2048, et dans quelques années peut-être un million." Pour répondre au besoin de vitesse de calcul de l’IA, il faut transporter en parallèle d’énormes quantités de données.

Le HBM a résolu le problème de vitesse, mais celui de capacité subsiste. Kim Jeong-ho détaille dans l’interview la prochaine voie technique selon lui : le HBF (High Bandwidth Flash).

Pour faire simple, le HBF consiste à empiler verticalement le NAND Flash comme on le fait pour le HBM. La DRAM est rapide mais limitée en capacité, le NAND Flash, plus lent, dispose d’une capacité importante et peut stocker les données sur le long terme, ce qui est suffisant pour le stockage des "données froides" dans les scénarios d’inférence.

Kim Jeong-ho estime que, à l’avenir, HBM et HBF coexisteront, comme dans une planification urbaine : "Comme un grand magasin entouré d’appartements duplex et de logements standards, différentes combinaisons de HBM et HBF formeront un complexe pour alimenter le GPU en données."

Il fait une prévision long terme claire : "Nous sommes à l’ère du HBM aujourd’hui, mais dans 10 ans, la demande de NAND Flash et de HBF dépassera celle du HBM. Samsung et SK hynix doivent se préparer à l’ère du HBF."

Il indique que les entreprises travaillant sur le HBF actuellement sont SK hynix, Sandisk, Samsung Electronics et la japonaise Kioxia. Kioxia vient de dépasser Toyota en valorisation, devenant le leader de la bourse japonaise, la valeur de Sandisk augmente, tandis que Samsung et SK hynix dominent le marché coréen.

Kim Jeong-ho lance aussi un concept d’avant-garde : le HBS (High Bandwidth SRAM).

La SRAM (mémoire vive statique) est environ 1000 fois plus rapide que la DRAM, mais elle est moins dense et plus coûteuse, traditionnellement limitée à de petits caches sur la puce. Sa proposition : transformer tout un wafer de 12 pouces en SRAM, empiler 12 à 16 couches verticalement et ainsi passer de 100GB à 1600GB.

"Ainsi, la vitesse serait multipliée par 1000, avec une capacité suffisante. Cela ferait sens."

Il imagine la forme ultime de puce IA comme un "immeuble 3D de 100 étages" : "HBM, HBF, HBS formeraient chacun des bâtiments multi-étages, avec le GPU au sommet pour le refroidissement, c’est la structure 3D inévitable de l’ordinateur IA du futur – c’est mon jugement actuel."

Il admet aussi que le plus grand défi d’ingénierie n’est pas le calcul mais l’alimentation et le refroidissement : "Il faudra fournir des milliers d’ampères pour le GPU et la mémoire empilée ; le réseau d’alimentation sera la réelle difficulté technique et le cœur de la compétitivité des entreprises."

Kim Jeong-ho évoque le changement de structure de l’offre avec HBM4.

Dans le passé, la mémoire était un produit standard : les fabricants produisaient, les clients achetaient, les acheteurs fixaient les prix, et la gestion du stock reposait sur les fabricants de mémoire – c’est l’essence du "cycle de la mémoire".

Depuis HBM4, il faut concevoir sur mesure selon l’architecture des accélérateurs de clients comme NVIDIA, Google, AMD ("HBM sur mesure"), et les fabricants attendent un engagement de quantité avant de lancer le développement – c’est le principe de "contrat long terme" (Long-term Agreement).

"Les entreprises AI ont tellement besoin de HBM de haute performance qu’elles font la queue. Le fournisseur fixe le prix, c’est un changement de paradigme."

Il prévoit aussi qu’à l’avenir, les puces HBM intègreront des fonctions de communication inter-mémoire, formant des sortes d’alliances : "Nous nous communiquons entre nous, et accordons la mémoire à ceux qui nous sont favorables ; les GPU indociles n’en reçoivent pas."

Ceci élève encore la position systémique des fabricants de mémoire.

Kim Jeong-ho insiste dans l’interview : à l’échelle mondiale, seules Samsung Electronics et SK hynix savent produire DRAM (HBM) et NAND Flash (HBF).

"Sandisk et Kioxia, malgré leur envolée boursière, ne savent faire que HBF, pas HBM. Samsung et SK hynix possèdent les outils les plus puissants pour l’avenir."

Interrogé sur la prévision de profits opérationnels combinés de 500 à 600 mille milliards de wons pour Samsung et SK hynix cette année, Kim Jeong-ho répond : "C’est réaliste." Il ajoute qu’il échange souvent avec leurs dirigeants techniques : "Leur regard brille de plus en plus."

Il reconnaît toutefois la concurrence réelle : Micron et Sandisk captent des commandes de NVIDIA et Google.

Kim Jeong-ho projette la demande de mémoire jusqu’aux terminaux.

Il prévoit qu’un vrai AI PC pour calcul personnalisé demandera tellement de mémoire que "le prix d’un PC atteindra 10 millions de wons, et le prix de la mémoire déterminera celui du PC". Pour un smartphone AI à 3-5 millions de wons, entre 2 et 3 millions seront liés au coût de la mémoire.

"L’infrastructure AI et la progression du modèle AI exigent toujours plus de mémoire. Les AI PC et smartphones AI seront un autre axe majeur de cette tendance."

Kim Jeong-ho juge aussi déterminante l’évolution de l’IA. Avec l’émergence de l’Agentic AI et du Physical AI, l’usage de mémoire pourrait être jusqu’à 1000 fois plus élevé qu’aujourd’hui.

"L’Agent travaille 24h/24, contrairement à l’humain qui dort, la charge explose, et la demande en mémoire aussi. Ce sera l’ère du ‘super HBM’ et non seulement du HBM."

Kim Jeong-ho termine l’interview en revenant sur sa trajectoire académique. En 1993, il obtient son doctorat sur la mesure ultrarapide de signaux électriques au niveau femtoseconde, son directeur obtient plus tard le Nobel de physique. En 1994, il rejoint le département mémoire de Samsung Electronics, en 1996 retourne au KAIST, et poursuit pendant dix ans des recherches fondamentales sur la mémoire et le HBM avant la mise sur le marché.

En 2015, lors d’une réunion interne, il découvre le terme "deep learning" et réalise que les algorithmes AI et l’architecture HBM reposent sur la même mathématique – l’algèbre linéaire et le calcul matriciel : "La passion des matrices en deuxième année m’a servi des deux côtés – c’est une question de chance."

Il sourit : au départ, il pensait utiliser le HBM pour rendre l’image de la télévision plus dynamique, sans imaginer que ce serait la base de l’ère de l’IA : "A l’époque, je ne savais pas, on peut dire que j’ai eu de la chance."

Ce qui suit est la transcription, raccourcie (traduction assistée par AI)

Kim Jeong-ho : HBM, HBF, HBS formeront un immeuble de cent étages, le GPU ira tout en haut, pour le refroidissement, etc. Selon moi, cette architecture 3D de semi-conducteurs est inévitable pour les ordinateurs IA du futur. L’un des plus grands défis techniques sera l’alimentation ; il faudra fournir plusieurs milliers d’ampères, et la conception du réseau électrique sera le point le plus difficile. Voilà ce qui constituera la véritable compétitivité technologique.

Animateur : Celui qu’on appelle le “père du HBM”, le professeur Kim Jeong-ho du KAIST, nous a rejoint en plateau. Bonjour !

Kim Jeong-ho : Bonjour, heureux de vous rencontrer. Merci pour votre invitation.

Animateur : Merci d’avoir pris le temps.

Kim Jeong-ho : Avec plaisir. (Rires)

Animateur : Il faut commencer par le HBM. En fait, la production de masse et l’application du HBM, ce n’est que depuis deux ans environ, non ? Pour le HBM3, oui. Le HBM1, dès les années 2010, j’ai collaboré avec SK hynix, et côté GPU il y avait NVIDIA et AMD. Ainsi, le HBM1 a débuté au début des années 2010, mais à l’époque, il était destiné aux cartes graphiques.

Animateur : Vous avez obtenu votre doctorat dans les années 1990, n’est-ce pas ?

Kim Jeong-ho : Oui.

Animateur : Mais dès le développement initial du HBM en 2010, vous vous étiez mis sur ce sujet.

Kim Jeong-ho : En effet. J’ai obtenu mon doctorat en 1993, mon domaine était davantage axé sur la physique. J’ai fabriqué l’oscilloscope laser le plus rapide du monde pour mesurer des signaux électriques. Mon directeur a gagné le Nobel de physique il y a quelques années. À l’époque, mon équipement pouvait observer des phénomènes quasi-statiques de la lumière à l’échelle femtoseconde. Aujourd’hui, avec l’IA, il faut traiter d’énormes volumes de données, et la vitesse des circuits numériques atteint les picosecondes voire femtosecondes. Ainsi, mes recherches de doctorant d’il y a 30 ans trouvent une utilité actuelle.

Mais mon champ de recherche était très pointu, et mon caractère est tourné vers la communication. Je me suis donc dit : la mémoire sera vitale dans le futur. Avec cette idée, j’ai rejoint le département mémoire de Samsung Electronics en 1994. Depuis, j’étudie la mémoire. En 1996, je suis allé au KAIST, et jusqu’en 2010, dix ans de recherche fondamentale sur le HBM avant de passer au produit.

L’ensemble des technologies nécessaires au HBM – mécanique quantique, physique des semi-conducteurs, mathématiques – sont des sujets que j’ai appris en deuxième/ troisième année d’université. On exige beaucoup de connaissances en algèbre linéaire, je l’ai apprise en 1981 et elle me sert encore. Le HBM se renouvelle sans cesse, nous avons même proposé une feuille de route de 30 ans jusqu’au HBM8. Au final, cela fait près de 50 ans depuis mes premiers travaux jusqu’à aujourd’hui.

Animateur : Aviez-vous envisagé que l’IA deviendrait centrale et que le HBM en serait le cœur ?

Kim Jeong-ho : Non, AMD et NVIDIA voulaient l’utiliser pour les cartes graphiques. Les mathématiques nécessaires y sont identiques à celles de l’IA. Au final, le HBM a fini au cœur de l’IA, mais pour NVIDIA c’était d’abord destiné aux cartes graphiques. J’ai pensé à l’époque à la télévision, très développée en Corée, pour rendre l’image plus réaliste et vivante : c’était mon premier usage envisagé.

En 2015, lors d’une réunion à l’université, de jeunes profs ont parlé de "deep learning", une technologie AI naissante. Je me suis dit "oh, il existe ça", discuté en plaisantant, mais j’étais le seul à ne pas comprendre. J’ai donc basculé vers l’IA en 2015. Mon labo était officiellement orienté HBM, mais j’ai changé en sous-main. Après quelques années, j’ai constaté que l’algo AI et HBM étaient faits l’un pour l’autre. J’ai senti que le HBM exploserait en IA.

Au début, c’était pour les CNN (reconnaissance d’objets par caméra), puis le renforcement (comme le jeu de go), besoin de nombreux calculs matriciels, donc besoin du HBM. L’usage massif a explosé avec ChatGPT début 2020. L’IA va évoluer vers Agentic AI et Physical AI. Sur le plan algorithmique, leur consommation mémoire sera 1000 fois supérieure à aujourd’hui. Il faudra une version "Ultra HBM". Donc nous avons aussi d’autres idées. Bref, je ne savais pas au départ, c’est une question de chance. J’ai adoré l’algèbre linéaire en université, et les deux mobilisent la même mathématique.

Animateur : Le HBM consiste à empiler des DRAM, c’est exact ?

Kim Jeong-ho : Oui, exact. Que ce soit pour cartes graphiques ou IA, il faut lire rapidement les données en mémoire pour calculer. Il y a deux raisons fondamentales pour le HBM. D’abord la capacité : surtout avec le contexte, le multimodal et le Physical AI, il faut accumuler de plus en plus de données en mémoire. Ça double chaque année, donc 1000 fois en 10 ans. Pour augmenter la capacité, il faut réduire la taille des cellules ou des transistors, mais il y a interférences et fuites, on approche le mur de la mécanique quantique. Donc très difficile d’augmenter la capacité.

Dès le début des années 2000, je pensais qu’il faudrait empiler la mémoire. Nous avons défendu le "stacking" et non le "plan". Presque tout le monde a conçu à plat, nous avons pensé en empilage. Nous proposions le design, Samsung et SK hynix le réalisaient, ce qui a donné le HBM. Deuxième raison : même avec une grande capacité, il faut envoyer vite les données au GPU. Répondre rapidement, gérer des documents, des vidéos. Il faut la transmission parallèle. Comme une autoroute passant de 8 à 1024 voies, puis 2048, puis un million, peut-être.

Le cœur du HBM : accroître la capacité via stack, installer "ascenseur" et "autoroute" pour transférer à la vitesse de la lumière (1000 à un million fois plus vite qu’avec mémoire classique), c’est la structure parallèle.

Animateur : En plus du HBM, on parle souvent du HBF. Qu’est-ce que c’est ?

Kim Jeong-ho : Mémoire générale, deux types : DRAM et NAND Flash. La DRAM est rapide mais ne stocke pas à long terme ; le NAND Flash a une capacité 10 fois supérieure à la DRAM, un peu plus lent, stocke sur le long terme (appareil photo, etc). Mais même empilé, la capacité du HBM reste insuffisante. L'ingénierie contextuelle pousse les entrées AI à inclure texte, fichiers de référence, vidéos YouTube, donc images et vidéo, explosion de la mémoire nécessaire. Les résultats intermédiaires (KV Cache) doivent tout contenir.

Avec Agentic AI, je peux employer 10, 100 IA, charge 100 fois supérieure, ils bossent 24h/24, donc besoin mémoire croît massivement. Même empilant DRAM, la capacité reste insuffisante, d'où l'idée de stacker NAND Flash : le HBF. Aujourd’hui, HBF développé par SK hynix, Sandisk, Samsung Electronics, Japon Kioxia aussi. Kioxia est numéro un en bourse au Japon, Micron et Sandisk montent, Samsung et SK hynix dominent en Corée.

Les mémoires proches du GPU sont HBM et HBF, "mémoires chaudes", stockage durable pour info utilisateur, "mémoires froides", les deux en hausse. À long terme, dans 10 ans, la demande de marché pour NAND Flash et HBF pourrait dépasser celle du HBM. Aujourd’hui le HBM domine mais Samsung, SK hynix doivent préparer l’ère du HBF. C’est ma conviction.

Animateur : Vous avez dit que vers 2038 le HBM pourrait atteindre la huitième génération.

Kim Jeong-ho : Oui.

Animateur : À ce stade, HBM et HBF seront tous deux commercialisés – complémentarité ou compétition ?

Kim Jeong-ho : Complémentaires. HBM4 sort cette année, HBM5 arrivera dans quelques années, environ tous les trois ans, on atteindra HBM8 en dix ans. Les deux seront utilisés ensemble. Le HBM est rapide mais de faible capacité, le HBF est plus lent, avec certaines limites physiques, mais énorme capacité. S’il manque de HBM, on met du HBF, ils forment un "complexe", comme certains buildings au centre (HBM), entourés d’immeubles (HBF), connectés pour fournir les données. En termes de capacité, HBF dépasse HBM.

Animateur : Au fond, on empile DRAM ou NAND Flash, les deux sont indispensables.

Kim Jeong-ho : Exact, seules Samsung Electronics et SK hynix savent faire les deux dans le monde. Sandisk et Kioxia ont grimpé en bourse, mais font juste HBF (ESSD stacker NAND), pas le HBM. Samsung et SK hynix ont les outils les plus puissants pour l’avenir.

Animateur : Peut-on dire qu’ils ont un avantage absolu ?

Kim Jeong-ho : Oui. Ce matin la bourse a dépassé 9000 ! Je ne fais pas de prédiction boursière, mais sur la tendance, le monde va vers un "empire AI" et, d’après moi, la capacité AI dépend de celle de la mémoire. Jusqu’à l’an dernier, je pensais que la capacité d’AI venait des maths (attention, etc), mais on ne peut se passer de la mémoire. Enfin, la performance mémoire fait la performance AI. Ainsi, je définis "IA = mémoire". Les entreprises AI, les pays AI ou les datacenters en semi-conducteurs doivent tous compter sur les fabricants mémoire. C’est un changement d’époque.

Encore plus frappant : HBM et HBF servent à construire des datacenters AI, qu’on appelle "usine AI" – une usine à IA ! Je nomme cela "usine mémoire", le cœur de l’usine AI c’est la mémoire, la quantité de mémoire façonne l’hégémonie AI des états et la compétitivité des entreprises. Google, Gemini, OpenAI, Anthropic Claude, qui est mieux ? Pour moi, c’est la mémoire qui décide.

Pour protéger les données personnelles, on voit l’IA calculée directement sur son PC, c’est l’AIPC. NVIDIA veut le faire avec TSMC, fabriquer un PC avec 128GB LPDDR, énorme mémoire. Pour vraiment bien faire, il faudrait un teraoctet, d’où un PC à 10 millions de wons, mémoire dominante sur le prix. Le smartphone AI, une seule fenêtre à l’écran, tout géré par l’IA, peut-être les lunettes AI, et je prédis que la moitié du prix sera la mémoire : par exemple, un téléphone AI à 3 ou 5 millions de wons, dont 2 ou 3 millions de mémoire. L’évolution de l’infrastructure AI et des modèles appelle toujours plus de mémoire, et l’AIPC et le smartphone AI sont un autre axe de croissance.

Animateur : Parmi les géants tech mondiaux, NVIDIA domine, où est son secret ?

Kim Jeong-ho : Jusqu’à l’an dernier, "l’apprentissage" (formation) importait, la capacité d’entraînement était la clé. Sur les modèles Transformer, l’encodage fait du calcul à rebours (différentiation), le GPU excelle ici. L’ère de formation était celle du GPU, il fallait absolument un GPU, achats en masse chères. Mais depuis l’été dernier, l’inférence prévaut. Les hallucinations persistent, réponse inepte, inutilisable. L’IA personnalisée exige l’inférence et le semi-conducteur clé pour l’inférence est la mémoire. Donc, en inférence, la mémoire vaudra plus cher et être plus demandée que le GPU.

Autre raison : augmenter la performance du GPU, il faut élargir sa taille (ajouter des calculatrices). Cerebras, par exemple, fait tout le wafer de 12 pouces en GPU – challenge technique, un défaut et tout est perdu, peu économique. Même ainsi, Cerebras dépend du HBM et du HBF ; pas de mémoire, faible en inférence. NVIDIA ne peut pas empiler le GPU, car chaude, doit être refroidie. Donc le GPU est un peu coincé. Huang est nerveux, fait des médias, du baseball, du poulet, des rencontres, ce n’est pas pour rien. L’un des motifs, selon moi, c’est la stagnation technologique du GPU. Au contraire, la croissance de l’ordinateur IA dépend de la mémoire.

Animateur : Il paraît que seulement 10% des GPU fonctionnent réellement ?

Kim Jeong-ho : Oui. Même avec un million de GPU, à peine 20%, voire 10% du temps, travaillent. Pourquoi ? Le GPU doit récupérer les données de la mémoire pour calculer et renvoyer le résultat, mais le transfert prend du temps. Quand ChatGPT sort un mot, à chaque instant, il doit lire en HBM/HBF, calculer, écrire, tout le temps est absorbé par la lecture et l’écriture, le GPU attend. La clé, c’est lire vite, lire beaucoup, et c’est là qu’HBF et HBM interviennent. Même en optimisant l’algorithme, le GPU atteint peut-être 30% d’utilisation, le reste tourne à vide.

Animateur : Vous défendez donc qu’à l’avenir, les fonctions GPU seront intégrées au sein du HBM/HBF ?

Kim Jeong-ho : Oui. Puisque les données du HBM/HBF font attendre le GPU, autant calculer nous-mêmes. Comme installer le GPU au rez-de-chaussée de l’immeuble, les données descendent l’ascenseur, tout est résolu sur place, pas besoin de courir ailleurs, le temps gagné. Je préconise d’intégrer CPU/GPU dans HBM, et même que le GPU "soit mis sur la touche". Inutile de lui enlever tout boulot, il faut bien le faire "rester assoiffé". Voilà la "Memory-Centric Computing" (calcul centré sur la mémoire). Depuis HBM4, on va dans ce sens.

Animateur : Même en intégrant un GPU au sein du HBM/HBF, le refroidissement n’est pas un problème puisque les GPU ne sont pas empilés ?

Kim Jeong-ho : Il y a quand même un peu de chauffe. Dès HBM4, chez SK hynix et Samsung, les performances varient à cause du refroidissement – réussir à dissiper la chaleur. Comme le GPU est intégré à la mémoire, la première couche chauffe, la mémoire “est sur le plancher chauffant”, les performances baissent ; il faut refroidir ce plancher. La qualité du refroidissement déterminera les différences de performance sur HBM4 et au-delà, idem pour le GPU. Notre laboratoire pense que si le rez de chaussée est trop chaud, il vaut mieux déplacer certaines fonctions "sur le toit", installer une tour de refroidissement, refroidir par le dessus. C’est notre architecture centrale, étudiée sur HBM5, nos étudiants s’en occupent, on espère un gros succès.

Quand on publie des articles, NVIDIA, AMD, Samsung, SK hynix regardent, parfois opposés, mais n’ont pas d’autre choix et finissent par s’y mettre.

Animateur : Si votre vision d’une intégration GPU/CPU dans HBM/HBF devient réalité, Samsung Electronics et SK hynix devraient bien se porter ?

Kim Jeong-ho : Oui, des opportunités à venir. "Bien se porter", c’est gagner en pouvoir, peut-être dépasser NVIDIA. Il faut cependant du développement technique, investissement, formation, un bon management politique et une direction ouverte d’esprit. La direction est essentielle.

Animateur : Vous affirmez l’arrivée imminente de l’ère mémoire, plus que celle du GPU, cela commence déjà. Et, à présent, le GPU est fort, mais on voit aussi le NPU, qu’est-ce que c’est ?

Kim Jeong-ho : Ce sont des processeurs, pour calcul matriciel, utilisés par l’IA. Le GPU originel est le GPGPU, TPU contient aussi HBM, donc tous requièrent HBM, la mémoire. Gemini écrit, traite du langage, dessine ; certains chip ne font qu’écrire, simplifiés pour un usage précis, c’est le NPU. Il y a aussi le LPU. Ce sont des calculateurs AI, adaptés, plus petits, moins énergivores, moins chers. En Corée, il y a Rebellions, FuriosaAI, HyperExcel, une dizaine mondiale, mais pour de hautes performances, ils doivent employer HBM.

Animateur : FuriosaAI et Rebellions viennent de recevoir des investissements majeurs du Fonds national de croissance, veut-on vraiment concurrencer NVIDIA ? Sont-ils compétitifs ?

Kim Jeong-ho : J’étais membre du jury. La réflexion : NVIDIA ne peut dicter tous les marchés, NPU, TPU occupent des niches. L’Arabie saoudite construit un datacenter, mettre 100% produits américains, trop dépendant, donc peut recourir à 10% d’autres solutions, les coréens comme NPU candidats. En Corée, faire un datacenter AI (besoin d’un million de machines), si tout est Nvidia, la dépendance est trop forte ; il faut encourager les entreprises locales. Voilà la logique du financement, avec une composante technique.

Animateur : Vous parlez récemment du concept de "SRAM à large bande" (HBS) ?

Kim Jeong-ho : Oui, concept nouveau. Je donne le concept, mais Samsung, SK hynix doivent faire gros effort pour le réaliser, souvent dix ou vingt ans avant impact fort. Cerebras fait un gros GPU sur tout le wafer, les USA ont des chips LPU. Pour leur fierté ou limiter dépendance au HBM, ils intègrent de la SRAM mémoire interne. La SRAM est 1000 fois plus rapide que la DRAM, mais capacité limitée. Même le chip Cerebras sur 12 pouces, selon mes recherches, n’a que 44GB de SRAM, alors qu’il faudrait minimum 400~440GB.

Donc mon idée : toute une puce pleine de SRAM, puis empiler dix, douze ou seize couches. Ainsi, 100GB devient 1600GB, capacité immense. Sur cet empilement de SRAM à l’échelle du wafer, on place le GPU. Millier de fois plus vite, capacité suffisante, l’idée fonctionne. J’appelle cette SRAM HBS. Mon rêve : HBM, HBF, HBS deviennent des "tours de 100 étages", GPU au sommet, refroidissement intégré, cette structure 3D de semi-conducteurs sera inévitable pour les ordinateurs AI du futur.

Peut-être dix, vingt, voire trente ans pour arriver là. Parmi les défis, l’alimentation : sur HBS/HBM, placer le GPU, il faut des milliers d’ampères, la conception du réseau électrique sera la difficulté technique, la vraie compétitivité. SK hynix, Samsung, Micron, TSMC, pareil, ensuite vient le refroidissement, obstacle pour la mise en œuvre. Le débat sur qui fait mieux les nanomètres, le rendement, mais dans le futur, pour l’ordinateur AI 3D avec HBS, la gestion de l’alimentation et du refroidissement décidera la survie de l’entreprise.

Animateur : Le HBS, c’est le "Hwang Jung-min" des semi-conducteurs mémoire.

Kim Jeong-ho : C’est bien "Hwang Jung-min". Il y a dix ans, j’ai entendu que Cerebras empilait le GPU sur 12 pouces, je me suis dit "qu’est-ce qu’on peut en faire ?", sûrement pour l’AI militaire. J’étais arrogant. Mais il y a deux semaines, cette société est entrée en bourse sur le Nasdaq, ça m’a fait changer d’avis. Ça a une utilité. J’ai compris que la faiblesse de Cerebras était le manque de mémoire, alors moi aussi j’en empilerais. Un matin, j’ai eu l’idée, un étudiant a dessiné le schéma. On commence à parler de HBF, et j’invite les masters nouvellement arrivés à choisir le HBS comme sujet de thèse.

Animateur : Qui fabrique la SRAM ?

Kim Jeong-ho : Les fonderies, TSMC et Samsung Electronics la produisent.

Animateur : Cette année, on parle de profits combinés de 500~600 mille milliards de wons pour Samsung et SK hynix, réaliste ou optimiste ?

Kim Jeong-ho : Je pense que c’est réaliste. Je fais souvent des réunions techniques avec les dirigeants de Samsung et SK hynix, je sens leur optimisme croissant. Même sans parler chiffres. Le trait marquant du HBM/HBF aujourd’hui, c’est la "personnalisation du HBM". Avant, c’était du standard, production massive avec variance en prix, on appelle ça "cycle". Les fabricants mémoire n’étaient pas maître, CPUs, Microsoft ou les fabricants PC décidaient quantité, nous devions produire, voir la demande, tout le risque de stock pour nous, c’était le "cycle mémoire".

Mais depuis HBM4, non seulement on intègre fonction GPU, mais aussi communication entre HBMs. Auparavant, juste obéir au GPU, maintenant, communiquer entre eux. À l’avenir, HBM pourra se concurrencer entre eux, allouer plus de mémoire à ceux qui performent mieux, créer un ensemble interne, les mauvais ne transmettent pas au GPU. Avec plus d’algorithmes, fonctions communication et GPU ajoutées, chaque société (Google, AMD, NVIDIA) a ses exigences de design, c’est la personnalisation HBM. On signe un accord d’approvisionnement long terme (LTA), pas de commande, pas de développement.

Les entreprises AI veulent absolument du HBM performant, font la queue, marché vendeur, prix décidé par le fournisseur : un changement de paradigme.

Animateur : Jusqu’ici, nous avons dialogué avec le professeur Kim Jeong-ho du KAIST sur l’écosystème des semi-conducteurs. Merci pour vos éclairages aujourd’hui.

Kim Jeong-ho : Merci.