Morgan Stanley : la pénurie de mémoire liée à l’IA devrait durer plusieurs années ; trois voies pour y remédier ; le stockage et la puissance de calcul hétérogène offrent des opportunités structurelles

Selon les informations de Zhihui Finance APP, Morgan Stanley a publié un rapport de recherche sur l'industrie des semi-conducteurs, soulignant que la pénurie de mémoire DRAM va perdurer tout au long de ce cycle industriel de l’IA, et que l’expansion de la puissance de calcul de l’IA n’attendra pas la mise en service de nouvelles usines de wafers. L’industrie s’efforce de contourner l’obstacle des limites de la mémoire à travers trois principaux axes technologiques : la réduction des spécifications matérielles, la désagrégation de l’architecture d’inférence et la mutualisation de la mémoire via CXL, poursuivant ainsi sans relâche la construction de capacités de calcul malgré la contrainte de l’offre. La banque reste optimiste sur les leaders du stockage tels que Micron (MU.US), Sandisk (SNDK.US), tout en soulignant les opportunités de croissance dans les domaines du CXL interconnecté et de l’inférence hétérogène, recommandant Astera Labs (ALAB.US), Marvell (MRVL.US), Cerebras (CBRS.US) et Nvidia (NVDA.US).

Morgan Stanley insiste sur le fait que l’actuelle pénurie de mémoire pour l’IA n’est pas une perturbation de court terme, mais une contradiction structurelle où la croissance des performances de calcul dépasse largement la vitesse d’approvisionnement en mémoire. L’échelle des modèles de pointe double tous les six mois, la taille de la fenêtre de contexte des principaux modèles connaît une croissance annuelle de 5 à 6 fois, à laquelle s’ajoute une demande croissante de traitements d’inférence simultanés, décuplant sans cesse les besoins en capacité et en bande passante mémoire. Or, le cycle de construction d’une usine de wafers DRAM peut prendre plusieurs années, rendant l’offre très rigide, et la situation de pénurie devrait perdurer pendant plusieurs années encore. Le PDG de Nvidia, Jensen Huang, a également publiquement déclaré que le secteur devait adopter de nouvelles approches et innover dans l’architecture pour répondre aux contraintes de mémoire, plutôt que de simplement attendre une expansion des capacités de production.

Face à la tension croissante sur l’approvisionnement en HBM et en mémoire principale, la réponse la plus directe du secteur consiste à réduire sélectivement les spécifications mémoire de chaque appareil (De-speccing). Prenant pour exemple l’architecture Rubin de Nvidia, la capacité LPDDR5 par serveur a été réduite de 54 To prévus à 28 To, et la capacité HBM par GPU de 288 Go à 192 Go, garantissant ainsi les volumes de livraison par une réduction de la hauteur d’empilement de la mémoire. Morgan Stanley souligne que la réduction des spécifications ne supprime pas le goulot d’étranglement de la mémoire mais en transfère la pression entre les différents niveaux : en diminuant la mémoire locale à haute vitesse, les données non critiques telles que les caches KV sont transférées vers le stockage NAND, tandis que les interactions de données entre GPU augmentent, générant un besoin accru en bande passante réseau. En substance, il s’agit de compenser la pénurie de mémoire à large bande passante par un réseau plus rapide et des ressources de stockage à moindre coût.

La deuxième voie de contournement est la désagrégation de l’architecture d’inférence (Disaggregation). L’inférence en IA se compose de deux phases très différentes : le préremplissage (Prefill) principalement axé sur la puissance de calcul, et le décodage (Decode) qui dépend fortement de la bande passante mémoire. L’architecture traditionnelle utilise le même accélérateur pour les deux tâches, avec une faible efficacité d’utilisation des ressources. À présent, le secteur accélère la désagrégation hétérogène de l’inférence, séparant les deux phases sur des matériels distincts : le Prefill extrait demandant de la puissance de calcul est confié au GPU généraliste, tandis que le Decode, exigeant une forte bande passante mémoire, est traité par des puces accélératrices dédiées intégrant une grande capacité de SRAM sur puce.

Les exemples notables incluent le moteur à l’échelle du wafer de Cerebras et l’architecture Groq LPU rachetée par Nvidia, tous deux capables de fournir une efficacité de bande passante mémoire bien supérieure à celle des GPU traditionnels lors du décodage. Morgan Stanley estime que l’inférence hétérogène deviendra une direction majeure d’évolution des infrastructures de l’IA, les acteurs spécialisés dans le décodage s’ouvrant à un marché incrémental marquant.

La troisième voie repose sur la reconstruction du système mémoire via la technologie CXL. Le CXL (Compute Express Link) permet d’étendre, de partager et de mutualiser la mémoire via une interconnexion à haute vitesse, détachant la mémoire de tout processeur unique et devenant ainsi une voie clé pour dépasser les limites de capacité mémoire. Selon Morgan Stanley, la demande de l’IA poussera le marché du CXL et des puces additionnelles de mémoire associées à atteindre environ 6 milliards de dollars en 2030, largement supérieur à celui de l’extension mémoire CPU traditionnelle. Sa valeur centrale réside dans l’établissement d’une architecture mémoire hiérarchisée : les données les plus fréquentées sont conservées en HBM, celles de fréquentation intermédiaire dans le pool mémoire CXL, enfin les données rares ou froides sont reléguées au NAND, afin d’adapter le coût à la fréquence d’accès aux données.

Concernant les axes d’investissement, Morgan Stanley réaffirme trois directions principales : premièrement, surpondérer toujours Micron et Sandisk, la réduction des spécifications résultant d’une pénurie de l’offre et non d’une faiblesse de la demande, la demande de mémoire IA restant structurellement haussière et le déficit d’offre absorbant continuellement la capacité ; deuxièmement, se positionner sur les leaders de l’interconnexion et du scale-up par CXL, Astera Labs et Marvell ; troisièmement, surveiller les bénéficiaires de l’inférence hétérogène tels que Cerebras, et Nvidia qui perfectionne son dispositif hétérogène via l’acquisition de Groq.

Risques : croissance de la demande de puissance de calcul IA inférieure aux prévisions ; adoption plus lente que prévu de la technologie CXL ; expansion plus rapide que prévu des capacités de production de mémoire.