Samsung estabelece "roteiro de HBM em três fases": avançando para o verdadeiro 3D ZHBM, empilhando DRAM diretamente sobre o chip de processamento

Recentemente, na conferência de tecnologia Hot Chips, Sangwook Han, da equipe de design de DRAM da Samsung, fez uma apresentação e revelou oficialmente o roteiro de evolução da HBM da Samsung em três fases. O ponto final desse roteiro é uma nova arquitetura chamada zHBM — que empilha diretamente a DRAM verticalmente sobre chips de computação como GPU ou TPU, eliminando completamente a camada intermediária 2.5D (interposer).

De acordo com reportagem do wccftech em 23 de agosto, a Samsung revelou que, em comparação com a HBM4E padrão, a solução zHBM promete reduzir o consumo de energia em 70%, aumentar a largura de banda da DRAM em 230%, economizar 100W de energia por módulo DRAM e liberar 8,3% de energia adicional para a GPU.

O que é HBM e onde estão os gargalos

HBM, ou Memória de Alta Largura de Banda, é atualmente um dos componentes de armazenamento mais críticos em sistemas de treinamento e inferência de IA. Ela é composta por dois tipos de chips:

• C-die (chip central): contém as células de armazenamento DRAM, podendo ser empilhado verticalmente em até 16 camadas

• B-die (chip base/Base Die): posicionado na base da pilha, responsável pelo controle das funções de DRAM e comunicação com chips de computação como GPU através da PHY (camada de interface física)

Os dois são conectados por meio de TSV (Through-Silicon Via, via de silício atravessada) — um canal de condução vertical através dos chips.

Segundo o Wccftech, o HBM4 atual já ultrapassa 3TB/s de largura de banda por pilha, o HBM4E aumenta ainda mais para a faixa de 4TB/s, e o HBM5 dobra a largura de banda do HBM4, com capacidade superior a 60GB.

No entanto, a expansão contínua da largura de banda enfrenta dois grandes limites rígidos: o limite físico do número e espaçamento dos TSVs e o limite de quantidade e velocidade de I/O da interface PHY no Base Die. Ao mesmo tempo, a diferença de litografia entre o B-die e o chip de computação (xPU SoC) está diminuindo geração após geração, o que é um desafio, mas também uma oportunidade que fornece o ponto de entrada para o roteiro da Samsung.

Primeira fase: liberar espaço para o chip de computação

A primeira fase do roteiro da Samsung tem como objetivo central “recuperar” área de silício do xPU (chip de computação).

A Samsung já aplicou o processo D1c e lógica de 4nm ao Base Die (B-die) do HBM4, com o objetivo principal de reduzir o consumo de energia e diminuir a área efetiva. Este é o ponto inicial da verdadeira fusão entre DRAM e processos lógicos avançados.

As medidas específicas incluem:

• Substituição da interface HBM PHY tradicional pela interface D2D, encurtando o comprimento do canal, melhorando diretamente a eficiência energética e liberando espaço valioso de silício para XPU

• Descarga do controlador de memória do XPU para o B-die do cHBM, podendo liberar de 5% a 10% da área do XPU, resultando em um ganho de 10% a 20% de desempenho

• Introdução de solução de reparo de células de granulação fina baseada em SRAM (Reparo de Células Próximo ao MC - Near-MC SRAM-Based Cell Repair), utilizando o espaço ocioso do B-die para implementar recursos de reparo com SRAM

A redução de área traz como efeito colateral o problema de hotspots térmicos. Para isso, a Samsung já lançou a tecnologia Heat Path Block (HPB), construída sobre a solução cHBM4, capaz de reduzir a temperatura de pico em mais de 35%, cobrindo 50% da região da PHY.

Segunda fase: B-die começa a incorporar capacidades de computação

Na segunda fase, o foco muda de "liberar espaço" para "adicionar funcionalidades", definida pela Samsung como a fase de expansão funcional.

Expansão da capacidade de memória. Com o rápido aumento do contexto window dos grandes modelos de IA, cresce exponencialmente a demanda por KV Cache (Cache de Chave-Valor, região da memória usada para armazenar estados intermediários durante a inferência do modelo). A Samsung planeja integrar controladores de expansão de memória e PHY na área de silício ociosa do Base Die, expandindo a capacidade de memória disponível no sistema por meio da conexão de LPDDR ou HBM, entre outras soluções.

Integração de unidades de processamento (PE). A Samsung também propõe integrar certas unidades de processamento (Processing Elements) no Base Die, transferindo parte do processamento anteriormente executado no xPU para o lado da memória, reduzindo a necessidade de largura de banda D2D, o consumo de energia e o aquecimento. Esta variante é chamada de AHBM (Advanced HBM, Memória de Alta Largura de Banda Avançada).

Reforço da confiabilidade e capacidade de teste. A segunda fase também inclui a integração de sensores avançados de RAS (Reliability, Availability, Serviceability — Confiabilidade, Disponibilidade e Manutenibilidade) e funções de telemetria em tempo real no Base Die, bem como funções avançadas de auto-teste em chip (ATIP), melhorando o rendimento e a cobertura de testes.

Terceira fase: zHBM — eliminar a camada intermediária, DRAM diretamente sobre o chip de computação

A terceira fase é o estágio final do roteiro: zHBM.

Atualmente, os principais sistemas de IA adotam a arquitetura de encapsulamento 2.5D, onde GPUs e HBM são colocados lado a lado no mesmo interposer, com transmissão de dados horizontal. A ideia do zHBM é “verticalizar” esta estrutura — empilhando a DRAM diretamente sobre o chip xPU, realizando assim uma verdadeira integração vertical 3D.

As principais características do zHBM descritas pela Samsung incluem:

• I/O distribuído: minimizar a distância de transmissão de dados dentro da pilha HBM

• Estrutura 3D: elimina interfaces 2D tradicionais, aumentando significativamente a eficiência do sistema

• Meta de consumo de energia I/O de cerca de 0,5 pJ/bit: alcançado removendo módulos redundantes como SerDes

• Largura de banda aumenta mais de 2,3 vezes, margem térmica do sistema chega a 100W

A solução demonstrada pela Samsung consiste em quatro pilhas de zHBM empilhadas sobre um XPU.

Para atingir esses objetivos, a Samsung está desenvolvendo duas tecnologias-chave de encapsulamento: WoW (Wafer on Wafer) e HCB (Hybrid Cube Bonding), visando alcançar altíssima densidade de I/O e, finalmente, construir um sistema de design colaborativo unificado SoC-DRAM.

A lógica central por trás do roteiro

A mensagem central da apresentação da Samsung é reposicionar o Base Die do HBM de um “posto passivo de transferência de dados” para um “parceiro inteligente com capacidade ativa de computação”.

A lógica evolutiva das três fases é clara: primeiro, diminuir a área de silício e liberar espaço no xPU por meio da atualização do processo (primeira fase); depois, usar o espaço liberado para integrar mais funções, expandir capacidade de memória e poder de computação (segunda fase); por fim, reconstruir completamente a arquitetura do sistema através da integração vertical 3D, avançando simultaneamente nos três eixos de consumo energético, largura de banda e gestão térmica (terceira fase).

A Samsung concluiu a apresentação afirmando: “Ao dominar tecnologias avançadas de encapsulamento e um design colaborativo e unificado SoC-DRAM, vamos superar as limitações de consumo, área e capacidade dos sistemas de IA, pavimentando o caminho para mais eficiência, maior desempenho e maior escalabilidade nos próximos anos”.