Samsung đặt ra "lộ trình HBM ba giai đoạn": Hướng tới 3D ZHBM thực sự, DRAM sẽ được xếp chồng trực tiếp lên chip tính toán

Gần đây, tại hội nghị công nghệ Hot Chips, nhóm thiết kế DRAM của Samsung do Sangwook Han dẫn dắt đã có bài phát biểu chính thức công bố lộ trình ba giai đoạn phát triển HBM của Samsung. Điểm kết thúc của lộ trình này là một kiến trúc hoàn toàn mới mang tên zHBM — DRAM sẽ được xếp chồng trực tiếp lên trên chip tính toán như GPU, TPU, loại bỏ hoàn toàn lớp trung gian 2.5D (interposer).

Theo wccftech ngày 23 tháng 8, phía Samsung cho biết so với HBM4E tiêu chuẩn, giải pháp zHBM được cho là có thể giảm 70% điện năng tiêu thụ, tăng 230% băng thông DRAM, đồng thời mỗi mô-đun DRAM tiết kiệm được 100W điện năng và giải phóng cho GPU thêm 8,3% không gian công suất bổ sung.

HBM là gì, điểm nghẽn nằm ở đâu

HBM, tức Bộ nhớ băng thông cao, là một trong những thành phần lưu trữ quan trọng nhất cho các hệ thống huấn luyện và suy luận AI hiện nay. Nó được cấu thành từ hai loại chip:

• C-die (Core Die): Chứa các đơn vị lưu trữ DRAM, có thể xếp chồng dọc tối đa 16 lớp

• B-die (Base Die/Chip nền): Nằm ở đáy cấu trúc xếp chồng, chịu trách nhiệm xử lý các chức năng điều khiển DRAM và giúp giao tiếp với các chip tính toán như GPU thông qua PHY (lớp giao diện vật lý)

Hai thành phần này được kết nối thông qua TSV (Through-Silicon Via, lỗ dẫn điện xuyên silicon) — đó là một kênh dẫn điện thẳng đứng xuyên qua chip.

Theo Wccftech, hiện tại mỗi xếp chồng của HBM4 đã có băng thông vượt quá 3TB/s, HBM4E tiến xa hơn tới vùng 4TB/s, còn HBM5 thì tăng gấp đôi băng thông trên nền HBM4, với dung lượng hơn 60GB.

Tuy nhiên, việc mở rộng băng thông liên tục đang đối mặt với hai giới hạn cứng: giới hạn vật lý về số lượng và khoảng cách giữa các TSV, cùng với giới hạn về số lượng và tốc độ I/O của giao diện PHY trong Base Die. Đồng thời, sự thu hẹp khoảng cách tiến trình giữa B-die và chip tính toán (xPU SoC) qua từng thế hệ vừa là thách thức vừa tạo cơ hội để Samsung thực hiện lộ trình này.

Giai đoạn đầu tiên: "Nhường chỗ" cho chip tính toán

Ở giai đoạn đầu tiên theo lộ trình của Samsung, mục tiêu cốt lõi là "giành lại" diện tích silicon từ xPU (chip tính toán).

Samsung đã áp dụng tiến trình D1c và công nghệ logic 4nm cho Base Die (B-die) của HBM4, với mục tiêu chính là giảm điện năng tiêu thụ và thu nhỏ diện tích thực. Đây chính là điểm khởi đầu của sự tích hợp thực sự giữa DRAM và công nghệ logic tiên tiến.

Các biện pháp cụ thể bao gồm:

• Thay giao diện truyền thống HBM PHY bằng giao diện D2D, rút ngắn độ dài kênh, trực tiếp cải thiện hiệu năng tiêu thụ điện, đồng thời giải phóng diện tích bảng silicon quý giá cho XPU

• Di chuyển bộ điều khiển bộ nhớ từ XPU sang B-die của cHBM, dự tính có thể giải phóng từ 5% đến 10% diện tích XPU, tương ứng với việc tăng hiệu suất từ 10% đến 20%

• Áp dụng phương án sửa chữa tế bào DRAM chi tiết dựa trên SRAM (Near-MC SRAM-Based Cell Repair), sử dụng không gian trống trên B-die để triển khai tài nguyên sửa chữa SRAM

Việc thu nhỏ diện tích kéo theo tác dụng phụ là vấn đề điểm nóng. Để đối phó, Samsung đã đưa ra công nghệ Heat Path Block (HPB), được xây dựng trên giải pháp cHBM4, có thể giảm nhiệt độ đỉnh hơn 35% và bao phủ 50% vùng PHY.

Giai đoạn hai: B-die bắt đầu "mọc thêm" khả năng tính toán

Trong giai đoạn hai, trọng tâm chuyển từ "nhường không gian" sang "bổ sung tính năng", Samsung gọi đây là giai đoạn mở rộng chức năng.

Mở rộng dung lượng bộ nhớ. Khi cửa sổ ngữ cảnh (context window) của các mô hình AI lớn tăng đột biến, nhu cầu về bộ nhớ KV Cache (vùng bộ nhớ lưu trạng thái trung gian khi mô hình suy luận) cũng tăng cấp số nhân. Samsung lên kế hoạch tích hợp bộ điều khiển mở rộng bộ nhớ và PHY ngay trên khu vực silic trống của Base Die, thông qua các giải pháp bổ sung như kết nối LPDDR hoặc HBM để mở rộng dung lượng bộ nhớ hệ thống có thể sử dụng.

Tích hợp đơn vị xử lý (PE). Samsung còn đề xuất tích hợp một phần phần tử xử lý (Processing Elements) vào Base Die, nhằm di chuyển một phần tác vụ tính toán vốn thực hiện trên xPU xuống bộ nhớ, giúp giảm nhu cầu băng thông D2D, tiết kiệm điện năng và giảm nhiệt. Dạng này được gọi là AHBM (Advanced HBM, Bộ nhớ băng thông cao nâng cao).

Tăng cường độ tin cậy và khả năng kiểm thử. Giai đoạn hai còn tích hợp cảm biến RAS tiên tiến (Reliability, Availability, Serviceability – Độ tin cậy, sẵn sàng, khả năng bảo trì) và chức năng đo lường thời gian thực vào Base Die, cùng với khả năng tự kiểm thử trên chip (ATIP), giúp nâng cao tỷ lệ chip đạt chuẩn và tỷ lệ bao phủ kiểm thử.

Giai đoạn ba: zHBM — loại bỏ lớp trung gian, DRAM được nén trực tiếp lên chip tính toán

Giai đoạn ba là hình thái cuối cùng của toàn bộ lộ trình: zHBM.

Hiện tại, hệ thống AI phổ biến đều dùng kiến trúc đóng gói 2.5D, GPU và HBM đặt cạnh nhau trên cùng một interposer, truyền dữ liệu qua liên kết ngang. Ý tưởng zHBM là "dựng đứng" cấu trúc này lên — xếp chồng DRAM trực tiếp lên trên chip xPU, tạo thành tích hợp 3D thực thụ.

Các đặc điểm chính của zHBM do Samsung mô tả bao gồm:

• I/O phân tán: Tối thiểu hóa khoảng cách truyền dữ liệu trong khối HBM

• Cấu trúc 3D: Loại bỏ giao diện 2D truyền thống, nâng cao hiệu suất hệ thống

• Mục tiêu điện năng I/O khoảng 0.5 pJ/bit: Đạt được bằng cách loại bỏ các mô-đun dư thừa như SerDes

• Băng thông tăng hơn 2,3 lần, hệ thống chịu nhiệt đến 100W

Phương án demo của Samsung là cấu hình bốn stack zHBM xếp lên một chip XPU.

Để đạt được các mục tiêu trên, Samsung đang phát triển hai công nghệ đóng gói then chốt: WoW (Wafer on Wafer) và HCB (Hybrid Cube Bonding), nhằm đạt mật độ I/O siêu cao, tiến tới xây dựng hệ thống thiết kế phối hợp SoC-DRAM thống nhất.

Cốt lõi logic đằng sau lộ trình

Câu chuyện cốt lõi trong bài phát biểu lần này của Samsung là tái định vị Base Die của HBM từ một "trạm trung chuyển dữ liệu thụ động" thành một "người bạn đồng hành thông minh có khả năng tính toán chủ động".

Logic phát triển qua ba giai đoạn là rõ ràng: trước tiên sử dụng nâng cấp tiến trình để nén diện tích, giải phóng không gian xPU (giai đoạn đầu); sau đó tận dụng không gian đó để tích hợp thêm nhiều chức năng, mở rộng dung lượng và năng lực tính toán (giai đoạn hai); cuối cùng thông qua tích hợp dọc 3D để tái tạo toàn bộ kiến trúc hệ thống và đột phá đồng thời cả về điện năng tiêu thụ, băng thông và quản lý nhiệt (giai đoạn ba).

Samsung kết luận trong bài phát biểu: "Sở hữu công nghệ đóng gói tiên tiến và hệ thống thiết kế phối hợp SoC-DRAM thống nhất sẽ cho phép chúng tôi vượt qua các điểm nghẽn về điện năng, diện tích và dung lượng, mở đường cho một vài năm tới với hiệu suất cao hơn, hiệu quả hơn và khả năng mở rộng tốt hơn cho các hệ thống AI."