Kim Jeong-ho, cha đẻ của HBM: Bản chất của AI là bộ nhớ, GPU chỉ thực sự làm việc 10% thời gian

Giáo sư Kim Jeong-ho của Viện Khoa học và Công nghệ Hàn Quốc (KAIST), được mệnh danh là "cha đẻ của HBM", đã đưa ra một nhận định gây đảo lộn nhận thức: Bản chất của AI là bộ nhớ, chứ không phải GPU.

Gần đây, Giáo sư Kim Jeong-ho, Khoa Kỹ thuật điện của KAIST, đã tham gia một buổi phỏng vấn video, trình bày có hệ thống về sự phát triển của công nghệ HBM, cục diện sức mạnh AI và kiến trúc bán dẫn tương lai. Kim Jeong-ho được giới công nghiệp gọi là "cha đẻ của HBM", từ đầu những năm 2010 ông đã hợp tác với SK hynix tham gia phát triển HBM1, sau đó chủ trì hàng loạt nghiên cứu kiến trúc tầng sâu. Nội dung buổi phỏng vấn này lan truyền rộng rãi trong giới công nghệ và đầu tư, quan điểm cốt lõi chỉ ra mâu thuẫn cấu trúc trong cuộc đua năng lực tính toán AI hiện tại.

Trong buổi phỏng vấn, Kim Jeong-ho đã đưa ra một con số gây chấn động:

"Dù lắp đặt 1 triệu GPU, thời gian làm việc thực sự chỉ chiếm 10%."

Ông giải thích, mỗi khi ChatGPT xuất ra một từ, hệ thống phải đọc dữ liệu từ HBM, thực hiện tính toán, rồi ghi lại vào bộ nhớ, "thời gian đọc và ghi gần như chiếm toàn bộ thời gian, GPU chỉ đứng ngoài chờ đợi." Dù tối ưu hóa bằng thuật toán, tỷ lệ sử dụng GPU cũng rất khó vượt quá 30%.

Đây chính là căn cứ thực tế cho luận điểm cốt lõi mà ông đã kiên trì nhiều năm: "AI chính là bộ nhớ (AI = Memory)."

Kim Jeong-ho nhận định về tình hình hiện tại của NVIDIA bằng những lời sắc bén. Ông nói, gần đây Jensen Huang thường xuyên đến Hàn Quốc, tham gia show truyền hình, ăn gà rán uống bia, gặp gỡ nhiều người," phía sau nhiều cuộc gặp như vậy cho thấy ông ta không yên tâm".

"Sự phát triển công nghệ của GPU đã gần như dừng lại, đó là nhận định của tôi. Sự tiến hóa của máy tính trí tuệ nhân tạo hiện nằm trong tay bộ nhớ."

Lập luận của ông rất rõ ràng: GPU muốn nâng cao hiệu năng chỉ có thể mở rộng diện tích chip, xếp lớp nhiều đơn vị tính toán hơn; nhưng GPU quá nóng, phải lắp thiết bị làm mát phía sau nên không thể xếp chồng thẳng đứng như bộ nhớ. "GPU đã rơi vào bế tắc truyền ngoài (cảm giác bị mắc kẹt ở ngoài)."

Ngược lại, khi chuyển từ thời đại huấn luyện sang thời đại suy luận, tầm quan trọng của bộ nhớ đang được đánh giá lại. Kim Jeong-ho cho biết: "Thời đại AI suy luận, điều quan trọng là cho vào AI được bao nhiêu dữ liệu, bán dẫn quyết định điều này chính là bộ nhớ".

Ông nhấn mạnh thêm, cuộc cạnh tranh năng lực AI cuối cùng là cạnh tranh năng lực bộ nhớ: "Google Gemini, OpenAI, Anthropic Claude, ai mạnh hơn đều do bộ nhớ quyết định - đó là quan điểm của tôi."

Kim Jeong-ho tổng kết giá trị của HBM ở hai khía cạnh.

Thứ nhất là dung lượng. Khi kỹ thuật 'context engineering', input đa mô hình và Agentic AI xuất hiện, nhu cầu bộ nhớ tăng gấp đôi mỗi năm, "10 năm là tăng 1000 lần". Cách truyền thống là thu nhỏ transistor để tăng dung lượng, nhưng nay đã gần đến ranh giới cơ học lượng tử, gần như không thể tiếp tục thu nhỏ, buộc phải "xếp chồng lên".

Thứ hai là băng thông. Kim Jeong-ho ví von: "Nếu bộ nhớ truyền thống là đường cao tốc 8 làn, thì HBM là 1024 làn, hiện giờ là 2048 làn, vài năm nữa có thể đạt tới 1 triệu làn." Nhờ truyền song song qua nhiều kênh, lượng lớn dữ liệu mới đáp ứng được tốc độ tính toán AI.

HBM đã giải quyết bài toán tốc độ, nhưng dung lượng vẫn có giới hạn. Trong phỏng vấn, Kim Jeong-ho trình bày chi tiết lộ trình công nghệ tiếp theo mà ông cho là HBF (High Bandwidth Flash).

Nói đơn giản, HBF là xếp chồng NAND Flash theo kiểu như HBM. DRAM có tốc độ nhanh nhưng dung lượng thấp, NAND Flash dung lượng lớn, có thể lưu trữ dữ liệu lâu dài, tốc độ chậm hơn một chút nhưng trong các kịch bản suy luận đã đủ để lưu trữ "dữ liệu lạnh".

Kim Jeong-ho cho rằng, tương lai HBM và HBF sẽ cùng tồn tại, giống như quy hoạch đô thị: "Như có trung tâm thương mại, xung quanh là căn hộ cao cấp, nhà ở thường, các dạng tổ hợp HBM, HBF kết hợp, tạo thành quần thể, cung cấp dữ liệu cho GPU."

Ông đưa ra một dự đoán dài hạn rõ ràng: "Hiện đang là thời đại HBM, nhưng 10 năm nữa, nhu cầu thị trường NAND Flash và HBF sẽ vượt qua HBM. Samsung và SK hynix phải chuẩn bị cho thời đại HBF."

Ông chỉ rõ, hiện các công ty đang phát triển HBF bao gồm SK hynix, Sandisk, Samsung Electronics, và Kioxia của Nhật Bản. Giá trị vốn hóa Kioxia gần đây vượt qua Toyota, đứng đầu thị trường chứng khoán Nhật Bản, cổ phiếu Sandisk liên tục tăng, còn Samsung và SK hynix vẫn dẫn đầu vốn hóa ở Hàn Quốc.

Kim Jeong-ho còn đề xuất một ý tưởng hiện vẫn thuộc về khái niệm tiên phong - HBS (High Bandwidth SRAM).

SRAM (bộ nhớ tĩnh truy xuất ngẫu nhiên) nhanh hơn DRAM khoảng 1000 lần, nhưng mật độ thấp, chi phí cao, truyền thống chỉ làm bộ nhớ đệm nhỏ trong chip. Kim Jeong-ho đề xuất: biến cả tấm wafer 12 inch thành SRAM, sau đó xếp chồng 12-16 tầng, có thể nâng dung lượng từ 100GB lên 1600GB.

"Như vậy tốc độ nhanh gấp 1000 lần, dung lượng lại đủ lớn, giải thích hợp lý."

Ông mô tả hình thái chip AI tối thượng là một 'tòa nhà 100 tầng 3D': "HBM, HBF, HBS mỗi thứ tạo thành nhiều tầng, GPU đặt trên tầng cao nhất phụ trách làm mát, đó chính là cấu trúc bán dẫn 3D không thể tránh khỏi của máy tính AI tương lai - nhận định hiện tại của tôi."

Ông cũng thành thật nói, thách thức kỹ thuật lớn nhất của con đường này không ở tính toán mà ở cung cấp điện và làm mát: "Phải cấp hàng nghìn ampere cho GPU và bộ nhớ xếp tầng, thiết kế mạng lưới cấp điện sẽ là kỹ thuật khó nhất, đó cũng sẽ trở thành năng lực cạnh tranh lõi của các doanh nghiệp."

Kim Jeong-ho đặc biệt nói về thay đổi cấu trúc cung cầu do HBM4 mang lại.

Trước đây, bộ nhớ là sản phẩm tiêu chuẩn hóa, nhà sản xuất làm trước, khách mới chọn mua, người mua quyết định giá, rủi ro tồn kho dồn lên nhà sản xuất bộ nhớ, đây là bản chất của "chu kỳ bộ nhớ".

Nhưng từ HBM4 trở đi, do phải thiết kế theo cấu trúc tăng tốc của khách như NVIDIA, Google, AMD (tức "HBM tùy chỉnh"), hãng bộ nhớ buộc phải có cam kết số lượng của khách ngay từ khi R&D mới bắt đầu phát triển - gọi là "hợp đồng dài hạn (Long-term Agreement)".

"Doanh nghiệp AI quá cần HBM hiệu năng cao, nên họ xếp hàng chờ mua. Nhà cung cấp bắt đầu quyết định giá, đó là thay đổi mô hình thị trường."

Ông còn dự đoán, tương lai trong chip HBM sẽ tích hợp chức năng truyền thông, thực hiện 'HBM nói chuyện với HBM', tạo thành dạng liên minh: "Chúng tôi tự giao tiếp, ai tốt hơn sẽ cấp nhiều bộ nhớ hơn; GPU không nghe lời thì sẽ không phân bổ."

Điều này tiếp tục nâng cao vị thế hệ thống của các hãng bộ nhớ.

Kim Jeong-ho nhiều lần nhấn mạnh trong phỏng vấn, trên toàn cầu hiện chỉ có Samsung Electronics và SK hynix có thể cùng lúc sản xuất hàng loạt DRAM (HBM) và NAND Flash (HBF).

"Sandisk và Kioxia dù giá cổ phiếu lên cao nhưng chỉ làm được HBF, không làm được HBM. Samsung và SK hynix nắm trong tay công cụ mạnh nhất cho tương lai."

Khi được hỏi dự báo lợi nhuận hoạt động hợp nhất của Samsung và SK hynix năm nay đạt 500-600 nghìn tỷ won có thực tế không, Kim Jeong-ho trả lời: "Thực tế." Ông bổ sung, thường xuyên trao đổi kỹ thuật với lãnh đạo hai công ty này, "ánh mắt họ ngày càng sáng hơn."

Tuy nhiên ông cũng chỉ ra áp lực cạnh tranh là có thật, Micron và Sandisk nhận được đơn hàng chia sẻ từ NVIDIA và Google.

Kim Jeong-ho còn mở rộng câu chuyện nhu cầu bộ nhớ sang thiết bị đầu cuối.

Ông dự đoán, tương lai PC AI muốn hiện thực hóa năng lực tính toán cá nhân thực sự thì quy mô bộ nhớ cần thiết sẽ khiến "một PC giá tới 10 triệu won, giá bộ nhớ quyết định giá PC". Còn với AI smartphone giá từ 3 đến 5 triệu won, có 2 đến 3 triệu won là giá bộ nhớ.

"Hạ tầng AI, mô hình AI phát triển liên tục sẽ cần nhiều bộ nhớ hơn nữa. PC AI và điện thoại AI là một trục tăng trưởng chủ lực nữa."

Kim Jeong-ho cũng đưa ra nhận định đáng chú ý về hướng phát triển AI. Ông cho rằng, khi Agentic AI (AI chủ động) và Physical AI (AI hiện thân/vật lý) xuất hiện, lượng bộ nhớ sử dụng sẽ cao hơn hiện tại khoảng 1000 lần.

"AI đại lý làm việc 24/24, không như con người phải ngủ, lượng công việc tăng bùng nổ, nhu cầu bộ nhớ cũng tăng theo. Lúc đó không phải HBM nữa, mà là thời đại 'siêu HBM'."

Cuối phỏng vấn, Kim Jeong-ho kể lại con đường học thuật của mình. Ông nhận tiến sĩ năm 1993, lĩnh vực nghiên cứu là đo tín hiệu điện siêu nhanh cấp femto giây, thầy hướng dẫn vài năm trước đã đoạt giải Nobel vật lý. Năm 1994 gia nhập bộ phận bộ nhớ của Samsung Electronics, năm 1996 về KAIST, sau đó tập trung nghiên cứu nền tảng bộ nhớ và HBM khoảng 10 năm mới ra sản phẩm thương mại.

Năm 2015, trong một cuộc họp nội bộ nghe lần đầu từ “deep learning”, ông lập tức nhận ra thuật toán AI và kiến trúc HBM cùng dùng một bộ toán học - đại số tuyến tính và phép toán ma trận. "Năm thứ hai đại học tôi rất thích ma trận, hai bên vốn dùng chung toán học - đó chính là may mắn."

Ông cười nói, lúc làm HBM chỉ nghĩ gắn lên tivi cho hình ảnh sống động hơn, hoàn toàn không ngờ giờ là hạ tầng AI: "Khi đó đâu có biết, cũng là do may mắn mà thôi."

Dưới đây là bản ghi phỏng vấn đã được rút gọn (được AI hỗ trợ dịch)

Kim Jeong-ho: HBM, HBF, HBS sẽ tạo thành một tòa nhà 100 tầng, GPU ở tầng trên cùng giải quyết tản nhiệt. Tôi cho rằng, cấu trúc bán dẫn 3D như vậy là kiến trúc không thể tránh khỏi của máy tính AI trong tương lai. Trong đó kỹ thuật khó nhất chính là cấp điện. Cần cấp vài nghìn ampere, thiết kế mạng cấp điện sẽ cực kỳ khó. Đây sẽ là năng lực cạnh tranh công nghệ cốt lõi.

MC: Giáo sư Kim Jeong-ho của KAIST, được mệnh danh là "cha đẻ HBM", đã đến với chương trình của chúng tôi. Xin chào ông!

Kim Jeong-ho: Xin chào, rất vui được gặp bạn. Cảm ơn lời mời của bạn.

MC: Xin cảm ơn vì đã dành thời gian.

Kim Jeong-ho: Không có chi. (cười)

MC: Ta phải bắt đầu từ HBM thôi. Thật ra HBM bắt đầu sản xuất hàng loạt và ứng dụng chỉ mới hai năm trở lại đây, đúng không? HBM3 là vậy. HBM1 thì từ đầu thập niên 2010, tôi đã cùng SK hynix tham gia, hồi đó về GPU có NVIDIA và AMD. HBM1 cũng là đầu những năm 2010, nhưng lúc đó dùng cho card đồ họa.

MC: Giáo sư nhận bằng tiến sĩ là từ thập niên 90 đúng không?

Kim Jeong-ho: Đúng vậy.

MC: Nhưng khi năm 2010 HBM vừa phát triển xong, thực ra ông đã bắt đầu nghiên cứu từ rất sớm.

Kim Jeong-ho: Đúng vậy. Tôi học tiến sĩ năm 1993, nghiên cứu khi đó thiên về vật lý. Tôi đã chế tạo máy hiện sóng sử dụng laser đo tín hiệu điện nhanh nhất thế giới lúc đó. Giáo sư của tôi mấy năm trước đã đoạt giải Nobel vật lý. Khi đó máy tôi chế có thể đo các hiện tượng thời gian cực hạn cấp femtosecond (gần như ánh sáng dừng lại). Nay với AI phát triển, cần xử lý lượng dữ liệu khổng lồ, tốc độ mạch số đã đạt tới picosecond, thậm chí femtosecond. Nên nghiên cứu 30 năm trước khi học tiến sĩ giờ đều hữu dụng.

Tuy lĩnh vực khi đó rất hẹp và sâu, nhưng tính cách tôi lại thiên về cộng tác, giao tiếp với xã hội. Nên khi đó tôi nghĩ bộ nhớ sẽ trở nên rất quan trọng trong tương lai. Với ý tưởng đó, tôi gia nhập mảng bộ nhớ Samsung năm 1994. Kể từ đó tôi luôn học tập, nghiên cứu về bộ nhớ. Năm 1996 tôi về KAIST, đến năm 2010, giai đoạn nghiên cứu nền tảng HBM kéo dài gần 10 năm mới ra đời sản phẩm.

Các công nghệ cần cho HBM như cơ học lượng tử, vật lý bán dẫn, toán học,... đều là các môn đã học năm hai, năm ba đại học. Đặc biệt kiến thức đại số tuyến tính, tôi học năm 1981, vẫn dùng đến hôm nay. HBM cập nhật liên tục, phòng lab chúng tôi còn đề xuất lộ trình HBM8 kéo dài 30 năm cho đến nay. Tính ra từ khởi đầu nghiên cứu đến nay cũng khoảng 50 năm rồi.

MC: Khi ông nghiên cứu, nghĩ về khái niệm HBM ban đầu, ông có dự đoán trước thời đại AI tới và HBM thành cốt lõi không?

Kim Jeong-ho: Không. Khi đó AMD và NVIDIA dự tính dùng vào card đồ họa. Toán cho card đồ họa và AI là như nhau. Nên sau này HBM mới thành bộ phận cốt lõi của AI, chứ lúc đầu NVIDIA cũng chỉ nghĩ tới đồ họa. Tôi thì nghĩ ngành TV Hàn Quốc rất mạnh, có thể đưa chip vào TV làm hình ảnh sống động, chân thực hơn, nên ban đầu tôi nhắm vào TV.

Đến khoảng 2015, tại một họp mặt các giáo sư trẻ ở trường, họ dùng từ "deep learning", đó là giai đoạn đầu của AI. Tôi nghĩ "Ồ, còn có công nghệ vậy", nói chuyện nửa đùa nửa thật, chỉ mỗi mình tôi không nghe ra. Từ đó, khoảng năm 2015, tôi thực chất đã chuyển hướng main sang AI. Dù ngoài mặt là lab nghiên cứu HBM, bản thân tôi từ 2015 hoàn toàn chuyển qua nghiên cứu AI. Nghiên cứu thêm mấy năm, phát hiện thuật toán AI và HBM cực kỳ hợp nhau. Khi đó tôi nghĩ, chắc chắn sẽ bùng nổ ứng dụng AI.

Lúc đó chủ yếu dùng cho CNN (nhận diện vật thể camera), sau đó là học tăng cường (cờ vây), các ứng dụng này cần tính toán ma trận lớn, nên cần HBM. Nhưng như bây giờ phát triển bùng nổ thì khoảng đầu thập kỷ 2020, khi ChatGPT xuất hiện. Tương lai AI sẽ hướng tới Agentic AI, một phần là Physical AI. Từ góc độ thuật toán, Agentic AI hoặc Physical AI dùng bộ nhớ có thể cao hơn bây giờ 1000 lần. Lúc đó sẽ cần bản nâng cấp "Ultra HBM". Nên bọn tôi còn có ý tưởng khác. Nói chung, lúc đầu tôi không biết sẽ thành thế này, đúng là do may mắn. Vì tôi năm hai đại học cực thích đại số tuyến tính, mà hai bên dùng chung toán học cơ bản.

MC: Em hiểu HBM là xếp nhiều DRAM lại phải không?

Kim Jeong-ho: Đúng, chính xác. Dù là card đồ họa hay AI, khi tính toán đều cần truy xuất cực nhanh dữ liệu từ bộ nhớ. Cần HBM do hai lý do. Thứ nhất là dung lượng lớn. Đặc biệt xu hướng AI đang hướng đến kỹ thuật context engineering, đa mô hình, Physical AI, lượng thông tin cần tích trữ tăng rất nhanh. Có thể mỗi năm tăng gấp đôi, mười năm tăng 1000 lần. Để tăng dung lượng, phải tiếp tục thu nhỏ transistor hay cell bộ nhớ, nhưng do hiệu ứng giao thoa, rò điện nên cơ bản đang tới giới hạn lượng tử, khó giảm nữa. Dung lượng rất khó tăng lên.

Nên từ đầu 2000, tôi đã cho rằng bộ nhớ tương lai nhất định phải xếp chồng lên nhau. Khi đó mọi người chủ yếu làm bán dẫn phẳng, còn tôi hướng tới xếp chồng. Lúc đó tôi thiên về thiết kế, Samsung và SK hynix lo khâu thực hiện, nhưng thành phẩm chính là HBM. Lý do thứ hai, dù dung lượng lớn mà không truyền dữ liệu đủ nhanh cho GPU thì cũng vô dụng. Muốn đáp ứng kịp thao tác của chúng ta - xử lý tài liệu, text, gần đây còn dùng tạo video... thì cần tốc độ cực nhanh, phải truyền dữ liệu song song. Như đường cao tốc từ 8 làn thành 1024 làn, gần đây lên 2048, vài năm thành triệu làn.

Nên cốt lõi của HBM: vừa xếp tầng tăng dung lượng, vừa bố trí "thang máy" và "cao tốc", truyền dữ liệu bằng tốc độ ánh sáng (nhanh hơn bộ nhớ truyền thống 1000 lần, triệu lần) - chính là cấu trúc song song đó.

MC: Ngoài HBM còn có HBF, HBF là gì, khác gì HBM?

Kim Jeong-ho: Bộ nhớ phổ thông có hai loại: DRAM và NAND Flash. DRAM tốc độ cao nhưng không lưu lâu, NAND Flash dung lượng lớn (gấp 10 lần DRAM), tuy chậm nhưng lưu lâu, chủ yếu dùng cho máy ảnh. HBM dù đã xếp tầng lại thì dung lượng cũng không đủ. Dạo gần đây context engineering, khi nhập liệu không chỉ dùng text mà còn tài liệu kèm theo, video YouTube..., lượng file ảnh, video tăng nhanh, nhu cầu bộ nhớ vượt xa hiện tại. Kể cả dữ liệu trung gian quá trình tính toán (KV Cache) cũng phải lưu lại toàn bộ.

Bước vào thời đại Agentic AI, tôi có thể thuê 10, 100 AI làm việc thay, AI làm việc nhiều gấp 100 lần tôi, lại chạy 24/24, không như con người còn ngủ, tổng lượng xử lý tăng mạnh, nhu cầu bộ nhớ tăng vọt. Dù xếp chồng DRAM vẫn không đủ, nên mới nghĩ xếp chồng NAND Flash, đó là HBF. Hiện các công ty phát triển HBF gồm SK hynix, Sandisk, Samsung Electronics, Kioxia của Nhật Bản. Kioxia giá trị vốn hóa vừa vượt qua Toyota, dẫn đầu thị trường Nhật. Hãng Mỹ làm NAND Flash hay HBF như Micron, Sandisk cũng lên giá, Samsung và SK hynix ở Hàn cũng có vị thế cao.

Bộ nhớ gần GPU có hai loại: HBM và HBF - còn gọi là "bộ nhớ nóng" ; còn thiết bị lưu lâu cho dữ liệu người dùng là "bộ nhớ lạnh", cả hai đều tăng cầu. Lâu dài, khoảng 10 năm nữa nhu cầu HBF và NAND Flash có thể vượt qua HBM. Ngày nay là thời đại HBM, nhưng Samsung, SK hynix cũng phải chuẩn bị cho thời đại HBF - đó là chủ trương của tôi.

MC: Ông từng nói đến năm 2038, HBM có thể phát triển tới thế hệ 8?

Kim Jeong-ho: Đúng.

MC: Khi đó HBM, HBF đều thương mại hóa, hai bên là bổ sung hay cạnh tranh?

Kim Jeong-ho: Bổ sung. HBM4 ra năm nay, vài năm tới HBM5, cứ ba năm lại có thế hệ mới, 10 năm nữa thành HBM8.Khi đó sẽ dùng cả HBM và HBF. HBM dung lượng nhỏ nhưng nhanh, HBF hơi chậm, có giới hạn vật lý, nhưng rất lớn. Nếu HBM không đủ sẽ kèm HBF, hai thứ kết hợp như khu phức hợp: trung tâm thương mại là HBM, chung quanh là cao ốc HBF. Tổng dung lượng HBF có khi vượt HBM.

MC: Vì vậy, cốt lõi là xếp DRAM hay NAND Flash, không thể thiếu thứ nào.

Kim Jeong-ho: Đúng, toàn cầu chỉ Samsung và SK hynix làm song song hai mảng. Sandisk, Kioxia dù giá cổ phiếu cao nhưng chỉ làm HBF hay ESSD, không làm được HBM. Theo tôi Samsung, SK hynix có công cụ mạnh nhất để dẫn đầu tương lai.

MC: Nói vậy thì Samsung, SK hynix giữ thế thượng phong tuyệt đối nhỉ?

Kim Jeong-ho: Có thể nói như vậy. Sáng nay giá cổ phiếu lên 9000 rồi mà? Tôi không phải chuyên gia dự đoán giá cổ, nhưng thiên hướng căn bản là thế giới bước vào thời đại bá chủ AI, mà năng lực AI, theo tôi, do bộ nhớ quyết định. Năm ngoái tôi còn nghĩ năng lực AI là toán (như attention...), nhưng muốn hiện thực hóa thì cũng dựa vào bộ nhớ. Hiệu năng bộ nhớ chính là hiệu năng AI. Nên tôi định nghĩa: "AI = bộ nhớ". Doanh nghiệp AI, quốc gia AI, hoặc xây dữ liệu trung tâm bằng bán dẫn, đều phải dựa vào doanh nghiệp bộ nhớ. Đây là thời điểm lật ngược cục diện.

Càng thú vị hơn, HBM, HBF dùng xây trung tâm dữ liệu AI, nay còn gọi là "nhà máy AI" - nhà máy sản xuất trí tuệ nhân tạo. Tôi gọi đó là "nhà máy bộ nhớ", lõi nhà máy AI là bộ nhớ, có bao nhiêu bộ nhớ quyết định quyền bá chủ AI quốc gia, và sức cạnh tranh doanh nghiệp AI. Google, Gemini, OpenAI, Anthropic Claude ai tốt hơn? Chủ trương của tôi: bộ nhớ quyết định.

Gần đây vì bảo vệ thông tin cá nhân, xuất hiện xu hướng tính toán AI ngay trên máy tính cá nhân gọi là AIPC. NVIDIA cũng định làm máy này, hợp tác TSMC sản xuất PC, gắn 128GB LPDDR... bộ nhớ rất lớn. Mà muốn làm tốt có khi phải cần dung lượng TB, khi đó PC giá 10 triệu won, giá bộ nhớ quyết định giá PC. Tương lai smartphone thành AI smartphone, trên màn hình chỉ còn một cửa sổ, tất cả còn lại AI đảm nhiệm, thậm chí còn có kính AI. Tôi cho rằng hơn nửa giá AI smartphone là bộ nhớ, ví dụ điện thoại giá 3 triệu, 5 triệu won, bộ nhớ chiếm 2-3 triệu. Cơ sở AI, mô hình AI phát triển mạnh, nhu cầu bộ nhớ càng nhiều, PC và điện thoại AI là một trục tăng trưởng lớn khác.

MC: Trong các đại gia công nghệ toàn cầu, NVIDIA có hiệu năng áp đảo, bí quyết giữ vững vị thế hàng đầu là gì?

Kim Jeong-ho: Đến năm ngoái, huấn luyện (training) của AI quan trọng nhất, học được là năng lực AI. Trong huấn luyện, phần encoder của Transformer chủ yếu tính ngược dòng involving vi phân, GPU làm tốt việc này. Nên thời đại huấn luyện là thời đại GPU, ai muốn AI đều tranh nhau mua GPU giá cao. Nhưng từ hè năm ngoái, suy luận quan trọng hơn. Chỉ huấn luyện không phá được "ảo giác/hallucination", AI trả lời sai vô lý là không dùng được. Để AI cá nhân hóa, suy luận mới quan trọng, mà bán dẫn quyết định suy luận là bộ nhớ. Nên khi bước sang thời đại suy luận, bộ nhớ quan trọng và đắt hơn cả GPU.

Lý do nữa là, muốn tăng năng lực GPU phải tăng diện tích (thêm calculator). Một cách là như Cerebras, biến cả tấm wafer 12" thành một GPU, nhưng như vậy sản xuất khó, lỗi ở đâu phải bỏ cả tấm, kém hiệu quả, mục đích hạn chế. Dù vậy Cerebras cũng vẫn cần HBM, HBF, không có bộ nhớ thì thời đại suy luận rất yếu. NVIDIA có thể xếp chồng GPU không? Không vì quá nóng, phía sau gắn bộ tản nhiệt rồi, không xếp tầng được. Nên GPU kiểu như bị kìm hãm. Gần đây Jensen Huang lo lắng, lên truyền hình Hàn Quốc, ném bóng chày, ăn gà rán uống bia, gặp bao người, là vì không yên lòng. Một nguyên nhân là, tôi cho rằng phát triển công nghệ GPU gần như dừng lại. Trái lại, sự phát triển AI máy tính giờ tùy vào bộ nhớ.

MC: Có nhận xét là, GPU thực sự vận hành chỉ có 10%?

Kim Jeong-ho: Đúng. Dù lắp 1 triệu GPU cũng chỉ chạy 20%, thậm chí 10%. Vì sao? Vì GPU phải lấy dữ liệu từ bộ nhớ để tính, trả lại kết quả, nhưng tốc độ truyền từ bộ nhớ (HBM/HBF) không kịp. Khi ChatGPT nhanh chóng trả text, từng khoảnh khắc đều phải đọc từ HBM/HBF, tính, rồi ghi, mà hầu như toàn bộ thời gian đều dành cho thao tác đọc/ghi, GPU chỉ chờ. Mấu chốt là đọc được nhanh thế nào, và đọc được bao nhiêu, do đó cần HBM, HBF. Dù tối ưu hóa thuật toán cũng quá lắm chỉ chạy được 30%, còn lại chạy không tải.

MC: Vậy ý giáo sư là tương lai sẽ tích hợp luôn chức năng GPU vào trong HBM/HBF mở ra thời đại mới?

Kim Jeong-ho: Đúng. Nếu dữ liệu HBM/HBF làm GPU phải chờ, vậy tốt hơn tự làm luôn. Như tầng một chung cư có GPU, dữ liệu xuống bằng thang máy tính toán xong, trong tòa nhà xử lý hết, khỏi đi xa, tiết kiệm thời gian và chi phí. Do đó tôi chủ trương tích hợp CPU/GPU vào trong HBM, thậm chí cho GPU "làm nền". Đương nhiên không thể để GPU không làm gì, phải phân công hợp lý để nó "luôn khao khát". Đó là tôi nói đến "Memory-Centric Computing" (kiến trúc tính toán lấy bộ nhớ làm trung tâm). Từ HBM4 đã làm theo hướng này rồi.

MC: Dù có tích hợp chức năng GPU vào HBM/HBF thì do không xếp tầng nhiều GPU chắc không lo tản nhiệt nhiều?

Kim Jeong-ho: Vẫn có một ít vấn đề nhiệt. Nên từ HBM4, sản phẩm của SK hynix, Samsung sẽ có khác biệt, do giải quyết nhiệt khác nhau - loại bỏ nhiệt hiệu quả thế nào. Vì tích hợp một phần GPU tầng một (lớp bộ nhớ), chỗ đó nóng quá, bộ nhớ ngồi như trên "sàn sưởi", hiệu năng giảm, phải làm nguội "sàn sưởi" đó. Ai làm tốt hơn sẽ quyết định chênh lệch hiệu năng HBM4 trở đi, GPU cũng vậy. Lab tôi nghĩ, nếu tầng đó nóng thì chuyển phần chức năng lên "nóc", gắn tháp làm mát trên nóc, tỏa nhiệt từ trên xuống cho nhanh. Đó là kiến trúc trọng điểm nhóm tôi, hiện các cao học đang nghiên cứu với HBM5 mong đạt kết quả tốt.

Sau khi công bố các nghiên cứu này, NVIDIA, AMD, Samsung, Hynix đều sẽ đọc, ban đầu còn nghi ngờ, nhưng cuối cùng cũng sẽ áp dụng.

MC: Nếu tương lai tích hợp GPU rồi cả CPU vào HBM/HBF như giáo sư nói, Samsung, SK hynix còn phát triển mạnh hơn nữa đúng không?

Kim Jeong-ho: Đúng, cơ hội đang đến. "Phát triển tốt hơn" nghĩa là giành nhiều quyền chủ động, thậm chí vượt cả NVIDIA. Muốn làm vậy cần phát triển công nghệ, đầu tư, đào tạo nhân tài và cả tư duy đúng đắn, cởi mở của giới lãnh đạo điều hành. Phán đoán lãnh đạo quan trọng nhất.

MC: Giáo sư cho rằng sắp bước vào thời đại bộ nhớ, không phải thời đại GPU, có vẻ đã diễn ra rồi. Ngoài ra gần đây GPU rất nổi nhưng còn có NPU, vậy NPU là gì?

Kim Jeong-ho: Đều là loại bộ vi xử lý (processors), chạy phép toán ma trận AI. GPU ban đầu là GPGPU, trong TPU cũng tích hợp HBM nên không rời xa HBM, bộ nhớ. Gemini viết bài, xử lý ngôn ngữ, vẽ tranh, chức năng đa dạng. Còn một số chip chỉ giỏi một số tác vụ đặc biệt hóa, đó là NPU. Có nơi gọi là LPU. Đều là calculator giúp AI, theo mục tiêu đặc biệt hóa, làm nhỏ đi, tiêu thụ điện và chi phí thấp. Tại Hàn Quốc có Rebellions, FuriosaAI, HyperExcel,... toàn cầu độ vài chục công ty làm NPU nhưng dù Rebellions hay FuriosaAI đều phải dùng HBM để hiệu năng cao.

MC: Gần đây FuriosaAI và Rebellions nhận vốn lớn từ Quỹ Phát triển Quốc dân, là để cạnh tranh với NVIDIA? Hai doanh nghiệp này có năng lực cạnh tranh toàn cầu không?

Kim Jeong-ho: Tôi từng là giám khảo một đợt. Quyết định dựa trên phân tích: NVIDIA khó thể làm chủ tất cả mọi lĩnh vực, NPU, TPU chắc chắn có niche market. Ví dụ Saudi Arabia xây trung tâm dữ liệu, toàn dùng hàng Mỹ thì lệ thuộc, nên có thể dành 10% dùng giải pháp khác, doanh nghiệp NPU Hàn là ứng viên. Ngoài ra, Hàn xây trung tâm AI (có thể cần hàng triệu máy), 100% dùng chip NVIDIA phụ thuộc nước ngoài, phải nuôi doanh nghiệp trong nước. Nên quyết định đầu tư nhằm bồi dưỡng doanh nghiệp trong nước. Tổng kết là vậy. Về kỹ thuật cũng có lợi thế riêng.

MC: Giáo sư vừa nêu khái niệm HBS SRAM băng thông cao, phải không?

Kim Jeong-ho: Đúng, đó là khái niệm tôi đề xuất gần đây. Như nói trên, tôi chỉ đưa ra ý tưởng, nhưng muốn hiện thực hóa cần Samsung, SK hynix góp công lớn. Loại này thường 10-20 năm sau sẽ có tác động lớn. Trước có Cerebras làm GPU bằng cả tấm wafer lớn, Mỹ cũng có chip LPU. Họ muốn giảm phụ thuộc HBM, tích hợp SRAM vào GPU. SRAM nhanh hơn DRAM 1000 lần, nhưng dung lượng nhỏ. Tôi tìm hiểu, Cerebras và LPU đều vướng điểm yếu SRAM không đủ. Theo tôi cả tấm wafer SRAM chỉ được 44GB, cần tối thiểu 400-440GB mới ổn.

Nên ý tôi là: làm chip phủ kín wafer 12" bằng SRAM, xếp chồng 10, 12, 16 lớp. Như vậy dung lượng từ 100GB lên 1600GB, cực lớn. Sau đó để GPU lên đỉnh khối SRAM wafer đó. Tốc độ nghìn lần, dung lượng khủng, ý tưởng nghe hợp lý. Nên tôi đặt là HBS. Ước mơ là HBM, HBF, HBS đều thành tòa nhà 100 tầng, GPU đặt trên, hệ làm mát, tất cả tích hợp, kiến trúc bán dẫn 3D như vậy AI chắc chắn phải dùng.

Cái này có thể 10, 20, 30 năm nữa. Trong đó kỹ thuật khó nhất là cấp điện. Trên HBS, HBM xếp thêm GPU, cần cấp hàng nghìn ampere, thiết kế mạng điện là thử thách khó nhất, cũng là lõi cạnh tranh. SK hynix, Samsung, Micron, TSMC... cũng thế, còn lại là làm mát. Lúc này người ta so ai làm tốt tiến trình nano, tỷ lệ sản phẩm,... nhưng tương lai nếu làm máy AI tích hợp HBS 3D, năng lực cấp điện, làm mát quyết định sống còn doanh nghiệp.

MC: HBS như ngôi sao "Hwang Jung-min" của ngành nữa chứ.

Kim Jeong-ho: Chính là "Hwang Jung-min".Lần đầu nghe Cerebras làm GPU wafer 12", tôi nghĩ ai mà dùng, chắc phòng thủ AI, tôi còn tự tin ghê. Nhưng hai tuần trước doanh nghiệp này niêm yết Nasdaq, tôi phải thay đổi góc nhìn. Đúng là có tác dụng. Nếu chip Cerebras yếu nhất là bộ nhớ thì cũng xếp tầng nó lên. Một sáng tôi nảy ý tưởng, nhờ học trò vẽ thử. Năm nay có HBF, tân sinh viên sẽ được hướng làm luận văn thạc sĩ, tiến sĩ HBS.

MC: Vậy SRAM do ai sản xuất?

Kim Jeong-ho: Do foundry, cả TSMC, Samsung đều làm được.

MC: Dự báo năm nay Samsung, SK hynix lợi nhuận là 500-600 nghìn tỷ won, thực tế hay quá lạc quan?

Kim Jeong-ho: Tôi cho là thực tế. Tôi thường họp kỹ thuật với lãnh đạo Samsung, Hynix, ánh mắt họ ngày càng rạng rỡ, dù họ không tiết lộ số liệu cụ thể. Nay HBM, HBF có điểm quan trọng là "HBM tùy chỉnh". Trước đây là hàng tiêu chuẩn, sản xuất hàng loạt, khách mua bán giá theo chu kỳ, hãng bộ nhớ không quyết định, mà hấp thụ rủi ro hàng tồn. Vòng đời gọi là "chu kỳ bộ nhớ".

Nhưng từ HBM4, ngoài tích hợp GPU, còn một cải tiến lớn là HBM giao tiếp với nhau. Đầu tiên chỉ làm theo lệnh GPU, giờ chủ trương nội bộ cũng giao tiếp. Sau này HBM còn cạnh tranh xem ai cấp được nhiều bộ nhớ hơn. Nghĩa là, cấu trúc tạo tổ, không cho HBM kém truyền dữ liệu cho GPU. Tóm lại, khi thêm thuật toán, giao tiếp, GPU vào, mỗi doanh nghiệp (Google, AMD, NVIDIA) đều yêu cầu tùy thiết kế HBM. Khi đó phát triển từ đầu đã phải ký hợp đồng cung cấp lâu dài, không có đơn thì không làm.

Giờ doanh nghiệp AI rất cần HBM hiệu năng cao, nên xếp hàng chờ mua, thị trường chuyển sang phía bán quyết định giá, là chuyển đổi mẫu hình thị trường.

MC: Tới đây, chúng tôi đã trao đổi với Giáo sư Kim Jeong-ho của KAIST về hệ sinh thái bán dẫn. Cảm ơn ông đã chia sẻ hôm nay.

Kim Jeong-ho: Xin cảm ơn.