Phỏng vấn mới nhất của SemiAnalysis: Lưu trữ vẫn còn cơ hội tăng gấp đôi, CPU chỉ là vai phụ, việc ứng dụng CPO bị hoãn đến năm 2029

Mỗi tầng trong cơ sở hạ tầng AI đều đang chịu áp lực đồng bộ, và cơ hội cũng như những phán đoán sai lầm tồn tại song song. Dylan Patel – nhà sáng lập SemiAnalysis – gần đây đã nhận trả lời phỏng vấn podcast, hệ thống hóa các động态 chủ chốt và logic đầu tư trọng tâm trong ngăn xếp cơ sở hạ tầng AI hiện nay. Đánh giá của ông bao gồm kinh tế học mô hình, chu kỳ siêu bộ nhớ, việc định giá lại CPU, rủi ro về thời gian ứng dụng CPO, cùng cơ hội cơ cấu ở nguồn cung năng lượng của trung tâm dữ liệu.

Đối với nghi ngờ phổ biến về tỷ suất lợi nhuận đầu tư (ROI) của thị trường AI, Dylan tiết lộ rằng Anthropic đã đạt dòng tiền tự do dương ngay trong quý II năm nay, thu nhập định kỳ hàng năm vượt 50 tỷ đô la Mỹ,tỷ suất lợi nhuận gộp vượt quá 70%. Ở mảng doanh nghiệp, sự bứt phá về năng suất do mô hình AI thế hệ mới mang lại đã vượt xa tốc độ tăng chi phí năng lực tính toán, thúc đẩy các công ty cắt giảm chi tiêu phần mềm khác để duy trì ngân sách AI tăng trưởng bùng nổ.

Ở cấp độ tiến hóa phần cứng, chuyển dịch sang mô hình suy luận đang tái cấu trúc nhu cầu thị trường. Dylan nhấn mạnh rằng,bộ nhớ đối mặt với tình trạng thiếu hụt cấu trúc kéo dài nhiều năm, còn dư địa tăng thêm 2 đến 3 lần; đồng thời, mặc dù agent AI và học tăng cường làm tăng nhu cầu CPU, nhưng thị trường phía bán đã định giá quá cao, sự tăng trưởng CPU chủ yếu đến từ việc “bù trừ lịch sử”, giá trị tuyệt đối của nó trong máy chủ AI vẫn kém xa GPU.

Dylan cho rằng, thời điểm thương mại hóa quy mô lớn của CPO (kết nối quang đồng gói) được thị trường kỳ vọng lớn,sẽ lùi lại đến cuối 2028 đến năm 2029, ngoài dự đoán gia tăng thời kỳ vàng cho kết nối cáp đồng. Hạn chế trên lưới điện truyền tải và phân phối đang buộc data center chuyển sang “nguồn điện phía sau công-tơ” (tự xây nguồn điện), từ đó tại ra cơ hội đầu tư chuỗi cung ứng năng lượng công nghiệp và chuyển đổi điện năng khổng lồ, ngoài phạm vi truyền thống của đầu tư bán dẫn.

Anthropic tiên phong tạo dòng tiền, câu chuyện nhu cầu AI bắt đầu thành hiện thực

Đối diện với hoài nghi về ROI của các doanh nghiệp AI trên thị trường, Dylan Patel đã đưa ra dữ liệu cụ thể để phản hồi.

"Anthropic đã đạt dòng tiền tự do dương trong quý II, tháng 4 đã có lãi, tháng 5 có lãi, tháng 6 có vẻ cũng vậy." Ông cho biết, doanh thu định kỳ hàng năm của Anthropic đã vượt 50 tỷ USD, biên lợi nhuận gộp trên 70%. Doanh thu của OpenAI cũng tăng nhanh nhờ tỷ lệ ứng dụng Codex ngày càng cao.

Bản thân lộ trình chi tiêu của SemiAnalysis cũng xác nhận xu thế này. Tháng 11 năm ngoái, nhóm 90 người của công ty chỉ chi chưa đến 100.000 đô AI tính theo năm; đến cuối tháng 1 năm nay, khi Claude Code được triển khai lớn, con số vọt lên 4 triệu đô/năm; hiện nay đã là 11 triệu đô, thời điểm đỉnh có tuần quy đổi lên 14 triệu đô/năm. "Tổng chi phí nhân sự cộng chi phí AI, phần AI nay đã hơn 1/3, trước cuối năm chắc chắn cán mốc một nửa."

Ông bổ sung thêm, các mô hình mới – mạnh hơn không nhất thiết dùng thực tế phải đắt đỏ hơn. Mô hình cũ có thể cần 100.000 token, 10 lần tương tác để hoàn thành tác vụ; mô hình mới có thể chỉ cần 25.000 token, 1 lần tương tác. "Mỗi lần mô hình nâng từ 4.6 Opus lên 4.7 Opus, chi tiêu của chúng tôi giảm một tuần, rồi lại tăng vọt – vì những điều trước làm không được nay lại làm được." Theo ông, đây cũng là một trong những lý do cốt lõi giúp Anthropic có ưu thế trong đối đầu với OpenAI:Hiệu quả token cao hơn, tổng chi phí người dùng thấp hơn.

Bộ nhớ: Thiếu hụt có tính cấu trúc, không phải chu kỳ thông thường

Trong tất cả các loại phần cứng, Dylan Patel đánh giá về bộ nhớ là mạnh mẽ nhất.

"Đây không phải thiếu hụt ngắn hạn, mà sẽ là thiếu hụt có tính cấu trúc kéo dài nhiều năm."Ông chỉ ra, công suất sản xuất bộ nhớ mỗi năm chỉ tăng 20%-30%, trong khi nhu cầu phía AI tăng gấp đôi nhiều lần, khoảng trống giữa hai bên ngày càng lớn.

Logic đánh giá này xuất phát cốt lõi từ tác động của mô hình suy luận lên bộ nhớ KV cache. Suy luận hội thoại truyền thống chỉ dài vài nghìn token, bộ nhớ cache dùng ít; nhưng khi mô hình như o1 xuất hiện, độ dài ngữ cảnh tăng bùng nổ, cache KV phình ra mạnh, bộ nhớ trở thành đối tượng hưởng lợi trực tiếp. SemiAnalysis thậm chí đã công bố báo cáo về xu thế này ngay từ tháng 12/2024.

Những rào cản cứng phía cung sẽ buộc thị trường hạ nguồn phải tái phân bổ tài nguyên bộ nhớ giới hạn. Ông dự đoán, thiết bị tiêu dùng có đàn hồi giá thấp sẽ chịu áp lực đầu tiên – các hãng điện thoại phân khúc trung bình - thấp lượng xuất xưởng đã giảm 40%, giá iPhone và MacBook sẽ tăng trong năm tới. "Bộ nhớ sẽ tiếp tục tăng giá, thiết bị tiêu dùng sẽ bị nén đến một mặt bằng mới, chỉ khi AI lấy được đủ bộ nhớ mới gọi là đủ thực sự." Ông chia sẻ, dù sau này có xuống chu kỳ thì "từ đáy này sang đáy khác, tăng trưởng dài hạn là điều không thể nghi ngờ."

CPU: Phục hồi chủ yếu bù thiếu, không nên ngoại suy quá nhiều

CPU là nhân vật mới nổi trong hệ hạ tầng AI năm nay, nhưng Dylan Patel lại có quan điểm cảnh báo rõ ràng.

Bản chất nhu cầu CPU phục hồi là rõ ràng: học tăng cường cần nhiều CPU xử lý xác thực môi trường (unit test mã, mô phỏng thao tác...); agent AI cần mô hình gọi tool liên tục, tương tác với thế giới thực, phụ thuộc lớn vào khả năng tính toán CPU. Cùng lúc, nhiều năm qua chip AI xuất xưởng số lượng lớn, CPU hỗ trợ lại thiếu trầm trọng, nay ở giai đoạn bù đắp tập trung, ARM, Intel, AMD đều hưởng lợi, Nvidia Vera CPU cũng đặt mục tiêu doanh thu 2 tỷ đô la.

"Nhưng tôi phải cảnh báo quan trọng: phần lớn là hiệu ứng bù thiếu." Ông nhấn mạnh, một khi nợ quá khứ được lấp xong, phần tăng thêm chỉ còn là tăng trưởng tự nhiên, nhu cầu sẽ trở lại bình thường. Xét về giá trị tuyệt đối, một GPU Blackwell tầm 50.000 USD, CPU chỉ khoảng 5.000 USD, dù số CPU trang bị tăng nhiều hơn, giá trị vẫn thấp hơn nhiều chip tăng tốc AI."Bộ nhớ và chip tăng tốc AI mới là mảng lớn, CPU là định giá lại sau khi bị đánh giá thấp nay đã hợp lý, không thể tăng tốc mãi nhanh hơn chip AI được."

Kết nối quang: Dài hạn tích cực, trung ngắn hạn nên thận trọng với CPO

Mạng và công nghệ liên kết quang cũng là một mảng được thị trường hào hứng, nhưng Dylan Patel lại khá thận trọng với tiến độ ứng dụng CPO (kết nối quang đồng gói).

"CPO sản xuất quy mô lớn thực sự, tôi đánh giá là cuối 2028 đầu 2029."Ông chỉ ra hiện tại năng suất sản xuất, thiết kế chip cũng như sự trưởng thành mạng lưới cung ứng đều chưa đạt ngưỡng triển khai đại trà. Nvidia Rubin và các thế hệ kế tiếp là Feynman vẫn chọn kết nối hoàn toàn bằng đồng, CPO phía GPU phải chờ thêm vài thế hệ chip nữa.

Ông hé lộ, tuần trước SemiAnalysis vừa phát hành báo cáo cho khách hàng định chế, trung hạn còn đánh giá cao cáp đồng và giải pháp quang không CPO hơn. Một số thiết kế chip hạ nguồn thay đổi (ví dụ Rubin Ultra loại bỏ thiết kế 800V) càng khiến tiến độ ứng dụng CPO bị kéo chậm. Các công ty dây cáp đồng như Amphenol sẽ hưởng lợi hơn dự báo.

"CPO về dài hạn chắc chắn sẽ áp đảo, cáp đồng cuối cùng cũng bị thay thế, nhưng thời gian sẽ bị lùi lại, trong trung và ngắn hạn cáp đồng còn nhiều cơ hội."

Điện lực: Tự xây nguồn trở thành xu thế, nhiều hướng đổi mới

Đảm bảo nguồn điện cho trung tâm dữ liệu đang trở thành rào cản vật lý lớn nhất của đà tăng trưởng AI. Theo dự báo của Dylan Patel, sản lượng điện tiêu thụ tăng thêm cho data center sẽ là 20GW năm nay, 30GW năm sau, 50GW năm kế tiếp, tốc độ tăng trưởng trên thực tế bùng nổ mạnh.

Ông chia vấn đề năng lượng thành ba phương diện:truyền tải, phát điện và chuyển đổi. Truyền tải là khâu khó bứt phá nhất, liên quan chính sách quản lý, độc quyền từ công ty điện lực địa phương và cơ chế chia sẻ chi phí, khó thay đổi ngắn hạn. Phát điện và chuyển đổi lại có nhiều cơ hội đầu tư.

Ông dự báo, vài năm tới, một nửa nhu cầu điện mới của các trung tâm dữ liệu sẽ tới từ nguồn điện tự xây (behind the meter), không phụ thuộc hệ truyền tải công cộng. Hiện giải pháp chủ đạo là tổ máy tuabin khí chu trình hỗn hợp (CCGT) từ các hãng GE Vernova, Mitsubishi, Siemens; đồng thời cũng xuất hiện lựa chọn máy phát động cơ piston, tuabin khí công nghiệp hay thậm chí chuyển đổi từ máy tàu biển, xe lửa, xe tải. "Nghe có vẻ thô sơ nhưng nó chạy được, đã có người sử dụng rồi đấy."

Xa hơn nữa, ông dự đoán trong vòng khoảng hai năm, tổng chi phí tích hợp điện mặt trời và lưu trữ sẽ thấp hơn phát điện khí; tương lai xa là trung tâm dữ liệu không gian – đưa chip tính toán lên quỹ đạo, pin năng lượng mặt trời không phải xuyên khí quyển nên mật độ năng lượng cao hơn mặt đất và không cần lưu trữ năng lượng nữa.

Khâu chuyển đổi năng lượng cũng dồi dào cơ hội đầu tư, từ IGBT, silicon carbide đến MOSFET gallium nitride, rồi máy biến áp trạng thái rắn, UPS, siêu tụ điện, cả chuỗi chuyển đổi điện áp đang chuyển động nhanh chóng. Hiện tại tổ nghiên cứu lớn nhất của SemiAnalysis không còn là bán dẫn, mà là bộ phận gọi là "DEI" (Trung tâm dữ liệu, Năng lượng và Công nghiệp), theo dõi chặt chẽ tất cả động thái lắp đặt data center và phát điện trên toàn cầu.

Dưới đây là nội dung phỏng vấn đầy đủ:

Người dẫn chương trình:Chào mừng bạn trở lại podcast "Điều Vĩ Đại Tiếp Theo". Tôi là host, hôm nay cùng tôi có đồng nghiệp Klay Hyman, và đối tác mới – nhà sáng lập SemiAnalysis, Dylan Patel. Hôm nay là buổi đặc biệt khi chúng tôi bàn với Dylan về mọi vấn đề của lĩnh vực cơ sở hạ tầng AI hiện nay. Tôi theo dõi Dylan từ lâu, anh ấy xuất hiện nhiều trên các podcast, bản tin của SemiAnalysis cũng là mục phải đọc của tôi. Gần đây họ có một báo cáo chuyên sâu về trung tâm dữ liệu vũ trụ, ai quan tâm có thể xem rất chi tiết.

Dylan, tôi rất muốn nghe anh chia sẻ về quá trình khởi nguồn của SemiAnalysis. Tôi biết trên cộng đồng Substack gần đây ai cũng bàn về doanh thu và thành công, nhưng tôi nghĩ người ta thường chỉ nhìn vào hiện tại, mà quên mất chặng đường và nỗ lực phía sau.

Khởi nguồn của SemiAnalysis

Dylan Patel:Thật ra, điểm bắt đầu của SemiAnalysis là từ việc đăng bài trên mạng – nói trắng ra là “chém gió”. Hồi mới mười mấy tuổi, tôi đã bắt đầu đăng bài về chip, smartphone, màn hình điện thoại, SoC điện thoại lên mạng, dù lúc đó chính tôi còn chưa có smartphone nhưng đam mê công nghệ cực kỳ lớn. Phần cứng game, PC, máy console tôi cũng đăng khắp nơi.

Bây giờ đội chúng tôi đã có tới 90 người, còn tách riêng phòng marketing nữa – và các bạn ấy hay phàn nàn: “Dylan, đừng phản hồi mấy bạn nói bậy trên mạng nữa, sẽ làm hình ảnh công ty thiếu chuyên nghiệp.” Nhưng tôi vẫn có cảm xúc mạnh, ai mà nói xấu tôi trên mạng thì tôi nghĩ tới liền. Không biết có hay không, nhưng đúng là như thế.

Thời trẻ tôi quản lý các diễn đàn đó suốt. Đến khi kiếm được chút tiền tôi sang đầu tư. Rồi tôi làm hai công việc giao dịch định lượng, sáng lập công ty riêng, và vẫn ngày ngày đăng bài. Đã từng viết blog ẩn danh, sau đó năm 2020 tôi cảm thấy việc làm trader không còn hấp dẫn – bạn có kiếm được tiền thật, nhưng không phải cái gì rực rỡ. Thế là tôi gần như nghỉ hẳn việc, chuyển sang khởi nghiệp.

Khi ấy tôi cũng không chắc đi xa đến đâu, chỉ đăng bài bằng tên thật trên website WordPress tự làm, về chủ đề công nghệ, kinh doanh, tài chính, chuỗi cung ứng – các lĩnh vực tôi thích nhất vì lớn lên trong gia đình tiểu thương. Tôi sống ở Georgia, một vùng nông thôn, gia đình tôi vận hành một nhà nghỉ, mình ở luôn nhà đó. Sau đó chúng tôi mở thêm trạm xăng, lớn lên trong môi trường làm ăn, tôi cực kỳ thích kinh doanh.

Sau này, web WordPress đó chuyển sang Substack, bắt đầu thu phí, nội dung tôi viết khắp chuỗi cung ứng bán dẫn và AI. Trong 4 năm, tôi đi khắp nơi trên thế giới, mỗi năm dự 40 hội thảo lớn nhỏ – từ hội nghị top của giới nghiên cứu AI, đến hội quy mô nhỏ về một loại hóa chất trong chuỗi bán dẫn, từ server đến mạng, rồi đến sản xuất wafer, tôi đều tham gia đủ các tầng lớp. Có hội chỉ 300 người, toàn tiếng Nhật chỉ 5 người nói được tiếng Anh, tôi cũng đi. Có những hội cả vạn người tôi cũng xuất hiện. Sau 3 lần dự, bạn sẽ thật sự hiểu được ngôn ngữ của ngành, quen biết những người trong đó, đặt câu hỏi sâu sắc, hệ sinh thái được dựng lên trong đầu bạn.

SemiAnalysis phát triển và xây dựng đội ngũ

Dylan Patel:Tôi luôn chú ý tới các “điểm bẻ cong” công nghệ – mỗi lần dự hội phát hiện công nghệ hay thay đổi chuỗi cung ứng gì mới, tôi có thể đánh giá tác động của nó lên dòng tiền, chuỗi cung ứng thế nào. Có báo cáo thuần về kỹ thuật, dân tài chính chẳng hề quan tâm; nhưng có báo cáo chỉ rõ cái này là nút cổ chai, đây là điểm then chốt, doanh nghiệp này nhờ công nghệ mới sẽ nuốt thị phần lớn – và tôi có thể dự báo điều ấy nhanh hơn bất kỳ tổ chức nào, kể cả các quỹ phòng hộ.

Người thứ ba là Myin, từng làm ở quỹ phòng hộ rồi sang Nhật với vợ, “tự do di động”. Anh là người có background tài chính đầu tiên, hai người còn lại là kỹ thuật. Khi anh ấy gia nhập, bọn tôi bắt đầu xây các mô hình tài chính, dần chuyển từ bản tin sang dịch vụ thông tin, bán báo cáo nghiên cứu và bán bộ dữ liệu.

Từ đó công ty tăng trưởng như quả cầu tuyết. Năm 2023 đến 2024, từ 2 người lên 7 người; cuối 2024 đến đầu 2025 lên 20 người, 2025 đến 2026 lên 60 người; nay tăng thêm 30 người, tổng là 90 người.

Nơi thú vị nhất ở SemiAnalysis là mật độ nhân tài – tôi không biết đâu nữa có “chất” như vậy. Có người từ ASML, Applied Materials, Lam Research, Intel, TSMC, Nvidia, Microsoft, Amazon, có người từng làm tại OpenAI mảng model, có người từ Tesla FSD, Cohere, tập trung mảng data center, thậm chí có người xây nhà máy điện ở Kazakhstan – đúng là mật độ khủng. Hơn một nửa là kỹ thuật viên đủ cấp bậc, phần còn lại là tài chính hoặc bạn trẻ đam mê tuyển từ mạng về.

Hiện SemiAnalysis có nhiều nhánh nghiệp vụ: dữ liệu, tư vấn, dịch vụ thông tin, bản tin, truyền thông, và sắp tổ chức hội nghị quy mô lớn – đúng là hành trình đầy hào hứng.

Trực tiếp tại Nvidia GTC và chiếc đai "vua năng lực tính toán"

Người dẫn chương trình:Nói tới hành trình can đảm, tôi nhớ khoảnh khắc cực kỳ ấn tượng. WisdomTree và SemiAnalysis đã hợp tác nhiều tháng. Tháng 3 năm nay, hội nghị Nvidia GTC, tôi đang xem trực tiếp từ Charlotte, Bắc Carolina với 55.000 người xem online và 20.000 khán giả trực tiếp tại nhà thi đấu.

Dylan Patel:Đúng, trong số đó có 20.000 người lớn tham dự thật.

Người dẫn chương trình:Jensen Huang trực tiếp gọi tên bạn trên sân khấu, bảo bạn bảo ông ấy “giấu giếm” một số con số, biểu đồ bạn làm còn được chiếu lên màn hình lớn hội trường. Khi ấy – có lẽ thay bạn – tôi rất xúc động, thấy CEO của công ty vốn hóa lớn nhất thế giới trả lời nghiên cứu của bạn, phản biện bạn về các số liệu ông ấy nêu. Có thể chia sẻ khoảnh khắc ấy không? Lúc ấy chắc bạn ở ngay hội trường siêu sôi động?

Dylan Patel:Khoảnh khắc ấy thật ngoài thực tế. SemiAnalysis có đội kỹ sư chuyên làm benchmark nguồn mở cho tất cả mô hình AI open-source và phần cứng, việc này nghe thì không nổi bật. Chúng tôi hợp tác chặt với cả ngành phần cứng, được OpenAI, Microsoft, Amazon, Google, Coreweave, Nebius, Crusoe và nhiều đơn vị ủng hộ cho phần cứng trị giá trên 5.000 USD, Oracle cũng tặng máy để chúng tôi chạy các benchmark này.