Phiên bản tùy chỉnh chip AMD MI450 của Meta giảm một nửa sức mạnh tính toán, bộ nhớ bị cắt giảm mạnh, SemiAnalysis: Đây là nỗi buồn trong văn hóa doanh nghiệp của Meta

Meta đang phải trả giá hàng tỷ đô la vì một loạt quyết định sai lầm trong lĩnh vực hạ tầng AI, làm lộ rõ những vấn đề sâu xa trong văn hóa tổ chức của tập đoàn này.

Theo tiết lộ mới nhất từ tổ chức nghiên cứu ngành chip SemiAnalysis, Meta đang yêu cầu AMD tùy chỉnh một phiên bản chip MI450X với cấu hình bị cắt giảm mạnh – số lượng đơn vị tính toán giảm một nửa, số lớp bộ nhớ HBM xếp chồng từ 12 tầng xuống còn 8 tầng, dung lượng bộ nhớ bị giảm gần hai phần ba. SemiAnalysis trực tiếp gọi quyết định này là “thảm họa” và công khai kêu gọi AMD bỏ qua đội hạ tầng của Meta mà hãy làm việc trực tiếp với phòng thí nghiệm siêu thông minh TBD Lab thuộc Meta để thúc đẩy mua phiên bản chuẩn của MI450X.

Sự kiện này không phải trường hợp cá biệt. SemiAnalysis chỉ ra rằng, từ thương vụ thâu tóm Rivos trị giá hơn 2,5 tỷ USD, cho đến server H100 tùy chỉnh Grand Teton, rồi đến giải pháp tùy chỉnh GB200 mang tên Ariel, cách ra quyết định của đội hạ tầng Meta cho thấy mô hình “kỹ thuật hóa thái quá”, thiếu sự đồng bộ phần mềm-hardware và bị định hướng ngắn hạn thay vì hợp lý về mặt kỹ thuật dài hạn. “Đội ngũ hạ tầng của Meta cần một lần tái tạo văn hóa tổ chức,” SemiAnalysis viết.

AMD MI450X là một trong những GPU có thông số kỹ thuật silicon mạnh nhất trên thị trường hiện nay: sử dụng tiến trình 2nm, công nghệ đóng gói hybrid bonding, bộ nhớ HBM4 12 lớp xếp chồng, cùng với khuôn CoWoS cỡ lớn nhất trên thị trường, đại diện cho đỉnh cao về đóng gói và mật độ lưu trữ hiện tại.

Tuy nhiên theo tiết lộ của SemiAnalysis, phiên bản tùy chỉnh mà Meta đặt hàng sẽ cắt giảm diện tích silicon tính toán một nửa, chuyển bộ nhớ HBM từ 12-Hi xuống còn 8-Hi, đồng nghĩa với việc đồng thời giảm sức mạnh tính toán và băng thông bộ nhớ - hai thông số cốt lõi. Đội hạ tầng Meta đưa ra lý do rằng: cấu hình này được thiết kế hướng tới các tải làm việc cho hệ thống đề xuất (RecSys), nhằm tăng tỷ lệ tính toán trên CPU so với GPU.

Vấn đề nằm ở chỗ, quyết định này được đưa ra trước khi phòng TBD Lab được thành lập, trong khi đây lại là nhóm nòng cốt nghiên cứu mô hình lớn của Meta và không hề quan tâm đến loại chip này. SemiAnalysis khẳng định, so với Vera Rubin của Nvidia, MI450 phiên bản bị cắt giảm chẳng có sức hút gì với TBD Lab, “TBD sẽ nghiêng hẳn về Rubin”. Điều này đồng nghĩa, sản lượng của AMD tại Meta sẽ bị quyết định này ảnh hưởng nghiêm trọng.

SemiAnalysis trong báo cáo hiếm hoi đã trực tiếp gửi thông điệp cho AMD: “AMD cần đứng ra hợp tác trực tiếp với đội TBD, đảm bảo họ nhận được bản MI450 tiêu chuẩn, thay vì bản bị cắt giảm không giá trị gì cho GenAI này.”

Một ví dụ điển hình khác về sai lầm trong quyết định hạ tầng của Meta là thương vụ thâu tóm Rivos với giá hơn 2,5 tỷ USD vào năm 2024.

Theo SemiAnalysis, rất ít người trong bộ phận chip nội bộ của Meta thực sự hiểu logic chiến lược của thương vụ này, những người thúc đẩy thương vụ ban đầu giờ đây đều đã im lặng. Quan điểm chính là: Meta dư dả nguồn tiền, mảng chip tùy chỉnh đang nóng lên, hơn nữa trước đó Meta đã cấp phép IP của Rivos nên lãnh đạo quyết định “thu nạp cả công ty” cho chắc.

Tuy nhiên cấu trúc giao dịch từ đầu đã chứa đựng rủi ro. Đội sáng lập Rivos yêu cầu bán toàn bộ nhân viên, Meta buộc phải mua cả công ty rồi cắt giảm mạnh các bộ phận không cần thiết. Theo nguồn tin từ cựu nhân viên chip Meta, thương vụ này do Yee Jiun Song – lãnh đạo mảng silicon của Meta phụ trách, gặp phải phản đối nội bộ, nhưng khi giao dịch hoàn tất thì chính bản thân ông cũng không còn hứng thú. Ban lãnh đạo mới chia nhỏ các kỹ sư Rivos thành “nguồn nhân lực miễn phí” cho từng nhóm, cấu trúc ban đầu nhanh chóng tan vỡ.

Xét về mặt kỹ thuật, giá trị cốt lõi của thương vụ - IP GPU kiến trúc SIMT của Rivos – cũng bay hơi theo khi dự án chip “Olympus” vốn dự kiến tích hợp công nghệ này bị hủy bỏ. Giải pháp tiếp theo là dự án “Phoebe” được kỳ vọng sẽ thử nghiệm chip sớm nhất vào 2028, nhưng SemiAnalysis nhận định nội bộ Meta không lạc quan về khả năng thương mại hóa sản phẩm này.

Nhân sự rời đi cũng diễn ra rất mạnh mẽ. Theo SemiAnalysis, khoảng 30% nhân viên Rivos đã rời đi trong đợt cắt giảm mới đây, đồng sáng lập Mark Hayter cũng đã rời công ty, nhiều cựu nhân viên Rivos khác sau khi RSU đợt một về tay vào tháng 5 năm nay đã chuyển sang làm việc tại startup chip Nuvacore do Gerard Williams sáng lập. SemiAnalysis còn tiết lộ CEO kiêm đồng sáng lập Rivos - Puneet Kumar - có thể cũng sẽ rời Meta trong vòng một, hai năm sau khi hưởng trọn cổ phần.

Chủ nghĩa tùy chỉnh của Meta không phải mới xuất hiện. Server H100 tùy chỉnh Grand Teton dựa trên máy chủ HGX tiêu chuẩn đã bổ sung thêm một khay switch, lắp bốn thiết bị chuyển mạch PCIe của Broadcom, 16 ổ SSD và tám card mạng, nhằm cung cấp nhiều không gian lưu trữ kết nối trực tiếp hơn cho từng máy chủ để lưu checkpoint huấn luyện.

Nhưng sau khi đưa vào sản xuất thực tế, nhóm mô hình sử dụng nguồn lưu trữ này thấp hơn nhiều so với dự tính, thiết kế này cuối cùng bị loại bỏ. SemiAnalysis chỉ ra đây là ví dụ điển hình về việc nhóm hardware Meta thiếu hợp tác với nhóm phần mềm – đội hạ tầng đã phải tăng chi phí vật liệu và tiêu thụ điện năng cho các chức năng không được tận dụng triệt để, đồng thời gia tăng sự phụ thuộc vào Broadcom, đi ngược lại chủ trương giảm bớt phụ thuộc vào thiết bị mạng của Nvidia.

Sang kỷ nguyên Blackwell, giải pháp tùy chỉnh “Ariel” của Meta lại tiếp tục tư duy tương tự. Thông số chuẩn của GB200 là mỗi CPU Grace kết hợp với hai GPU B200, nhưng Ariel đổi sang cấu hình một-một, giảm một nửa số lượng GPU. Lý do lại là muốn tăng tỉ lệ CPU cho tải nặng RecSys.

Theo tính toán của SemiAnalysis, tổng chi phí sở hữu (TCO) phương án Ariel NVL36x2 cao hơn 14% so với GB200 NVL72 chuẩn, trong khi tài nguyên CPU và DRAM bổ sung thực tế lại cực kỳ dư thừa với đội ngũ mô hình lớn. Do phải dùng cấu trúc kết nối giữa các rack máy chủ để bù lượng GPU thiếu hụt, các vấn đề về độ trễ mạng và độ ổn định phát sinh thêm. Trong khi đó, NVL72 backplane – từng bị đánh giá là không ổn định – đã dần ổn định, cho thấy nhận định rủi ro kỹ thuật ban đầu của Meta là sai.

SemiAnalysis cho biết, server GB300 của Meta đã trở lại cấu hình chuẩn – điều này thực tế là sự phủ nhận giải pháp Ariel.

SemiAnalysis quy những vấn đề nói trên về văn hóa tổ chức của đội hạ tầng Meta.

Tổ chức này chỉ rõ, chu kỳ đánh giá hiệu quả làm việc 6 tháng của Meta sẽ loại bỏ 10% đến 15% nhân viên cuối bảng ở mỗi vòng, khiến nhóm có xu hướng theo đuổi kết quả ngắn hạn thay vì ưu tiên chiến lược kỹ thuật dài hơi. Một số quản lý thích thực hiện các dự án nổi bật và có thể bàn giao kết quả nhanh, rồi lại chuyển sang dự án khác sau khi hoàn thành; cách làm này được nội bộ gọi là “tô vẽ cửa sổ” (window washing). Đồng thời, hiếm khi ai dám công khai thách thức quyết định của lãnh đạo, khiến lỗi rất khó sửa chữa kịp thời.

Đội chuỗi cung ứng cũng rất ít tiếng nói trong các quyết định kỹ thuật, làm vấn đề càng trở nên nghiêm trọng. SemiAnalysis cho biết, một số nhà cung ứng đã hạ mức ưu tiên cho những dự án mới của Meta vì Meta liên tục thay đổi định hướng, thay vào đó họ ưu tiên đáp ứng nhu cầu của Amazon hoặc Google hơn.

SemiAnalysis so sánh hiện tượng này với quá trình mở rộng của Reality Labs thuộc Meta – hàng chục tỷ USD được rót mạnh cho đội ngũ kỹ sư và dự án R&D, cho đến khi đợt sa thải quy mô lớn xảy ra. Hiện nay, khi Meta bắt đầu bán năng lực tính toán ra bên ngoài, những hệ quả của văn hóa nội bộ này sẽ càng lộ rõ trên thị trường.