Tian Yuandong: Tổng kết cuối năm 2025 (phần một)

  Báo cáo từ Trí Tuệ Mới 

Gần đây quá bận, đành để bản tổng kết cuối năm sang sau ngày 1 tháng 1 mới viết, dù sao thì bắt đầu viết đã là điều tốt rồi.

Vào cuối tháng 1 năm 2025, khi được yêu cầu tham giaLlama4 để "chữa cháy", là người lâu nay làm về học tăng cường, tôi đã vẽ một ma trận phần thưởng (reward matrix) 2x2 để tính bốn khả năng sau (mặc dù lúc đó, do áp lực lớn từ cấp trên, gần như không thể không đồng ý):

Lúc đó tôi nghĩ, nếu chúng tôi đến giúp, dù dự án không thành công thì chí ít đã cố gắng hết sức, không thẹn với lòng mình. Tuy nhiên, tiếc là cuối cùng lại xảy ra khả năng thứ năm ngoài dự tính, điều này khiến tôi nhận ra xã hội này phức tạp hơn tôi nghĩ nhiều.

Dù vậy, trong quá trình cố gắng vài tháng qua, chúng tôi vẫn khám phá được một số vấn đề cốt lõi trong huấn luyện học tăng cường, như sự ổn định khi huấn luyện, tương tác giữa huấn luyện và triển khai, thiết kế kiến trúc mô hình, tương tác giữa tiền huấn luyện/huấn luyện giữa kỳ, thuật toán chuỗi suy nghĩ dài, phương pháp tạo dữ liệu, thiết kế khung huấn luyện sau, v.v.

Trải nghiệm này rất quan trọng, cũng khiến tư duy nghiên cứu của tôi thay đổi không ít.

Thực ra tôi từng nghĩ, đã hơn mười năm ở công ty, sớm muộn gì cũng phải rời đi, chẳng lẽ cứ gắn bó nơi đây mãi, nhưng vì nhiều lý do kinh tế và gia đình vẫn phải tiếp tục ở lại.

Một hai năm trở lại đây, cách nói chuyện và làm việc của tôi đều mang tâm trạng "mong công ty sớm sa thải mình", thế mà càng ngày lại càng thả lỏng bản thân hơn.

Cuối năm 2023 khi tôi nghỉ kỳ nghỉ dài đầu tiên, thực ra đã suýt rời đi, nhưng cuối cùng không ký tên mà ở lại tiếp tục. Cho nên quyết định rời đi thực sự không dễ dàng. Giờ đâyMeta giúp tôi làm điều đó cũng tốt.

Những thăng trầm lần này cùng những biến động cả năm nay cũng đã cung cấp nhiều chất liệu mới cho việc sáng tác tiểu thuyết sắp tới.

Câu nói "Đường quan lộ không thuận thì thơ lại càng hay, trải nghiệm gian nan mới có câu thơ thấm thía", cuộc sống nếu quá bình lặng thì chưa chắc đã thú vị. Còn nhớ đầu năm 2021, vì trong tổng kết công việc cuối năm viết mấy câu phản tỉnh về "sao paper chẳng được nhận", mà nhận giải Meet Most, cảm giác như bị đánh trượt bất ngờ.

Nhưng nghĩ lại, thay vì than thân trách phận, chi bằng cứ giả vờ mình vừa được thăng chức trước mặt mọi người, kết quả nửa năm sau đúng là lên chức thật, còn bài báo "công việc" bị ngó lơ đầu năm 2021, đến tháng 7 lại nhận đượcICML Best paper honorable mention, trở thành bài báo khá nổi tiếng trong lĩnh vực học biểu diễn.

Sau ngày 22/10, mọi kênh liên lạc của tôi đều bị quá tải, mỗi ngày nhận vô số tin nhắn, email, lời mời họp online hoặc gặp mặt, thực sự không thể xoay sở nổi.

Mãi đến vài tuần sau mới dần trở lại bình thường. Hai tháng qua thực sự cảm ơn sự quan tâm và nhiệt tình của mọi người. Nếu lúc đó có tin nhắn nào tôi chưa kịp trả lời, mong mọi người thông cảm.

Dù cuối cùng nhận được không ít offer, các công ty nổi tiếng mọi người nghĩ đến cũng đều liên hệ với tôi, nhưng cuối cùng tôi vẫn quyết định khi còn trẻ, sẽ làm đồng sáng lập cho một công ty khởi nghiệp mới, chi tiết tạm thời chưa công khai, cứ âm thầm bận rộn một thời gian đã.

Hướng chính năm 2025, một là suy luận mô hình lớn, hai là mở hộp đen của mô hình.

Từ cuối năm 2024, khi công trình suy luận không gian tiềm ẩn liên tục của chúng tôi (coconut, COLM’25) được công khai, đến năm 25 đã bùng nổ thành trào lưu nghiên cứu. Mọi người tìm hiểu cách áp dụng ý tưởng này trong học tăng cường và tiền huấn luyện, làm sao để tăng hiệu quả huấn luyện và tính toán, v.v.

Dù nhóm tôi sau đó bị kéo sang làm việc cho llama nên không tiếp tục đào sâu, nhưng điều này khiến tôi rất vui.

Dù vậy, nửa đầu năm nay chúng tôi vẫn đăng một bài phân tích lý thuyết (Reasoning by Superposition, NeurIPS‘25), cho thấy ưu điểm của suy luận không gian tiềm ẩn liên tục ở đâu và nhận được khá nhiều sự chú ý.

Còn làm sao để tăng hiệu quả suy luận của mô hình lớn. Công trìnhToken Assorted (ICLR’25) của chúng tôi dùng VQVAE để học các token rời rạc trong không gian tiềm ẩn, sau đó trộn chúng với text token để huấn luyện sau, vừa giảm chi phí suy luận vừa tăng hiệu năng.

Công trìnhDeepConf của chúng tôi xác định mức độ tự tin của mỗi token sinh ra để quyết định có nên kết thúc sớm một nhánh suy luận, nhờ đó số token cần dùng giảm đáng kể mà hiệu năng với majority vote thậm chí còn tốt hơn.

ThreadWeaver tạo chuỗi suy nghĩ song song để huấn luyện sau, tăng tốc suy luận. Ngoài ra chúng tôi còn dùng RL để huấn luyện mô hình suy luận trên dLLM (Sandwiched Policy Gradient), cũng thử nghiệm học suy luận trên mô hình nhỏ (MobileLLM-R1).

Về mặt khả năng giải thích, tôi đã chú ý đến chủ đềGrokking (ngộ ra) từ hai năm trước. Lý do là trước đây tôi phân tích học biểu diễn (representation learning), dù có thể phân tích động lực quá trình học, chỉ ra lý do mô hình bị co sập biểu diễn, nhưng rốt cuộc học ra loại biểu diễn gì, chúng liên quan gì đến cấu trúc dữ liệu đầu vào, khả năng khái quát ra sao vẫn là điều bí ẩn, mà thông qua phân tích hiện tượng nổi bật của Grokking, quá trình đột biến từ ghi nhớ đến khái quát, lại giúp giải đáp bí ẩn đó.

Ban đầu thực sự rất khó làm, không có manh mối, năm 2024 làm một bàiCOGS (NeurIPS‘25, xemNgười cầu đạo không hỏi nóng lạnh (10)), nhưng chỉ phân tích được trên trường hợp đặc biệt, tôi không hài lòng lắm.

Sau hơn một năm mù mờ, sau khi tương tác nhiều với GPT5, bàiProvable Scaling Laws gần đây có đột phá lớn, có thể phân tích những thứ mà trước đây cấu trúc tuyến tính (NTK) không nhìn thấy, đồng thời giải thích khá rõ động lực huấn luyện của hiện tượng nổi bật đặc trưng. Dù ví dụ phân tích còn khá đặc biệt, nhưng ít nhất đã mở ra góc nhìn mới. Giải thích chi tiết xin xemÝ tưởng của Điền Uyên Đống.

Bài cuối nămThe path not taken tôi rất thích, giải thích ở mức trọng số tại sao hành vi giữa RL vàSFT lại bất nhất như vậy.

SFT gây ra hiện tượng overfitting vàquên lãng thảm họa (catastrophic forgetting), nguyên nhân bề mặt là do dữ liệu huấn luyện không đủ on-policy, còn nguyên nhân sâu xa là thành phần chính của trọng số bị dữ liệu ngoại lai chỉnh sửa lớn, làm "nền tảng" lung lay, hiệu quả mô hình giảm mạnh.

Còn RL vì huấn luyện bằng dữ liệu on-policy nên thành phần chính của trọng số không đổi, chỉ thay đổi thành phần phụ, tránh được vấn đề quên lãng thảm họa, trọng số thay đổi cũng phân bố khá thưa (đặc biệt khi lượng hóa bf16).

Nhiều người cho rằng tính khả giải thích, hoặc vấn đề "AI hoạt động tốt như vậy là nhờ đâu" không quan trọng, nhưng tôi lại thấy rất quan trọng. Thử hình dung hai kịch bản sau:

• Kịch bản một: Nếu chỉ dựa vào Scaling mà đạt đến AGI, thậm chí ASI, giá trị lao động của toàn nhân loại giảm về không, AI trở thành hộp đen khổng lồ giúp ta giải quyết mọi vấn đề, thì làm sao để AI là siêu trí tuệ luôn hướng thiện, không lừa dối không bí mật làm điều xấu là ưu tiên hàng đầu, muốn giải quyết việc này nhất định phải nghiên cứu tính khả giải thích.

  
  

• Kịch bản hai: Nếu Scaling cuối cùng thất bại, nhân loại thua trước nhu cầu tài nguyên tăng theo hàm mũ, buộc phải tìm giải pháp khác, lúc đó bắt buộc phải suy nghĩ "mô hình hiệu quả vì sao, khi nào sẽ thất bại", chuỗi suy nghĩ này buộc ta quay lại nghiên cứu, mà khả giải thích là con đường tất yếu.

  
  

Dù ở kịch bản nào, cuối cùng đều cần khả giải thích để giải cứu. Dù cuối cùng AI là vị thần toàn trí toàn năng toàn thiện, với bản tính tò mò và khám phá của con người, chắc chắn chúng ta vẫn sẽ nghiên cứu vì sao AI lại làm tốt như vậy.

Bởi "hộp đen" đồng nghĩa với sự ra đời của chuỗi nghi ngờ, trong thời đại công nghệ mô hình lớn bùng nổ, bắt đầu đạt hoặc vượt trình độ trung bình của con người ngày nay, quy tắc "rừng tối" trong Tam Thể có thể sẽ xuất hiện dưới hình thức khác.

Hiện việc mở hộp đen của mô hình huấn luyện tốt, tìm kiếm mạch điện (circuit) vẫn ở giai đoạn sơ khai.

Khó khăn thực sự của khả giải thích là xuất phát từ nguyên lý đầu tiên, tức từ kiến trúc mô hình, gradient descent và cấu trúc nội tại của dữ liệu, để giải thích vì sao mô hình lại hội tụ ra các đặc trưng và mạch điện tách rời, thưa, hạng thấp, mô-đun, có thể tổ hợp như vậy, vì sao có nhiều giải thích khác nhau, cấu trúc nổi bật này liên quan gì đến siêu tham số huấn luyện của mô hình và liên quan như thế nào, v.v.

Đến khi nào có thể trực tiếp suy luận ra tính tất yếu của hiện tượng nổi bật đặc trưng mô hình lớn từ phương trình gradient descent, khi đó khả giải thích mới thực sự chuyển từ thu thập bằng chứng kiểu sinh học sang suy luận nguyên lý kiểu vật lý, cuối cùng quay lại dẫn dắt thực tiễn, mở đường cho thiết kế mô hình AI thế hệ kế tiếp.

So với vật lý học bốn trăm năm trước, hiện nay chúng ta có nhiều "Tycho" phiên bản AI (thu thập dữ liệu), vài "Kepler" phiên bản AI (đề xuất giả thuyết), nhưng chưa có "Newton" phiên bản AI (phát hiện nguyên lý).

Chờ đến ngày đó đến, tôi tin thế giới nhất định sẽ đảo lộn.