Bạn nghĩ rằng việc chạy một mô hình MoE với hàng nghìn tỷ tham số là chuyện đơn giản? Sai rồi. Hãy nói chuyện với bất kỳ kỹ sư hạ tầng nào từng phải đau đầu với việc kết nối 64 card GPU để đạt được băng thông 800GB/s. Nó giống như cố gắng nhét một con voi vào một chiếc xe hơi vậy. Và đó chính xác là vấn đề mà Alibaba Cloud đang giải quyết với Siêu Node M890. Một giải pháp, nhưng có thực sự là một cuộc cách mạng?
Context: Khi MoE Thống Trị
Chúng ta đang sống trong kỷ nguyên của Mixture-of-Experts (MoE). Các mô hình như GPT-4, Gemini hay Llama 3 đều sử dụng kiến trúc này để đạt được hiệu suất vượt trội mà không cần kích hoạt toàn bộ tham số mỗi lần suy luận. Nhưng có một cái giá: MoE yêu cầu phân tán các "chuyên gia" (experts) lên nhiều GPU khác nhau. Khi bạn có hàng nghìn tỷ tham số, bạn cần một mạng lưới giao tiếp cực kỳ nhanh giữa các GPU. Đây là lý do tại sao băng thông card-to-card lại trở thành nút thắt cổ chai. Một vài năm trước, 16 card GPU là giới hạn cho một node. Nhưng với MoE, 16 card là không đủ. Bạn cần 64, 128, thậm chí nhiều hơn. Và Alibaba Cloud, với Siêu Node M890, đã đưa ra câu trả lời: một "supernode" 64 card với kết nối 800GB/s, được gói gọn thành một cloud instance. Đây là bước tiến từ hạ tầng vật lý lên hạ tầng như dịch vụ (IaaS). Nhưng liệu có phải là một bước ngoặt? Có lẽ là không, nếu nhìn kỹ vào phần cứng bên trong.
Core: Kỹ Thuật Bên Trong Của Siêu Node
Trọng tâm của M890 là con chip ICNSwitch 1.0. Theo thông tin chính thức, nó cho phép mở rộng kết nối trong node từ 16 card lên 64 card, với tốc độ 800GB/s. Đối với một kỹ sư phần mềm như tôi, con số này có ý nghĩa gì? Nó có nghĩa là bạn có thể chạy một mô hình MoE 1.000 tỷ tham số một cách mượt mà, nếu phần mềm của bạn được tối ưu hóa. Nhưng tôi nghi ngờ. Bởi vì ICNSwitch 1.0 không phải là công nghệ mới hoàn toàn. Nó là một switch chip tự phát triển, nhưng nó dựa trên nguyên lý tương tự như NVIDIA NVSwitch hay InfiniBand. Sự khác biệt chính là nó được tích hợp sâu hơn vào cloud stack của Alibaba. Điều này có nghĩa là độ trễ có thể thấp hơn, nhưng bảo mật và cô lập tài nguyên lại là vấn đề cần xem xét. Thêm vào đó, việc hỗ trợ FP8 và FP4 cho thấy card GPU được sử dụng rất có thể là NVIDIA H100 hoặc H200, vốn có Transformer Engine hỗ trợ các định dạng này. Nhưng nếu Alibaba Cloud sử dụng chip tự phát triển (như Hanguang 800), thì đây sẽ là một tín hiệu địa chính trị quan trọng. Tuy nhiên, không có thông tin về chip nào được sử dụng. Và đó là lỗ hổng đầu tiên trong câu chuyện. Một node mạnh mẽ nhưng thiếu minh bạch về phần cứng khiến tôi cảm thấy như đang mua một chiếc xe hơi mà không biết động cơ của hãng nào.
Tôi nhớ lại năm 2020, khi tôi đào sâu vào mã nguồn Uniswap v2. Lúc đó, mọi người đều ca ngợi công thức x*y=k, nhưng tôi đã chỉ ra rằng thanh khoản tập trung có thể tối ưu hơn. Điều tương tự xảy ra ở đây. Mọi người sẽ nói về băng thông 800GB/s, nhưng họ quên mất rằng việc quản lý 64 card GPU trong một node yêu cầu một phần mềm điều phối cực kỳ phức tạp. Nếu phần mềm đó không được tối ưu hóa, băng thông cao cũng trở nên vô dụng. Thực tế, từ kinh nghiệm audit của tôi, các lỗi thường nằm ở lớp kernel và driver, không phải ở phần cứng. M890 có thể là một node mạnh, nhưng nó chỉ mạnh khi Alibaba Cloud cung cấp một software stack hoàn chỉnh. Và hiện tại, họ chỉ đang ở giai đoạn "invite-only test" tại khu vực Ulanqab. Điều này có nghĩa là nó chưa sẵn sàng cho khối lượng công việc sản xuất.
Contrarian: Điểm Mù Bảo Mật Và Chi Phí Tiềm Ẩn
Hãy nói về điều mà không ai muốn nói đến: bảo mật. Một node 64 card với kết nối 800GB/s là một mục tiêu hấp dẫn cho tấn công mạng. Nếu kẻ tấn công có thể xâm nhập vào một card, chúng có thể di chuyển ngang qua toàn bộ node. Và vì node này được thiết kế cho MoE, nơi các expert phân tán, một cuộc tấn công vào node có thể làm hỏng toàn bộ quá trình suy luận. Thậm chí, nếu kẻ tấn công có thể can thiệp vào bộ nhớ chia sẻ, chúng có thể đánh cắp trọng số mô hình. Đây không phải là lý thuyết suông. Năm 2017, tôi đã phát hiện ra 4 lỗ hổng trong logic matching của sàn DEX EtherDelta v2, có thể dẫn đến mất 5.000 ETH. Mã nguồn không bao giờ hết lỗi. Và hardware cũng vậy. Alibaba Cloud có thể đã triển khai các biện pháp bảo mật, nhưng họ không công khai điều đó. Sự thiếu minh bạch này là một điểm mù.
Một điểm mù khác là chi phí. Siêu Node M890 được quảng cáo là "giảm chi phí" nhờ hiệu suất cao. Nhưng thực tế, chi phí vận hành của một node như vậy là rất lớn. Mỗi node có thể tiêu thụ hàng chục kW điện, cần hệ thống làm mát bằng chất lỏng. Và nếu bạn chỉ có một số ít node, bạn sẽ không tận dụng được lợi thế kinh tế theo quy mô. Điều này có nghĩa là giá thành sẽ cao, và chỉ những khách hàng lớn nhất mới có thể trả tiền. Bạn có thể hỏi: "Liệu các startup AI có dám chi trả?" Câu trả lời là không, trừ khi họ có nguồn vốn không giới hạn. M890, giống như một chiếc Rolls-Royce, rất đẹp, nhưng nó không phải dành cho tất cả mọi người. Và đây là lúc mà tôi nhắc lại quan điểm cá nhân của mình: các giao thức Layer2, mặc dù có sequencer tập trung, nhưng chúng cung cấp khả năng mở rộng ngang (horizontal scaling) với chi phí thấp hơn. Trong khi đó, M890 là mở rộng dọc (vertical scaling) – tập trung mọi thứ vào một node. Trong bối cảnh của AI, có lẽ cả hai đều cần thiết. Nhưng nếu bạn hỏi tôi, tôi sẽ đặt cược vào hướng phân tán hơn là tập trung hóa.
Takeaway: Một Bước Nhảy Vọt, Nhưng Không Phải Là Cuộc Cách Mạng
Alibaba Cloud M890 là một sản phẩm ấn tượng, cho thấy họ đang đi đúng hướng trong việc cung cấp hạ tầng cho MoE quy mô lớn. Nhưng sự thiếu minh bạch về phần cứng, rủi ro bảo mật và chi phí cao khiến tôi phải đặt câu hỏi về khả năng áp dụng rộng rãi. Nó giống như việc bạn xây dựng một siêu xe đua trong một thế giới mà hầu hết mọi người đều cần một chiếc xe tải. Vậy, câu hỏi là: Liệu Alibaba Cloud có thể biến M890 từ một chiếc xe đua thành một chiếc xe tải cho thị trường đại chúng? Hay nó sẽ chỉ là một sân chơi cho những "cá voi" AI? Tôi nghiêng về khả năng thứ hai. Và đó có thể là một sai lầm chiến lược. Bởi vì trong dài hạn, những người chiến thắng là những người có thể phục vụ số đông, không phải số ít.
Mã nguồn không bao giờ hết lỗi. Và phần cứng cũng vậy. Hãy nhìn vào những lỗ hổng trong hợp đồng thông minh của các dự án ICO năm 2017 – chúng ta đã học được bài học rằng sự phức tạp đi kèm với rủi ro. M890 là một bước tiến về kỹ thuật, nhưng nó cũng mang đến những rủi ro mới. Và tôi sẽ không ngạc nhiên nếu trong tương lai gần, chúng ta thấy một bài báo về lỗ hổng bảo mật trong node này. Bởi vì, như tôi đã nói, không có hệ thống nào là hoàn hảo.