OpenAI và Broadcom giới thiệu chip Jalapeño cho suy luận mô hình ngôn ngữ lớn
OpenAI và Broadcom hợp tác phát triển silicon AI tùy chỉnh
OpenAI và Broadcom đã công bố một chip mới được thiết kế chuyên biệt cho suy luận mô hình ngôn ngữ lớn trong các trung tâm dữ liệu, đánh dấu một dấu hiệu nữa cho thấy ngành AI đang đi sâu hơn vào phần cứng tùy chỉnh.
Con chip có tên Jalapeño được giới thiệu như thế hệ đầu tiên trong một hợp tác dài hạn giữa hai công ty. Broadcom cho biết con chip ASIC được thiết kế từ đầu cho suy luận mô hình ngôn ngữ lớn (LLM), dựa trên “những hiểu biết chi tiết” từ các cuộc thảo luận với các nhà nghiên cứu OpenAI và lộ trình của công ty cho các mô hình và sản phẩm tương lai. Broadcom cho biết con chip đã được thiết kế và chế tạo trong chín tháng.
OpenAI cho biết các thử nghiệm ban đầu gợi ý Jalapeño sẽ mang lại “hiệu suất trên mỗi watt tốt hơn đáng kể so với các giải pháp tiên tiến hiện nay,” mặc dù họ nói thêm rằng việc thử nghiệm vẫn đang tiếp tục và một báo cáo kỹ thuật chi tiết hơn sẽ được công bố trong vài tháng tới.
Nỗ lực này phản ánh tham vọng rộng hơn của OpenAI trong việc kiểm soát nhiều hơn hạ tầng đằng sau các mô hình và sản phẩm của họ, giảm phụ thuộc vào các nhà cung cấp bên ngoài như Nvidia. Nó cũng diễn ra trong bối cảnh các công ty AI tiếp tục tìm cách kéo dài tài nguyên tính toán hạn chế giữa sự căng thẳng về trung tâm dữ liệu toàn cầu.
Broadcom, vốn đã là một nhà cung cấp chip lớn cho các nhà xây dựng hạ tầng, đang mở rộng mảng kinh doanh silicon tùy chỉnh khi các hyperscalers và các nhà phát triển mô hình tiên tiến tìm kiếm các chip chuyên dụng phù hợp với khối lượng công việc của riêng họ.
Cả hai công ty cho biết các con chip Jalapeño dự kiến sẽ được triển khai trong các trung tâm dữ liệu vào cuối năm nay.
Nguồn:
Đọc thêm tin công nghệ trên Doppler VPN Blog.