OpenAI dan Broadcom Memperkenalkan Chip Jalapeño untuk Inferensi Model Bahasa Besar
OpenAI and Broadcom team up on custom AI silicon
OpenAI dan Broadcom telah mengumumkan sebuah chip baru yang dirancang khusus untuk inferensi model bahasa besar di pusat data, menandai satu lagi tanda bahwa industri AI bergerak semakin jauh ke arah perangkat keras kustom.
Chip tersebut, yang disebut Jalapeño, diposisikan sebagai generasi pertama dalam kolaborasi jangka panjang antara kedua perusahaan. Broadcom mengatakan ASIC itu dirancang dari awal untuk inferensi model bahasa besar, menarik dari “wawasan terperinci” dari diskusi dengan peneliti OpenAI dan roadmap perusahaan untuk model dan produk masa depan. Broadcom mengatakan chip tersebut dirancang dan dibangun dalam waktu sembilan bulan.
OpenAI mengatakan pengujian awal menunjukkan Jalapeño akan memberikan “kinerja per watt secara substansial lebih baik dibandingkan teknologi terdepan saat ini,” meskipun mereka menambahkan bahwa pengujian masih berlangsung dan laporan teknis yang lebih rinci akan menyusul dalam beberapa bulan mendatang.
Upaya ini mencerminkan ambisi lebih luas OpenAI untuk mengendalikan lebih banyak infrastruktur di balik model dan produknya, mengurangi ketergantungan pada pemasok luar seperti Nvidia. Ini juga terjadi ketika perusahaan AI terus mencari cara untuk menghemat sumber daya komputasi yang terbatas di tengah krisis pusat data global.
Broadcom, yang sudah menjadi pemasok chip utama bagi pembangun infrastruktur, telah memperluas bisnis silikon kustomnya karena para hyperscaler dan pengembang model terdepan mencari chip khusus yang disesuaikan dengan beban kerja mereka sendiri.
Kedua perusahaan mengatakan chip Jalapeño diperkirakan akan ditempatkan di pusat data pada akhir tahun ini.
Sumber:
Baca berita teknologi lainnya di Doppler VPN Blog.