Inkling: Model AI Gede dari Thinking Machines Lab, Serius Nih?

Jadi, baru-baru ini Thinking Machines Lab meluncurin Inkling, model AI yang mereka latih dari awal. Ini bukan model biasa, soalnya Inkling punya total 975B parameter, dan 41B di antaranya aktif. Bayangkan betapa canggihnya! Model ini juga bisa nerima input teks, gambar, dan audio, jadi serba bisa banget.

Inkling ini dirancang dengan arsitektur Mixture-of-Experts (MoE) yang bikin dia bisa lebih efisien. Di setiap lapisan MoE, ada 256 ahli yang siap membantu, tapi cuma 6 yang aktif per token. Ini bikin pemrosesan jadi lebih cepat dan hemat sumber daya. Jadi, kamu bisa bayangkan betapa cepatnya model ini saat ngolah data.

Nggak cuma itu, Inkling juga punya konteks jendela hingga 1 juta token. Ini berarti dia bisa memahami konteks yang lebih panjang saat berinteraksi. Dalam pelatihannya, Inkling udah ngolah sekitar 45 triliun token dari berbagai sumber, termasuk teks, gambar, dan audio. Gila, kan?

Salah satu fitur menarik dari Inkling adalah kemampuan kontrol usaha berpikir. Ini artinya, kamu bisa atur seberapa banyak usaha yang mau dikeluarkan oleh model ini saat memproses data. Misalnya, kamu bisa bikin model ini lebih efisien dengan mengubah pengaturan usaha dari 0,2 sampai 0,99. Jadi, kamu bisa sesuaikan dengan kebutuhanmu.

Inkling juga udah dites dan hasilnya cukup menjanjikan. Dia bisa bersaing dengan model-model lain yang udah ada di pasaran. Misalnya, di Terminal Bench 2.1, Inkling dapat skor 63,8%, yang bikin dia jadi salah satu yang terbaik di kategori open-weights. Ini menunjukkan bahwa meskipun dia baru, performanya udah cukup solid.

Kalau kamu penasaran, Inkling juga udah ada di platform Tinker untuk di-custom lebih lanjut. Jadi, buat kamu yang suka utak-atik model AI, ini kesempatan emas! Dengan dua checkpoint yang disiapkan, kamu bisa pilih mana yang sesuai dengan kebutuhanmu.

Tapi, tentu ada beberapa kelemahan yang perlu diperhatikan. Misalnya, Inkling butuh VRAM yang cukup gede, yaitu minimal 2 TB untuk BF16. Jadi, kamu perlu siapin perangkat keras yang mumpuni. Selain itu, ada beberapa area di mana Inkling masih kalah saing, seperti di SimpleQA yang hanya dapat 43,9%.