Wiola: Arsitektur Baru untuk Model Bahasa Kecil yang Efisien

Jadi, Wiola ini adalah arsitektur model bahasa kecil yang bener-bener baru dan unik. Gak ada hubungannya sama model-model lain kayak GPT atau LLaMA. Ini dibangun dari nol, jadi bisa dibilang fresh banget! Wiola punya lima komponen baru yang bikin dia beda dari yang lain.

Pertama, ada Spiral Rotary Positional Encoding (SRPE). Ini adalah cara baru buat ngasih tahu posisi token dalam bentuk tiga dimensi. Jadi, posisi token itu digabungin dengan sinyal absolut, relatif, dan hierarkis. Gak ada lagi posisi yang bikin bingung!

Kedua, ada Gated Cross-Layer Attention (GCLA). Ini bikin setiap lapisan decoder bisa akses ringkasan dari dua lapisan sebelumnya. Jadi, semua lapisan bisa saling nyambung dan bikin hasilnya lebih konsisten. Keren, kan?

Ketiga, ada Adaptive Token Merging (ATM). Fungsinya untuk menggabungkan token yang mirip secara dinamis di lapisan tengah. Jadi, bisa mengurangi kompleksitas perhatian tanpa kehilangan informasi penting. Ini bikin prosesnya jadi lebih efisien.

Keempat, Wiola juga punya Dual Stream Feed-Forward (DSFF). Ini mengganti MLP biasa dengan dua aliran paralel yang digabungin lewat gerbang yang dipelajari. Jadi, lebih cepat dan lebih efektif.

Terakhir, ada WiolaRMSNorm. Ini adalah normalisasi yang dimodifikasi, yang ngenalin vektor offset yang dipelajari per dimensi. Ini mencegah representasi yang jatuh. Jadi, semua komponen ini saling melengkapi dan bikin Wiola jadi pilihan yang menarik.

Wiola dirilis dalam empat ukuran, mulai dari 120M sampai 1.5B parameter. Dan yang paling seru, dia sepenuhnya kompatibel dengan ekosistem HuggingFace Transformers. Semua unit arsitektur udah dites dan lulus! Jadi, kamu bisa langsung coba dan lihat sendiri.