MuScriptor: Decoder Gokil Buat Transkripsi Musik ke MIDI

Kamu suka musik dan pengen tahu cara mengubah lagu-lagu favoritmu jadi format MIDI? Nah, Kyutai baru aja ngeluarin MuScriptor, alat yang bisa ngebantu kamu transkripsi musik multi-instrumen jadi MIDI dengan gampang. Ini bukan sembarang alat, soalnya dia dilatih dengan 170 ribu rekaman asli dan 1,45 juta MIDI sintetis. Gila, kan? Dengan MuScriptor, kamu bisa dapetin transkripsi yang lebih akurat dan bersih.

Jadi, gimana sih cara kerja MuScriptor ini? Pertama-tama, dia baca mel-spectrogram dari segmen audio yang pendek. Setelah itu, dia mulai memprediksi token MIDI untuk nada, timing, dan instrumen secara otomatis. Proses ini bikin transkripsi jadi semacam tugas modeling bahasa, mengikuti skema tokenisasi MT3. Dengan tiga varian bobot yang tersedia, kamu bisa milih yang paling sesuai dengan kebutuhanmu.

MuScriptor punya tiga tahap pelatihan yang bikin dia makin jago. Tahap pertama, dia dilatih dengan 1,45 juta file MIDI yang disintesis. Di tahap ini, dia juga melakukan augmentasi seperti perubahan nada, tempo, dan pengacakan instrumen. Di tahap kedua, dia dilatih dengan 170 ribu rekaman nyata. Dan di tahap ketiga, ada pelatihan ulang menggunakan 300 trek yang sudah diverifikasi. Jadi, kamu bisa bayangin seberapa canggihnya alat ini!

Salah satu keunggulan MuScriptor adalah kemampuannya untuk mengenali berbagai instrumen dan menciptakan output yang stabil. Misalnya, kamu bisa transkripsi hanya bagian drum dari lagu dengan memberikan kondisi instrumen yang tepat. Ini sangat berguna bagi produser musik yang pengen ambil bassline dari mix dan mengeditnya di DAW. Cuan banget, kan?

Tapi, tentu ada beberapa kelemahan juga. Misalnya, bobotnya dilindungi dengan lisensi CC BY-NC 4.0, jadi penggunaan komersialnya terbatas. Selain itu, akurasi untuk nada awal dan akhir masih lebih rendah pada gaya musik tertentu seperti paduan suara. Jadi, kamu perlu hati-hati saat menggunakannya di genre tersebut.

Kalau kamu pengen nyobain MuScriptor, instalasinya gampang banget. Cukup satu perintah, dan kamu bisa langsung mulai transkripsi. Misalnya, kamu bisa download model default dan langsung stream event nada dari file audio yang kamu punya. Dengan cara ini, kamu bisa dapetin hasil yang cepat dan efisien.

Jadi, siap-siap aja buat eksplorasi dunia musik dengan MuScriptor. Dengan alat ini, kamu bisa bawa musik ke level yang lebih tinggi dan bikin kreasi yang lebih keren. Yuk, coba dan rasakan sendiri kemudahan transkripsi musik ke MIDI!