KAT-Coder-V2.5: Model Koding Gokil dari KwaiKAT, Apa Sih?

Baru-baru ini, tim KwaiKAT dari Kuaishou meluncurkan KAT-Coder-V2.5, model koding yang dirancang untuk bekerja di dalam repositori yang nyata dan bisa dieksekusi. Jadi, bukan sekadar menghasilkan kode satu kali doang, tapi bisa beroperasi dengan lebih baik di lingkungan yang beneran. Model ini bisa diakses lewat StreamLake, dan ada juga versi open-weight yang dirilis terpisah di Hugging Face.

Yang bikin KAT-Coder-V2.5 ini keren adalah kemampuannya untuk membangun lingkungan koding yang bener-bener bisa menjalankan tes. Tim ini mengembangkan AutoBuilder yang berhasil meningkatkan tingkat keberhasilan konstruksi lingkungan dari 16,5% jadi 57,2%. Gila, kan? Mereka udah bikin lebih dari 100.000 lingkungan yang bisa diverifikasi dan mencakup 12 bahasa pemrograman.

Nah, cara kerja KAT-Coder-V2.5 ini juga unik. Mereka menganggap tugas yang bisa diverifikasi sebagai triplet yang terdiri dari deskripsi tugas yang tepat, lingkungan repositori yang bisa dieksekusi, dan serangkaian tes validasi. Patch itu dianggap benar hanya jika berhasil melewati semua tes ini. Dengan kata lain, mereka ngga main-main dalam memastikan setiap langkah koding itu valid.

Satu hal yang menarik, tim ini juga melakukan audit terhadap infrastruktur sandbox mereka. Ternyata, sekitar 16% dari jalur RL yang gagal disebabkan oleh masalah di sandbox, bukan karena kebijakan modelnya. Setelah mereka memperbaiki masalah ini, tingkat kesalahan feedback dari sandbox turun dari sekitar 16% menjadi di bawah 2%. Ini menunjukkan betapa pentingnya infrastruktur dalam proses pengembangan AI.

KAT-Coder-V2.5 juga berhasil mencetak skor tinggi di berbagai benchmark. Di PinchBench, model ini mencetak 94,9, mengalahkan model lain seperti Opus yang hanya 93,5. Di SWE-Bench Pro, mereka ada di posisi kedua dengan 65,2. Ini menunjukkan bahwa KAT-Coder-V2.5 bukan hanya sekadar model biasa, tapi punya performa yang bisa diandalkan.

Jadi, apa yang bisa kita ambil dari semua ini? Pertama, KAT-Coder-V2.5 menunjukkan bahwa masalah dalam coding bukan hanya soal skala model, tapi juga infrastruktur yang mendukungnya. Kedua, dengan lebih dari 100.000 lingkungan verifikasi, model ini bisa jadi alat yang sangat berguna buat para developer. Dan terakhir, audit yang dilakukan menunjukkan bahwa perbaikan infrastruktur bisa bikin performa model jadi jauh lebih baik.