AntAngelMed: Model Medis 103B Parameter Super Canggih

Kamu pernah dengar model AI yang punya 103 miliar parameter tapi nggak semuanya aktif? Gila banget kan? Nah, ini dia AntAngelMed, model medis open-source yang jago banget tapi hemat energi.

Model ini punya total 103 miliar parameter, tapi cuma 6.1 miliar yang aktif setiap kali dipakai. Caranya pake teknologi MoE (Mixture-of-Experts) yang unik banget. Bayangkan kamu punya tim dokter super lengkap, tapi cuma beberapa yang kerja tiap pasien datang.

Performanya bisa sampe model 40B parameter padahal cuma pakai 6.1B parameter aktif. Cuan gede buat hemat energi! Bahkan bisa nge-generate lebih dari 200 token per detik di hardware H20. Kenceng banget!

Model ini dibangun dari Ling-flash-2.0 pake aturan Ling Scaling Laws. Ada optimasi di semua komponen penting: granularity expert, rasio shared expert, sigmoid routing, dan lain-lain. Semuanya bikin model ini efisiennya bisa 7x lebih baik dari model dense seukuran.

Proses trainingnya pun triple stage. Pertama, pre-training di korpus medis skala besar. Kedua, fine-tuning dengan dataset multi-source. Terakhir, reinforcement learning pake GRPO untuk bikin model lebih empatik dan aman.

Di hardware H20, AntAngelMed lebih kenceng 3x dari model dense 36B parameter. Bahkan dengan output yang panjang, kecepatannya bisa 7x lebih baik lagi. Pake YaRN extrapolation, model ini bisa handle context 128K token. Sangat cocok untuk dokumen medis yang panjang banget.

Benchmarksnya juga nggak main-main. Di HealthBench, AntAngelMed jadi nomor satu di antara model open-source dan bahkan melebihi beberapa model proprietary. Di MedAIBench dan MedBench juga jadi juara.

Praktisnya, kamu bisa pakai model ini buat bantu diagnosis, jawab pertanyaan medis, atau bahkan jadi asisten virtual di rumah sakit. Modelnya open-source dengan lisensi Apache 2.0, jadi siapa aja bisa pakai dan modifikasi.

Yang paling keren, model ini bisa di-quantize ke FP8 dan pake EAGLE3 optimization buat throughput yang lebih lagi. Cocok banget buat aplikasi kesehatan yang butuh performa tinggi tapi hemat resource.