CasaNinesSegovia – Pada hari ini, Liquid AI resmi meluncurkan versi terbaru dari model LFM2.5 yang dikenal dengan sebutan QAD Q4_0 GGUFs. Peluncuran ini mencakup enam checkpoint yang telah diperbarui untuk berbagai varian model LFM2.5, yang dirancang untuk meningkatkan performa sekaligus menjaga efisiensi memori dan kecepatan tanpa mengorbankan kualitas.
Peningkatan Via Quantization-Aware Distillation
QAD Q4_0 GGUFs merupakan hasil dari proses pemodelan yang dikenal sebagai Quantization-Aware Distillation (QAD). Proses ini bertujuan untuk mentransfer pengetahuan dari model guru yang memiliki presisi tinggi ke model siswa yang terkuantisasi. Metode ini memungkinkan pengembang untuk menjalankan model LFM2.5 di tingkat Q4_0 baik dari segi memori maupun kecepatan, sembari meminimalkan degradasi kualitas yang biasanya dihadapi pada pengimplementasian kuantisasi.
Menurut informasi yang tersedia, model QAD Q4_0 dapat memulihkan hingga 97% dari akurasi BF16 rata-rata yang hilang akibat proses kuantisasi. Ini menunjukkan peningkatan yang signifikan dibandingkan dengan checkpoint yang tidak teroptimalkan.
Perbandingan Benchmark dan Performansi
Pihak Liquid AI juga melakukan pengujian terhadap keempat model yang baru diluncurkan, yaitu LFM2.5-230M, LFM2.5-350M, LFM2.5-1.2B-Instruct, dan LFM2.5-2.6B. Pengujian dilakukan menggunakan serangkaian benchmark yang mencakup kemampuan penalaran, pemenuhan instruksi, serta penggunaan alat. Benchmark ini melibatkan beberapa tes seperti GPQA Diamond, MMLU-Pro, IFEval, dan IFBench.
Hasil yang diperoleh menunjukkan bahwa QAD memberikan peningkatan yang substansial pada checkpoint Q4_0, dengan model-model tersebut mempertahankan 96% hingga 97% dari performa dasar BF16. Ini menjadi indikator bahwa meskipun melalui proses pengurangan ukuran, kualitas belajar mesin tetap terjaga.
Kecepatan dan Ukuran dalam Penggunaan Perangkat Nyata
Kecepatan dan ukuran dari model baru ini juga diukur ketika diimplementasikan pada perangkat keras nyata. Empat target pengujian meliputi MacBook Pro, NucBox EVO-X2, Samsung Galaxy S26 Ultra, dan Raspberry Pi 5. Dari hasil pengujian, model QAD Q4_0 menunjukkan bahwa ukuran memori dan kecepatan meskipun lebih rendah, tetap memberikan performa yang sebanding dengan model-model besar lainnya dalam kategori yang sama.
Model LFM2.5-230M dan LFM2.5-350M pada checkpoint QAD Q4_0 mampu mencapai hasil yang sebanding dengan kualitas Q5_K_M, sementara model LFM2.5-1.2B dan LFM2.5-2.6B mampu mempertahankan throughput yang lebih tinggi hingga 14%. Hal ini menunjukkan bahwa Liquid AI berfokus pada efisiensi dan kinerja tinggi dalam konteks penggunaan sumber daya yang terbatas.
Cara Penggunaan QAD GGUFs
Pembaca yang tertarik untuk menjajal QAD GGUFs dapat menggunakan file tersebut dengan llama.cpp atau runtime lain yang mendukung artefak GGUF Q4_0. Proses penginstalan dan penggunaan terlihat cukup sederhana dan diperuntukkan bagi pengembang yang ingin mengeksplorasi potensi model baru ini.
Kesimpulan
Peluncuran QAD Q4_0 GGUFs oleh Liquid AI merupakan langkah penting dalam pengembangan teknologi pembelajaran mesin. Dengan fokus pada efisiensi, kecepatan, dan akurasi, model-model ini diharapkan dapat berkontribusi besar baik dalam penelitian maupun aplikasinya di dunia industri. Mempertahankan kualitas tinggi meski dalam ukuran yang lebih kecil menunjukkan bahwa inovasi dalam pembelajaran mesin semakin matang dan siap digunakan dalam berbagai konteks.