NVIDIA Optimalkan DGX Spark untuk Mempercepat Pemrosesan Model AI Campuran Pakar

NVIDIA memperkenalkan serangkaian optimalisasi perangkat lunak untuk meningkatkan kecepatan pemrosesan model kecerdasan buatan berbasis Mixture of Experts (MoE) pada DGX Spark. Melalui pembahasan teknis yang dipublikasikan pada 27 Oktober 2026, perusahaan menjelaskan tiga pendekatan utama, yaitu Humming MXFP4, kuantisasi FP8 pada LM head, dan speculative decoding menggunakan NEXTN. Pengujian pada model Ling-3.0-flash menunjukkan peningkatan kecepatan generasi token hingga 42,5 persen dalam evaluasi GSM8K, disertai penurunan latensi rata-rata sebesar 24,5 persen. Inovasi TEKNOLOGI ini menjadi perkembangan penting bagi pengembang yang membutuhkan pemrosesan model AI berukuran besar melalui komputer desktop dengan efisiensi lebih baik.

Peningkatan Performa NVIDIA DGX Spark untuk Model Kecerdasan Buatan

NVIDIA DGX Spark merupakan perangkat komputasi berukuran ringkas yang mendukung model AI yang dirancang menangani berbagai pekerjaan AI. Perangkat tersebut menggunakan arsitektur NVIDIA Grace Blackwell serta menyediakan memori terpadu sebesar 128 GB. Dengan dukungan perangkat keras tersebut, pengembang dapat menjalankan sejumlah model besar secara lokal. Namun demikian, kinerja model juga dipengaruhi pengaturan inferensi.

Dalam pengembangan terbaru, NVIDIA berfokus meningkatkan inferensi model MoE. Sistem AI campuran pakar memiliki banyak komponen komputasi yang disebut experts dan memilih sejumlah expert berdasarkan input yang diproses. Pendekatan tersebut memungkinkan kapasitas model menjadi sangat besar tanpa memproses setiap pakar untuk setiap token. Meskipun begitu, perpindahan bobot model dari memori tetap membutuhkan sumber daya.

Penyebab Pemrosesan Token Melambat pada Model Mixture of Experts

Dalam meneliti penyebab keterbatasan kecepatan, NVIDIA melakukan pengujian pada Ling-3.0-flash dari Inclusion AI. Model tersebut dibangun dengan kapasitas 124 miliar parameter, tetapi memerlukan aktivasi sekitar 5,1 miliar parameter ketika menghasilkan satu token. Model tersebut turut menggunakan sebanyak 512 pakar yang dapat dipilih pada tiap lapisan MoE. Ketika sistem menjalankan lapisan MoE, delapan expert terarah bekerja dengan satu shared expert. Konfigurasi pakar tersebut memungkinkan penggunaan parameter secara selektif.

Pengukuran performa yang dilakukan memperlihatkan hambatan utama pada pembacaan bobot model. Dalam kondisi tersebut, hambatan bukan semata berasal dari kemampuan komputasi. Proses inferensi membutuhkan akses terhadap data numerik untuk menjalankan lapisan model. Operasi yang mendapat perhatian utama adalah pemrosesan routed experts serta LM head. Karena itu, NVIDIA memanfaatkan beberapa metode peningkatan efisiensi inferensi. Tujuannya adalah meningkatkan throughput tanpa sekadar menambah perangkat keras.

Humming MXFP4 Mempercepat Komputasi Pakar pada Model AI

Optimalisasi pertama adalah penggantian backend pakar dengan Humming. Pada konfigurasi awal, Ling-3.0-flash menggunakan backend FlashInfer MXFP4. Tim pengembang selanjutnya memilih kernel Humming untuk menjalankan operasi tersebut. Teknologi tersebut mengandalkan NVIDIA CUDA Runtime Compilation atau NVRTC untuk menghasilkan kernel yang disesuaikan dengan kebutuhan model. Berkat penyesuaian terhadap bentuk operasi, pemrosesan dapat dioptimalkan bagi karakteristik Ling-3.0-flash. Nilai tambah pendekatan ini adalah pengurangan pekerjaan kompilasi yang tidak diperlukan.

Dalam pengujian sintetis, NVIDIA menjalankan workload dengan 32K token input serta hasil generasi sepanjang 2K token pada ukuran batch sebesar satu. Pada konfigurasi sebelum optimalisasi, kecepatan mencapai 36,09 token per detik. Setelah Humming diaktifkan, pemrosesan mencapai 39,45 token per detik. Hasil pengujian tersebut menggambarkan percepatan sekitar 9,3 persen. Walaupun peningkatannya tidak mencapai puluhan persen, pembaruan kernel memberikan kontribusi terhadap peningkatan performa gabungan.

NVIDIA Optimalkan LM Head untuk Mempercepat Generasi Token

Langkah peningkatan performa berikutnya menargetkan komponen pembentukan skor kosakata. Komponen proyeksi akhir ini berfungsi sebagai sistem penentu peluang keluaran berdasarkan kosakata. Dalam Ling-3.0-flash, komponen output menggunakan 157.184 entri kosakata dengan hidden dimension berukuran 2.560. Sebelum optimalisasi dilakukan, lapisan tersebut menggunakan representasi BF16. Karena bobot perlu dibaca untuk setiap token, volume pembacaan memori menjadi cukup besar.

Sebagai solusi terhadap beban memori, NVIDIA mengubah representasi LM head menuju FP8 ketika pemuatan model. Metode pengurangan presisi ini menekan volume akses memori pada komponen proyeksi kosakata. Dengan mengganti BF16 menjadi FP8, volume pembacaan bobot lapisan tersebut berkurang sekitar setengahnya. Ketika digabungkan dengan Humming, throughput meningkat menjadi 43,94 token per detik dalam pengujian sintetis yang sama. Angka tersebut menunjukkan peningkatan 21,7 persen dibandingkan baseline.

Speculative Decoding NEXTN Mempercepat Inferensi Model Ling-3.0-flash

Optimalisasi terakhir yang diuji adalah multi-token prediction atau MTP speculative decoding menggunakan NEXTN. Jika dibandingkan dengan optimalisasi kernel serta memori, metode ini berfokus mengurangi jumlah langkah decoding. Ling-3.0-flash memiliki mekanisme NEXTN yang dapat berfungsi sebagai model draft. Dalam implementasi tersebut, mekanisme spekulatif menghasilkan tiga token awal kemudian menilai beberapa kandidat melalui satu putaran verifikasi. Prediksi yang diterima oleh model utama menjadi bagian dari respons yang dihasilkan. Strategi verifikasi ini memungkinkan pemrosesan lebih efisien apabila tingkat penerimaan token memadai.

Berdasarkan workload buatan yang digunakan, kombinasi ketiga optimalisasi meningkatkan throughput hingga 102,88 token per detik. Performa sintetis tersebut setara dengan kenaikan 185,1 persen dari baseline. Walaupun angka tersebut terlihat sangat besar, peningkatan performa tidak berlaku sama untuk semua workload. Untuk mendapatkan gambaran lebih realistis, NVIDIA menggunakan seluruh 1.319 pertanyaan GSM8K. Dalam eksperimen tersebut, model menghasilkan 53,89 token per detik dibandingkan 37,81 sebelumnya. Berdasarkan perbandingan tersebut, keuntungan performa sebesar 42,5 persen berhasil diperoleh.

Tidak hanya meningkatkan throughput, sistem pemrosesan yang telah disempurnakan menurunkan waktu penyelesaian permintaan. Pada seluruh pertanyaan yang diuji, durasi penyelesaian rata-rata menurun hingga 11,49 detik dari 15,21 detik. Penurunan waktu pemrosesan tersebut setara dengan pengurangan 24,5 persen. Dalam pengukuran akurasi, hasil ketepatan berada pada 96,82 persen dari baseline 96,89 persen. Menurut evaluasi statistik perusahaan, tidak ditemukan perubahan akurasi yang signifikan secara statistik. Walaupun hasilnya positif, penerapan seluruh metode membutuhkan pemeriksaan kompatibilitas, karena pengaturan LM head yang keliru dapat menurunkan performa.

Manfaat Humming FP8 dan NEXTN bagi Pengembangan Kecerdasan Buatan

Pengembangan optimalisasi NVIDIA DGX Spark memperlihatkan manfaat optimalisasi perangkat lunak dalam pengembangan AI lokal dengan kebutuhan memori tinggi. Dengan penggunaan kernel Humming, beban operasi MoE berhasil dikurangi. Di sisi pengelolaan memori, kuantisasi FP8 pada LM head meningkatkan efisiensi akses memori. Penerapan speculative decoding melengkapi kedua pendekatan tersebut melalui verifikasi keluaran secara berkelompok. Evaluasi benchmark mencatat percepatan token hingga 42,5 persen dalam skenario GSM8K yang digunakan. Walaupun pencapaian tersebut menjanjikan, pengembang tetap perlu menguji workload masing-masing. Perkembangan TEKNOLOGI pemrosesan AI berpotensi membuka peluang pengembangan aplikasi lebih responsif. Bagaimana pandangan Anda mengenai peningkatan performa AI melalui Humming dan speculative decoding? Sampaikan pengalaman Anda mengenai masa depan pemrosesan kecerdasan buatan pada perangkat desktop.