
Bergabunglah dengan buletin harian dan mingguan kami untuk mendapatkan pembaruan terkini dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari Lebih Lanjut
MiniMax mungkin saat ini paling dikenal di AS sebagai perusahaan Singapura di belakang Hailuo, model video AI generatif resolusi tinggi yang realistis yang bersaing dengan Runway, Sora dari OpenAI, dan Dream Machine dari Luma AI.
Namun perusahaan ini memiliki lebih banyak trik: hari ini, misalnya, mereka mengumumkan peluncuran dan open source seri MiniMax-01, rangkaian model baru yang dibuat untuk menangani konteks ultra-panjang dan meningkatkan pengembangan agen AI.
Seri ini mencakup MiniMax-Text-01, model bahasa besar dasar (LLM), dan MiniMax-VL-01, model multi-modal visual.
Jendela konteks yang sangat besar
MiniMax-Text-o1, menjadi perhatian khusus karena mengaktifkan hingga 4 juta token di jendela konteksnya — setara dengan jumlah buku di perpustakaan kecil. Jendela konteks adalah berapa banyak informasi yang dapat ditangani LLM dalam satu pertukaran input/output, dengan kata-kata dan konsep direpresentasikan sebagai “token” numerik, abstraksi matematis internal LLM dari data yang dilatihnya.
Dan, meskipun Google sebelumnya memimpin dengan model Gemini 1.5 Pro dan jendela konteks 2 juta token, MiniMax menggandakannya secara signifikan.
Seperti yang diposting MiniMax di akun resmi X hari ini: “MiniMax-01 secara efisien memproses hingga 4 juta token — 20 hingga 32 kali lipat kapasitas model terkemuka lainnya. Kami yakin MiniMax-01 siap mendukung antisipasi lonjakan aplikasi terkait agen di tahun mendatang, karena agen semakin membutuhkan kemampuan penanganan konteks yang lebih luas dan memori yang berkelanjutan.”
Model-model tersebut sekarang tersedia untuk diunduh di Hugging Face dan Github di bawah lisensi MiniMax khusus, bagi pengguna untuk mencoba langsung di Hailuo AI Chat (pesaing ChatGPT/Gemini/Claude), dan melalui antarmuka pemrograman aplikasi (API) MiniMax, di mana ketiga- pengembang pihak dapat menautkan aplikasi unik mereka ke mereka.
MiniMax menawarkan API untuk pemrosesan teks dan multi-modal dengan harga bersaing:
- $0,2 per 1 juta token masukan
- $1,1 per 1 juta token keluaran
Sebagai perbandingan, GPT-4o OpenAI berharga $2,50 per 1 juta token masukan melalui API-nya, 12,5X lebih mahal.
MiniMax juga telah mengintegrasikan kerangka kerja campuran ahli (MoE) dengan 32 ahli untuk mengoptimalkan skalabilitas. Desain ini menyeimbangkan efisiensi komputasi dan memori sekaligus mempertahankan kinerja kompetitif pada tolok ukur utama.
Memulai terobosan baru dengan Arsitektur Lightning Attention
Inti dari MiniMax-01 adalah mekanisme Lightning Attention, sebuah alternatif inovatif untuk arsitektur transformator.
Desain ini secara signifikan mengurangi kompleksitas komputasi. Model tersebut terdiri dari 456 miliar parameter, dengan 45,9 miliar diaktifkan per inferensi.
Tidak seperti arsitektur sebelumnya, Lightning Attention menggunakan campuran lapisan SoftMax linier dan tradisional, sehingga mencapai kompleksitas mendekati linier untuk input panjang. SoftMax, bagi saya seperti saya yang baru mengenal konsep ini, adalah transformasi angka masukan menjadi penjumlahan probabilitas hingga 1, sehingga LLM dapat memperkirakan arti masukan mana yang paling mungkin.
MiniMax telah membangun kembali kerangka pelatihan dan inferensinya untuk mendukung arsitektur Lightning Attention. Peningkatan utama meliputi:
- Optimalisasi komunikasi menyeluruh KLH: Mengurangi overhead komunikasi antar-GPU.
- Varlen menarik perhatian: Meminimalkan pemborosan komputasi untuk pemrosesan urutan panjang.
- Implementasi kernel yang efisien: Kernel CUDA yang disesuaikan meningkatkan kinerja Lightning Attention.
Kemajuan ini membuat model MiniMax-01 dapat diakses untuk aplikasi dunia nyata, dengan tetap menjaga keterjangkauan.
Kinerja dan Tolok Ukur
Pada tolok ukur teks umum dan multi-modal, MiniMax-01 menyaingi model papan atas seperti GPT-4 dan Claude-3.5, dengan hasil yang sangat kuat pada evaluasi konteks panjang. Khususnya, MiniMax-Text-01 mencapai akurasi 100% pada tugas Needle-In-A-Haystack dengan konteks 4 juta token.
Model ini juga menunjukkan penurunan kinerja minimal seiring bertambahnya panjang input.
MiniMax merencanakan pembaruan rutin untuk memperluas kemampuan model, termasuk peningkatan kode dan multimodal.
Perusahaan memandang open source sebagai langkah menuju pembangunan kemampuan AI dasar untuk lanskap agen AI yang terus berkembang.
Mengingat tahun 2025 diprediksi menjadi tahun transformatif bagi agen AI, kebutuhan akan memori yang berkelanjutan dan komunikasi antar agen yang efisien semakin meningkat. Inovasi MiniMax dirancang untuk menjawab tantangan ini.
Terbuka untuk kolaborasi
MiniMax mengajak pengembang dan peneliti untuk mengeksplorasi kemampuan MiniMax-01. Selain open source, timnya juga menerima saran teknis dan pertanyaan kolaborasi di model@minimaxi.com.
Dengan komitmennya terhadap AI yang hemat biaya dan terukur, MiniMax memposisikan dirinya sebagai pemain kunci dalam membentuk era agen AI. Seri MiniMax-01 menawarkan peluang menarik bagi pengembang untuk mendorong batas-batas pencapaian AI dalam konteks panjang.