Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Pembuat model AI Prancis yang didanai dengan baik, Mistral, secara konsisten meninju di atas bobotnya sejak debutnya model yayasan open source yang kuat pada musim gugur 2023-tetapi mengambil beberapa kritik di antara pengembang pada X baru-baru ini untuk rilis terakhir dari model bahasa dan komitmen besar yang disebut Medium 3, yang beberapa orang memandang sebagai pengkhianatan dan komitmen sumber terbuka.
(Ingatlah bahwa model open source dapat diambil dan diadaptasi secara bebas oleh siapa saja, sedangkan model berpemilik harus dibayar dan opsi kustomisasi mereka lebih terbatas dan dikendalikan oleh pembuat model.)
Tetapi hari ini, Mistral kembali dan menganjurkan ke komunitas AI open source, dan pengembangan perangkat lunak bertenaga AI pada khususnya, secara khusus. Perusahaan telah bekerja sama dengan startup open source semua tangan AI, pencipta Open Devin untuk merilis Devstral, model bahasa open-source baru dengan 24 juta parameter-jauh lebih kecil daripada banyak saingan yang modelnya berada dalam multibillion, dan dengan demikian, membutuhkan daya komputasi yang jauh lebih sedikit sehingga dapat dijalankan pada laptop-tujuan yang dibangun untuk agen AI.
Tidak seperti LLM tradisional yang dirancang untuk penyelesaian kode bentuk pendek atau pembuatan fungsi yang terisolasi, Devstral dioptimalkan untuk bertindak sebagai agen rekayasa perangkat lunak penuh-mampu memahami konteks di seluruh file, menavigasi basis kode besar, dan menyelesaikan masalah dunia nyata.
Model ini sekarang tersedia secara bebas di bawah lisensi APACHE 2.0 permisif, yang memungkinkan pengembang dan organisasi untuk menggunakan, memodifikasi, dan mengkomersialkannya tanpa batasan.
“Kami ingin merilis sesuatu yang terbuka untuk pengembang dan komunitas penggemar – sesuatu yang dapat mereka jalankan secara lokal, pribadi, dan memodifikasi seperti yang mereka inginkan,” kata Baptiste Rozière, ilmuwan riset di Mistral AI. “Ini dirilis di bawah Apache 2.0, sehingga orang dapat melakukan apa pun yang mereka inginkan dengannya.”
Membangun di atas kode
Devstral mewakili langkah selanjutnya dalam portofolio Mistral yang berkembang dari model yang berfokus pada kode, mengikuti keberhasilan sebelumnya dengan seri kodestral.
Pertama kali diluncurkan pada Mei 2024, Codestral adalah perampokan awal Mistral ke LLMS pengkodean khusus. Itu adalah model 22 miliar-parameter yang dilatih untuk menangani lebih dari 80 bahasa pemrograman dan menjadi sangat dihormati karena kinerjanya dalam tugas generasi kode dan penyelesaian.
Popularitas dan kekuatan teknis model ini menyebabkan iterasi yang cepat, termasuk peluncuran kodestral-Mamba-versi yang ditingkatkan yang dibangun di atas arsitektur Mamba-dan yang terbaru, Codestral 25.01, yang telah menemukan adopsi di antara pengembang plugin IDE dan pengguna perusahaan yang mencari model frekuensi tinggi, lerat rendah.
Momentum di sekitar Codestral membantu membangun Mistral sebagai pemain kunci dalam ekosistem model-model dan meletakkan dasar untuk pengembangan Devstral-memperluas dari penyelesaian cepat ke eksekusi tugas agen penuh.
Mengungguli model yang lebih besar di tolok ukur SWE teratas
Devstral mencapai skor 46,8% pada benchmark terverifikasi SWE-Bench, dataset dari 500 masalah gitub dunia nyata divalidasi secara manual untuk kebenaran.
Ini menempatkannya di depan semua model sumber terbuka yang sebelumnya dirilis dan di depan beberapa model tertutup, termasuk GPT-4.1-Mini, yang dilampaui oleh lebih dari 20 poin persentase.
“Saat ini, dengan cukup jauh model terbuka terbaik untuk swe-bench diverifikasi dan untuk agen kode,” kata Rozière. “Dan itu juga model yang sangat kecil – hanya 24 miliar parameter – bahwa Anda dapat menjalankan secara lokal, bahkan di MacBook.”
Bandingkan Devstral dengan model tertutup dan terbuka yang dievaluasi di bawah perancah apa pun-kami menemukan bahwa Devstral mencapai kinerja yang jauh lebih baik daripada sejumlah alternatif sumber tertutup, “tulis Sophia Yang, Ph.D., kepala hubungan pengembang di Mistral AI, pada jejaring sosial X.” Misalnya, Devstral melampaui GPT baru-4.1-mini oleh 20-Miniin lebih dari 20%.
Model ini di -finetuned dari Mistral Small 3.1 menggunakan Teknik Pembelajaran Penguatan dan Keselamatan Keselamatan.
“Kami mulai dari model dasar yang sangat baik dengan kontrol pohon kecil Mistral, yang sudah berkinerja baik,” kata Rozière. “Lalu kami mengkhususkannya menggunakan teknik pembelajaran keselamatan dan penguatan untuk meningkatkan kinerjanya di SWE-Bench.”
Dibangun untuk era agen
Devstral bukan hanya model pembuatan kode-ini dioptimalkan untuk integrasi ke dalam kerangka kerja agen seperti OpenHands, SWE-agent, dan Opendevin.
Perancah ini memungkinkan Devstral untuk berinteraksi dengan kasus uji, menavigasi file sumber, dan menjalankan tugas multi-langkah di seluruh proyek.
“Kami merilisnya dengan Opendevin, yang merupakan perancah untuk agen kode,” kata Rozière. “Kami membangun model, dan mereka membangun perancah – satu set petunjuk dan alat yang dapat digunakan model, seperti backend untuk model pengembang.”
Untuk memastikan ketahanan, model ini diuji di berbagai repositori dan alur kerja internal.
“Kami sangat berhati-hati untuk tidak overfit ke swe-bench,” Rozière menjelaskan. “Kami hanya berlatih data dari repositori yang tidak dikloning dari set-Bench set dan memvalidasi model di berbagai kerangka kerja yang berbeda.”
Dia menambahkan bahwa Devstral dogfooded mistral secara internal untuk memastikannya dengan baik untuk tugas -tugas baru yang tidak terlihat.
Penyebaran yang efisien dengan lisensi terbuka permisif – bahkan untuk proyek perusahaan dan komersial
Arsitektur Compact 24B Devstral menjadikannya praktis bagi pengembang untuk berjalan secara lokal, baik pada satu GPU RTX 4090 atau Mac dengan 32GB RAM. Ini membuatnya menarik untuk kasus penggunaan privasi-sensitif dan penyebaran tepi.
“Model ini ditargetkan untuk para penggemar dan orang -orang yang peduli dengan menjalankan sesuatu secara lokal dan pribadi – sesuatu yang dapat mereka gunakan bahkan pada pesawat tanpa internet,” kata Rozière.
Di luar kinerja dan portabilitas, lisensi Apache 2.0 -nya menawarkan proposisi yang menarik untuk aplikasi komersial. Lisensi ini memungkinkan penggunaan, adaptasi, dan distribusi yang tidak terbatas-bahkan untuk produk-produk berpemilik-menjadikan Devstral opsi gesekan rendah untuk adopsi perusahaan.
Spesifikasi terperinci dan instruksi penggunaan tersedia di kartu model Devstral-Small-2505 pada wajah peluk.
Model ini memiliki jendela konteks 128.000 token dan menggunakan Tekken Tokenizer dengan 131.000 kosa kata.
Ini mendukung penyebaran melalui semua platform open source utama termasuk memeluk Wajah, Ollama, Kaggle, LM Studio, dan ketidaksukaan, dan bekerja dengan baik dengan perpustakaan seperti VLLM, Transformers, dan Inference Mistral.
Tersedia melalui API atau secara lokal
Devstral dapat diakses melalui Mistral's LE Platforme API (Antarmuka Pemrograman Aplikasi) dengan nama model Devstral-Small-2505, dengan harga ditetapkan pada token input $ 0,10 per juta dan token output $ 0,30 per juta.
Bagi mereka yang menggunakan lokal, dukungan untuk kerangka kerja seperti OpenHands memungkinkan integrasi dengan basis kode dan alur kerja agen di luar kotak.
Rozière membagikan bagaimana ia memasukkan Devstral dalam aliran pengembangannya sendiri: “Saya menggunakannya sendiri. Anda dapat memintanya untuk melakukan tugas -tugas kecil, seperti memperbarui versi paket atau memodifikasi skrip tokenisasi. Ia menemukan tempat yang tepat dalam kode Anda dan membuat perubahan. Ini sangat bagus untuk digunakan.”
Lebih banyak yang akan datang
Sementara Devstral saat ini dirilis sebagai pratinjau penelitian, Mistral dan All Hands AI sudah mengerjakan model tindak lanjut yang lebih besar dengan kemampuan yang diperluas. “Akan selalu ada celah antara model yang lebih kecil dan lebih besar,” Rozière mencatat, “tapi kami sudah jauh dalam menjembatani itu. Model -model ini sudah berkinerja sangat kuat, bahkan dibandingkan dengan beberapa pesaing yang lebih besar.”
Dengan tolok ukur kinerjanya, lisensi permisif, dan desain agen, posisi Devstral itu sendiri bukan hanya sebagai alat pembuatan kode – tetapi sebagai model dasar untuk membangun sistem rekayasa perangkat lunak otonom.
