Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Liquid AI, startup model yayasan yang berbasis di Boston yang diputar keluar dari Massachusetts Institute of Technology (MIT), berusaha untuk memindahkan industri teknologi di luar ketergantungannya pada arsitektur transformator yang mendasari model bahasa besar (LLM) yang paling populer seperti Seri GPT Openai dan keluarga Gemini Google.
Kemarin, perusahaan mengumumkan “Hyena Edge,” model multi-hibrida berbasis konvolusi baru yang dirancang untuk smartphone dan perangkat tepi lainnya sebelum konferensi internasional tentang Representasi Pembelajaran (ICLR) 2025.
Konferensi ini, salah satu acara utama untuk penelitian pembelajaran mesin, berlangsung tahun ini di Wina, Austria.
Model berbasis konvolusi baru menjanjikan AI yang lebih cepat, lebih efisien memori di tepi
Hyena Edge direkayasa untuk mengungguli baseline transformator yang kuat pada efisiensi komputasi dan kualitas model bahasa.
Dalam tes dunia nyata pada smartphone Ultra Samsung Galaxy S24, model ini memberikan latensi yang lebih rendah, jejak memori yang lebih kecil, dan hasil tolok ukur yang lebih baik dibandingkan dengan model transformator ++ yang cocok dengan parameter.
Arsitektur baru untuk era baru Edge AI
Tidak seperti kebanyakan model kecil yang dirancang untuk penyebaran seluler-termasuk SmollM2, model PHI, dan Llama 3.2 1B-Hyena Edge menjauh dari desain yang sangat berat. Sebaliknya, secara strategis menggantikan dua pertiga dari operator perhatian yang dikelompokkan (GQA) dengan konvolusi yang terjaga keamanannya dari keluarga Hyena-y.
Arsitektur baru ini adalah hasil dari sintesis AI cairan kerangka kerja arsitektur (STAR) yang disesuaikan, yang menggunakan algoritma evolusioner untuk secara otomatis merancang model punggung model dan diumumkan pada bulan Desember 2024.
Star mengeksplorasi berbagai komposisi operator, yang berakar pada teori matematika dari sistem input linier yang bervariasi, untuk mengoptimalkan beberapa tujuan khusus perangkat keras seperti latensi, penggunaan memori, dan kualitas.
Membandingkan langsung pada perangkat keras konsumen
Untuk memvalidasi kesiapan dunia nyata Hyena Edge, tes AI Liquid RAN secara langsung di smartphone Ultra Samsung Galaxy S24.
Hasil menunjukkan bahwa hyena edge mencapai latensi prefill dan decode lebih cepat 30% lebih cepat dibandingkan dengan transformator ++ mitra, dengan keunggulan kecepatan meningkat pada panjang urutan yang lebih lama.
Latensi prefill pada panjang urutan pendek juga melampaui garis dasar transformator-metrik kinerja kritis untuk aplikasi on-perangkat yang responsif.
Dalam hal memori, Hyena Edge secara konsisten menggunakan lebih sedikit RAM selama inferensi di semua panjang urutan yang diuji, memposisikannya sebagai kandidat yang kuat untuk lingkungan dengan kendala sumber daya yang ketat.
Mengungguli transformator pada tolok ukur bahasa
Hyena Edge dilatih pada 100 miliar token dan dievaluasi di seluruh tolok ukur standar untuk model bahasa kecil, termasuk Wikuxt, Lambada, Piqa, Hellaswag, Winogrande, Arc-Easy, dan Arc-Challenge.
Pada setiap tolok ukur, Hyena Edge mencocokkan atau melampaui kinerja model GQA-Transformer ++, dengan peningkatan nyata dalam skor kebingungan pada Wikuxt dan Lambada, dan tingkat akurasi yang lebih tinggi pada PIQA, Hellaswag, dan Winogrande.
Hasil ini menunjukkan bahwa keuntungan efisiensi model tidak datang dengan biaya kualitas prediktif-pertukaran umum untuk banyak arsitektur yang dioptimalkan ke tepi.
Hyena Edge Evolution: Pandangan pada tren kinerja dan operator
Bagi mereka yang mencari penyelaman yang lebih dalam ke dalam proses pengembangan Hyena Edge, walkthrough video baru -baru ini memberikan ringkasan visual yang menarik dari evolusi model.
Video ini menyoroti bagaimana metrik kinerja utama – termasuk latensi prefill, latensi decode, dan konsumsi memori – ditingkatkan dibandingkan generasi penyempurnaan arsitektur yang berurutan.
Ini juga menawarkan tampilan di belakang layar yang langka pada bagaimana komposisi internal Hyena Edge bergeser selama pengembangan. Pemirsa dapat melihat perubahan dinamis dalam distribusi jenis operator, seperti mekanisme perhatian-diri (SA), berbagai varian hyena, dan lapisan Swiglu.
Pergeseran ini menawarkan wawasan tentang prinsip -prinsip desain arsitektur yang membantu model mencapai tingkat efisiensi dan akurasi saat ini.
Dengan memvisualisasikan pertukaran dan dinamika operator dari waktu ke waktu, video ini memberikan konteks yang berharga untuk memahami terobosan arsitektur yang mendasari kinerja Hyena Edge.
Rencana sumber terbuka dan visi yang lebih luas
Liquid AI mengatakan berencana untuk open-source serangkaian model fondasi cair, termasuk Hyena Edge, selama beberapa bulan mendatang. Tujuan perusahaan adalah untuk membangun sistem AI tujuan umum yang mampu dan efisien yang dapat skala dari pusat data cloud hingga ke perangkat tepi pribadi.
Debut Hyena Edge juga menyoroti potensi yang semakin besar untuk arsitektur alternatif untuk menantang transformer dalam pengaturan praktis. Dengan perangkat seluler yang semakin diperkirakan akan menjalankan beban kerja AI yang canggih secara asli, model seperti Hyena Edge dapat menetapkan garis dasar baru untuk apa yang dapat dicapai oleh AI yang dioptimalkan oleh Edge.
Keberhasilan Hyena Edge – baik dalam metrik kinerja mentah dan dalam menampilkan desain arsitektur otomatis – memposisikan AI cair sebagai salah satu pemain yang muncul untuk ditonton dalam lanskap model AI yang berkembang.
