Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Sebuah tim peneliti di Zoom Communications telah mengembangkan teknik terobosan yang dapat secara dramatis mengurangi biaya dan sumber daya komputasi yang diperlukan bagi sistem AI untuk mengatasi masalah penalaran yang kompleks, berpotensi mengubah bagaimana perusahaan menggunakan AI pada skala.
Metode, yang disebut rantai draft (COD), memungkinkan model bahasa besar (LLM) untuk memecahkan masalah dengan kata -kata minimal – menggunakan hanya 7,6% dari teks yang diperlukan dengan metode saat ini sambil mempertahankan atau bahkan meningkatkan akurasi. Temuan ini diterbitkan dalam sebuah makalah minggu lalu tentang Repositori Penelitian Arxiv.
“Dengan mengurangi verbositas dan fokus pada wawasan kritis, COD cocok dengan atau melampaui COT (rantai-dipikirkan) dalam akurasi sambil menggunakan hanya 7,6% dari token, secara signifikan mengurangi biaya dan latensi di berbagai tugas penalaran,” tulis penulis, yang dipimpin oleh Silei Xu, peneliti di zoom.
Betapa 'lebih sedikit lebih banyak' mengubah penalaran AI tanpa mengorbankan akurasi
COD menarik inspirasi dari bagaimana manusia memecahkan masalah yang kompleks. Daripada mengartikulasikan setiap detail ketika bekerja melalui masalah matematika atau teka -teki logis, orang biasanya mencatat hanya informasi penting dalam bentuk singkat.
“Saat menyelesaikan tugas -tugas kompleks – apakah masalah matematika, menyusun esai atau pengkodean – kami sering mencatat hanya bagian -bagian penting dari informasi yang membantu kami maju,” para peneliti menjelaskan. “Dengan meniru perilaku ini, LLMS dapat fokus pada kemajuan menuju solusi tanpa overhead dari penalaran verbose.”
Tim menguji pendekatan mereka pada berbagai tolok ukur, termasuk penalaran aritmatika (GSM8K), penalaran yang masuk akal (pemahaman tanggal dan pemahaman olahraga) dan penalaran simbolis (tugas flip koin).
Dalam satu contoh yang mencolok di mana CLAUDE 3.5 soneta memproses pertanyaan terkait olahraga, pendekatan COD mengurangi output rata-rata dari 189,4 token menjadi hanya 14,3 token-pengurangan 92,4%-sementara secara bersamaan meningkatkan akurasi dari 93,2% menjadi 97,3%.
Slashing Enterprise AI Biaya: Kasus bisnis untuk penalaran mesin yang ringkas
“Untuk perusahaan yang memproses 1 juta penalaran penalaran setiap bulan, COD dapat memangkas biaya dari $ 3.800 (COT) menjadi $ 760, menghemat lebih dari $ 3.000 per bulan,” peneliti AI Ajith Vallath Prabhakar menulis dalam analisis makalah ini.
Penelitian ini datang pada waktu yang kritis untuk penyebaran AI perusahaan. Ketika perusahaan semakin mengintegrasikan sistem AI canggih ke dalam operasi mereka, biaya komputasi dan waktu respons telah muncul sebagai hambatan yang signifikan untuk adopsi yang luas.
Teknik penalaran canggih saat ini seperti (COT), yang diperkenalkan pada tahun 2022, secara dramatis meningkatkan kemampuan AI untuk memecahkan masalah kompleks dengan memecahnya menjadi penalaran langkah demi langkah. Tetapi pendekatan ini menghasilkan penjelasan panjang yang mengkonsumsi sumber daya komputasi yang substansial dan meningkatkan latensi respons.
“Sifat verbose dari COT yang mendorong menghasilkan overhead komputasi yang substansial, peningkatan latensi dan biaya operasional yang lebih tinggi,” tulis Prabhakar.
Apa yang membuat COD sangat penting bagi perusahaan adalah kesederhanaan implementasinya. Tidak seperti banyak kemajuan AI yang membutuhkan pelatihan ulang model yang mahal atau perubahan arsitektur, COD dapat segera digunakan dengan model yang ada melalui modifikasi cepat yang sederhana.
“Organisasi yang sudah menggunakan COT dapat beralih ke COD dengan modifikasi prompt sederhana,” Prabhakar menjelaskan.
Teknik ini dapat terbukti sangat berharga untuk aplikasi yang sensitif terhadap latensi seperti dukungan pelanggan real-time, AI seluler, alat pendidikan dan layanan keuangan, di mana bahkan penundaan kecil dapat secara signifikan mempengaruhi pengalaman pengguna.
Pakar industri menunjukkan bahwa implikasinya melampaui penghematan biaya. Dengan membuat penalaran AI canggih lebih mudah diakses dan terjangkau, COD dapat mendemokratisasi akses ke kemampuan AI yang canggih untuk organisasi yang lebih kecil dan lingkungan yang dibatasi sumber daya.
Ketika sistem AI terus berkembang, teknik seperti COD menyoroti penekanan yang meningkat pada efisiensi bersama kemampuan mentah. Untuk perusahaan yang menavigasi lanskap AI yang berubah dengan cepat, optimisasi semacam itu dapat terbukti sama berharganya dengan peningkatan dalam model yang mendasarinya sendiri.
“Karena model AI terus berkembang, mengoptimalkan efisiensi penalaran akan sama pentingnya dengan meningkatkan kemampuan mentah mereka,” Prabhakar menyimpulkan.
Kode penelitian dan data telah tersedia untuk umum di GitHub, memungkinkan organisasi untuk mengimplementasikan dan menguji pendekatan dengan sistem AI mereka sendiri.
