Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Octotools, platform agen open-source baru yang dirilis oleh para ilmuwan di Stanford University, dapat turbocharge model bahasa besar (LLM) untuk tugas penalaran dengan memecah tugas menjadi subunit dan meningkatkan model dengan alat. Sementara penggunaan alat telah menjadi aplikasi penting LLM, Octotools membuat kemampuan ini jauh lebih mudah diakses dengan menghapus hambatan teknis dan memungkinkan pengembang dan perusahaan untuk memperluas platform dengan alat dan alur kerja mereka sendiri.
Eksperimen menunjukkan bahwa Octotools mengungguli metode pendakian klasik dan kerangka kerja aplikasi LLM lainnya, menjadikannya alat yang menjanjikan untuk penggunaan model AI dunia nyata.
LLM sering berjuang dengan tugas penalaran yang melibatkan banyak langkah, dekomposisi logis atau pengetahuan domain khusus. Salah satu solusi adalah melakukan outsourcing langkah -langkah spesifik dari solusi ke alat eksternal seperti kalkulator, penerjemah kode, mesin pencari atau alat pemrosesan gambar. Dalam skenario ini, model ini berfokus pada perencanaan tingkat yang lebih tinggi sementara perhitungan dan penalaran yang sebenarnya dilakukan melalui alat.
Namun, penggunaan alat memiliki tantangannya sendiri. Misalnya, LLM klasik sering membutuhkan pelatihan substansial atau pembelajaran beberapa-shot dengan data yang dikuratori untuk beradaptasi dengan alat baru, dan setelah ditambah, mereka akan terbatas pada domain dan jenis alat tertentu.
Pemilihan alat juga tetap menjadi titik rasa sakit. LLMS dapat menjadi pandai menggunakan satu atau beberapa alat, tetapi ketika tugas membutuhkan menggunakan banyak alat, mereka bisa menjadi bingung dan berkinerja buruk.
Octotools membahas titik-titik nyeri ini melalui kerangka kerja agen bebas pelatihan yang dapat mengatur beberapa alat tanpa perlu menyempurnakan atau menyesuaikan model. Octotools menggunakan pendekatan modular untuk menangani tugas perencanaan dan penalaran dan dapat menggunakan LLM tujuan umum apa pun sebagai tulang punggungnya.
Di antara komponen-komponen utama octotools adalah “kartu alat,” yang bertindak sebagai pembungkus alat yang dapat digunakan sistem, seperti penerjemah kode python dan API pencarian web. Kartu alat termasuk metadata seperti format input-output, keterbatasan dan praktik terbaik untuk setiap alat. Pengembang dapat menambahkan kartu alat mereka sendiri ke kerangka kerja yang sesuai dengan aplikasi mereka.
Ketika prompt baru dimasukkan ke dalam octotools, modul “perencana” menggunakan backbone LLM untuk menghasilkan rencana tingkat tinggi yang merangkum tujuan, menganalisis keterampilan yang diperlukan, mengidentifikasi alat yang relevan dan mencakup pertimbangan tambahan untuk tugas tersebut. Perencana menentukan satu set sub-tujuan yang perlu dicapai oleh sistem untuk menyelesaikan tugas dan menggambarkannya dalam rencana tindakan berbasis teks.
Untuk setiap langkah dalam rencana, modul “prediktor tindakan” memperbaiki sub-tujuan untuk menentukan alat yang diperlukan untuk mencapainya dan memastikan itu dapat dieksekusi dan dapat diverifikasi.
Setelah rencana siap dieksekusi, “generator perintah” memetakan rencana berbasis teks ke kode Python yang memanggil alat yang ditentukan untuk setiap sub-gol, kemudian meneruskan perintah ke “eksekutor perintah,” yang menjalankan perintah dalam lingkungan python. Hasil dari setiap langkah divalidasi oleh modul “Context Verifier” dan hasil akhirnya dikonsolidasikan oleh “Solution Summarizer.”
“Dengan memisahkan perencanaan strategis dari pembuatan komando, Octotools mengurangi kesalahan dan meningkatkan transparansi, membuat sistem lebih andal dan lebih mudah dipelihara,” tulis para peneliti.
Octotools juga menggunakan algoritma optimasi untuk memilih subset alat terbaik untuk setiap tugas. Ini membantu menghindari model yang luar biasa dengan alat yang tidak relevan.
Kerangka kerja agen
Ada beberapa kerangka kerja untuk membuat aplikasi LLM dan sistem agen, termasuk Microsoft Autogen, Langchain dan OpenAI API “Panggilan Fungsi.” Octotools mengungguli platform ini pada tugas yang membutuhkan penalaran dan penggunaan alat, menurut pengembangnya.
Para peneliti menguji semua kerangka kerja pada beberapa tolok ukur untuk penalaran visual, matematika dan ilmiah, serta pengetahuan medis dan tugas agen. Octotools mencapai kenaikan akurasi rata-rata 10,6% dibandingkan autogen, 7,5% dibandingkan fungsi GPT, dan 7,3% dibandingkan langchain saat menggunakan alat yang sama. Menurut para peneliti, alasan kinerja yang lebih baik Octotools adalah distribusi penggunaan alat yang unggul dan dekomposisi kueri yang tepat menjadi sub-tujuan.
Octotools menawarkan perusahaan solusi praktis untuk menggunakan LLMS untuk tugas -tugas kompleks. Integrasi alat yang dapat diperpanjang akan membantu mengatasi hambatan yang ada untuk membuat aplikasi penalaran AI canggih. Para peneliti telah merilis kode untuk Octotools di GitHub.
