Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Para peneliti di Rutgers University, Ant Group dan Salesforce Research telah mengusulkan kerangka kerja baru yang memungkinkan agen AI untuk melakukan tugas yang lebih rumit dengan mengintegrasikan informasi dari lingkungan mereka dan menciptakan ingatan yang terkait secara otomatis untuk mengembangkan struktur yang kompleks.
Disebut A-MEM, kerangka kerja menggunakan model bahasa besar (LLM) dan embeddings vektor untuk mengekstraksi informasi yang berguna dari interaksi agen dan membuat representasi memori yang dapat diambil dan digunakan secara efisien. Dengan perusahaan yang ingin mengintegrasikan agen AI ke dalam alur kerja dan aplikasi mereka, memiliki sistem manajemen memori yang andal dapat membuat perbedaan besar.
Mengapa memori LLM penting
Memori sangat penting dalam aplikasi LLM dan agen karena memungkinkan interaksi jangka panjang antara alat dan pengguna. Sistem memori saat ini, bagaimanapun, tidak efisien atau berdasarkan skema yang telah ditentukan yang mungkin tidak sesuai dengan sifat aplikasi yang berubah dan interaksi yang mereka hadapi.
“Struktur kaku seperti itu, ditambah dengan alur kerja agen tetap, sangat membatasi kemampuan sistem ini untuk menggeneralisasi di lingkungan baru dan mempertahankan efektivitas dalam interaksi jangka panjang,” tulis para peneliti. “Tantangannya menjadi semakin kritis karena agen LLM menangani tugas yang lebih kompleks dan terbuka, di mana organisasi pengetahuan yang fleksibel dan adaptasi berkelanjutan sangat penting.”
A-MEM menjelaskan
A-MEM memperkenalkan arsitektur memori agen yang memungkinkan manajemen memori yang otonom dan fleksibel untuk agen LLM, menurut para peneliti.
Setiap kali agen LLM berinteraksi dengan lingkungannya-apakah dengan mengakses alat atau bertukar pesan dengan pengguna-A-MEM menghasilkan “catatan memori terstruktur” yang menangkap informasi eksplisit dan metadata seperti waktu, deskripsi kontekstual, kata kunci yang relevan, dan memori yang ditautkan. Beberapa detail dihasilkan oleh LLM karena meneliti interaksi dan menciptakan komponen semantik.
Setelah memori dibuat, model encoder digunakan untuk menghitung nilai embedding dari semua komponennya. Kombinasi komponen semantik yang dihasilkan LLM dan embeddings menyediakan konteks yang dapat ditafsirkan manusia dan alat untuk pengambilan yang efisien melalui pencarian kesamaan.
Membangun memori dari waktu ke waktu
Salah satu komponen menarik dari kerangka kerja A-MEM adalah mekanisme untuk menghubungkan catatan memori yang berbeda tanpa perlu aturan yang telah ditentukan. Untuk setiap catatan memori baru, A-MEM mengidentifikasi ingatan terdekat berdasarkan kesamaan nilai embedding mereka. LLM kemudian menganalisis konten penuh dari kandidat yang diambil untuk memilih yang paling cocok untuk ditautkan ke memori baru.
“Dengan menggunakan pengambilan berbasis embedding sebagai filter awal, kami memungkinkan skalabilitas yang efisien sambil mempertahankan relevansi semantik,” tulis para peneliti. “A-MEM dapat dengan cepat mengidentifikasi koneksi potensial bahkan dalam koleksi memori besar tanpa perbandingan lengkap. Lebih penting lagi, analisis yang digerakkan LLM memungkinkan pemahaman yang bernuansa tentang hubungan yang melampaui metrik kesamaan sederhana. ”
Setelah membuat tautan untuk memori baru, A-MEM memperbarui ingatan yang diambil berdasarkan informasi tekstual dan hubungan mereka dengan memori baru. Karena lebih banyak kenangan ditambahkan dari waktu ke waktu, proses ini memperbaiki struktur pengetahuan sistem, memungkinkan penemuan pola dan konsep tingkat tinggi di seluruh ingatan.
Dalam setiap interaksi, A-MEM menggunakan pengambilan memori yang sadar konteks untuk memberikan informasi historis yang relevan kepada agen tersebut. Diberi prompt baru, A-MEM pertama menghitung nilai embedding dengan mekanisme yang sama yang digunakan untuk catatan memori. Sistem ini menggunakan embedding ini untuk mengambil ingatan yang paling relevan dari toko memori dan menambah prompt asli dengan informasi kontekstual yang membantu agen lebih memahami dan menanggapi interaksi saat ini.
“Konteks yang diambil memperkaya proses penalaran agen dengan menghubungkan interaksi saat ini dengan pengalaman dan pengetahuan masa lalu terkait yang disimpan dalam sistem memori,” tulis para peneliti.
A-MEM beraksi
Para peneliti menguji A-MEM di LOCOMO, dataset percakapan yang sangat panjang yang mencakup banyak sesi. LOCOMO berisi tugas-tugas yang menantang seperti pertanyaan multi-hop yang memerlukan informasi sintesis di berbagai sesi obrolan dan pertanyaan penalaran yang membutuhkan pemahaman informasi terkait waktu. Dataset juga berisi pertanyaan pengetahuan yang membutuhkan mengintegrasikan informasi kontekstual dari percakapan dengan pengetahuan eksternal.
Eksperimen menunjukkan bahwa A-MEM mengungguli teknik memori agen dasar lainnya pada sebagian besar kategori tugas, terutama saat menggunakan model open source. Khususnya, para peneliti mengatakan bahwa A-MEM mencapai kinerja yang unggul sambil menurunkan biaya inferensi, membutuhkan hingga 10x lebih sedikit token saat menjawab pertanyaan.
Manajemen memori yang efektif menjadi persyaratan inti karena agen LLM menjadi terintegrasi ke dalam alur kerja perusahaan yang kompleks di berbagai domain dan subsistem. A-MEM-yang kodenya tersedia di GitHub-adalah salah satu dari beberapa kerangka kerja yang memungkinkan perusahaan untuk membangun agen LLM yang ditingkatkan memori.
