Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Retrieval Augmented Generation (RAG) seharusnya membantu meningkatkan keakuratan AI perusahaan dengan menyediakan konten yang membumi. Sementara itu sering terjadi, ada juga efek samping yang tidak diinginkan.
Menurut penelitian baru yang mengejutkan yang diterbitkan hari ini oleh Bloomberg, Rag berpotensi membuat model bahasa besar (LLM) tidak aman.
Makalah Bloomberg, 'Rag llms tidak lebih aman: analisis keamanan generasi pengambilan-pengambilan untuk model bahasa besar,' mengevaluasi 11 LLM populer termasuk Claude-3.5-Sonnet, Llama-3-8B dan GPT-4O. Temuan ini bertentangan dengan kebijaksanaan konvensional yang secara inheren membuat sistem AI lebih aman. Tim peneliti Bloomberg menemukan bahwa ketika menggunakan kain, model yang biasanya menolak pertanyaan berbahaya dalam pengaturan standar sering menghasilkan respons yang tidak aman.
Bersamaan dengan riset RAG, Bloomberg merilis makalah kedua, 'Memahami dan Mitigasi Risiko AI Generatif dalam Layanan Keuangan,' yang memperkenalkan taksonomi risiko konten AI khusus untuk jasa keuangan yang membahas masalah khusus domain yang tidak dicakup oleh pendekatan keselamatan tujuan umum.
Penelitian ini menantang asumsi luas bahwa generasi pengambilan-pengambilan (RAG) meningkatkan keselamatan AI, sambil menunjukkan bagaimana sistem pagar pembatas yang ada gagal mengatasi risiko khusus domain dalam aplikasi jasa keuangan.
“Sistem perlu dievaluasi dalam konteks yang mereka gunakan, dan Anda mungkin tidak dapat mengambil kata orang lain yang mengatakan, hei, model saya aman, menggunakannya, Anda baik,” Sebastian Gehrmann, kepala Bloomberg AI yang bertanggung jawab, mengatakan kepada VentureBeat.
Sistem Rag dapat membuat LLMS kurang aman, tidak lebih
Rag banyak digunakan oleh tim AI perusahaan untuk menyediakan konten yang membumi. Tujuannya adalah untuk memberikan informasi yang akurat dan diperbarui.
Ada banyak penelitian dan kemajuan dalam RAG dalam beberapa bulan terakhir untuk lebih meningkatkan akurasi. Awal bulan ini kerangka kerja open-source baru yang disebut Open Rag Eval memulai debutnya untuk membantu memvalidasi efisiensi kain.
Penting untuk dicatat bahwa penelitian Bloomberg tidak mempertanyakan kemanjuran kain atau kemampuannya untuk mengurangi halusinasi. Bukan itu yang dimaksud dengan penelitian ini. Melainkan tentang bagaimana penggunaan kain berdampak pada pagar pembatas dengan cara yang tidak terduga.
Tim peneliti menemukan bahwa ketika menggunakan kain, model yang biasanya menolak pertanyaan berbahaya dalam pengaturan standar sering menghasilkan respons yang tidak aman. Misalnya, tanggapan tidak aman LLAMA-3-8B melonjak dari 0,3% menjadi 9,2% ketika RAG diimplementasikan.
Gehrmann menjelaskan bahwa tanpa kain yang ada, jika pengguna mengetik dalam kueri jahat, sistem keselamatan atau pagar bawaan biasanya akan memblokir kueri. Namun untuk beberapa alasan, ketika kueri yang sama dikeluarkan dalam LLM yang menggunakan kain, sistem akan menjawab permintaan jahat, bahkan ketika dokumen yang diambil sendiri aman.
“Apa yang kami temukan adalah bahwa jika Anda menggunakan model bahasa besar di luar kotak, seringkali mereka memiliki perlindungan yang dibangun di mana, jika Anda bertanya, 'Bagaimana saya melakukan hal ilegal ini,' itu akan berkata, 'Maaf, saya tidak dapat membantu Anda melakukan ini,'” jelas Gehrmann. “Kami menemukan bahwa jika Anda benar -benar menerapkan ini dalam pengaturan kain, satu hal yang bisa terjadi adalah bahwa tambahan konteks yang diambil, bahkan jika itu tidak mengandung informasi yang membahas kueri jahat asli, mungkin masih menjawab permintaan asli itu.”
Bagaimana pagar pembubat AI Bypass AI?
Jadi mengapa dan bagaimana kain berfungsi untuk memotong pagar pembatas? Para peneliti Bloomberg tidak sepenuhnya yakin meskipun mereka memiliki beberapa ide.
Gehrmann berhipotesis bahwa cara LLMS dikembangkan dan dilatih tidak sepenuhnya mempertimbangkan keselarasan keselamatan untuk input yang sangat panjang. Penelitian menunjukkan bahwa panjang konteks secara langsung memengaruhi degradasi keselamatan. “Dibuat dengan lebih banyak dokumen, LLM cenderung lebih rentan,” kata makalah ini, menunjukkan bahwa bahkan memperkenalkan satu dokumen aman dapat secara signifikan mengubah perilaku keselamatan.
“Saya pikir titik yang lebih besar dari kertas kain ini adalah Anda benar -benar tidak dapat lepas dari risiko ini,” Amanda Stent, kepala strategi dan penelitian AI Bloomberg, kepada VentureBeat. “Ini melekat pada cara sistem kain. Cara Anda melarikan diri dengan menempatkan logika bisnis atau pemeriksaan fakta atau pagar di sekitar sistem Rag Inti.”
Mengapa taksonomi keselamatan AI generik gagal dalam jasa keuangan
Makalah kedua Bloomberg memperkenalkan taksonomi risiko konten AI khusus untuk layanan keuangan, menangani masalah khusus domain seperti pelanggaran keuangan, pengungkapan rahasia, dan narasi kontrafaktual.
Para peneliti secara empiris menunjukkan bahwa sistem pagar pembatas yang ada kehilangan risiko khusus ini. Mereka menguji model pagar pembatas sumber terbuka termasuk Llama Guard, Llama Guard 3, Aegis dan Shieldgemma terhadap data yang dikumpulkan selama latihan timah.
“Kami mengembangkan taksonomi ini, dan kemudian menjalankan percobaan di mana kami mengambil sistem pagar pemberi pagar yang tersedia secara terbuka yang diterbitkan oleh perusahaan lain dan kami menjalankan ini terhadap data yang kami kumpulkan sebagai bagian dari acara tim red kami yang sedang berlangsung,” jelas Gehrmann. “Kami menemukan bahwa pagar pembatas open source ini … tidak menemukan masalah khusus untuk industri kami.”
Para peneliti mengembangkan kerangka kerja yang melampaui model keselamatan generik, dengan fokus pada risiko yang unik untuk lingkungan keuangan profesional. Gehrmann berpendapat bahwa model pagar pembatas tujuan umum biasanya dikembangkan untuk konsumen yang menghadapi risiko spesifik. Jadi mereka sangat fokus pada toksisitas dan bias. Dia mencatat bahwa meskipun penting kekhawatiran itu tidak selalu spesifik untuk satu industri atau domain. Pengambilan kunci dari penelitian ini adalah bahwa organisasi perlu memiliki taksonomi spesifik domain untuk kasus industri dan penggunaan aplikasi spesifik mereka sendiri.
AI yang bertanggung jawab di Bloomberg
Bloomberg telah membuat nama untuk dirinya sendiri selama bertahun -tahun sebagai penyedia sistem data keuangan tepercaya. Dalam beberapa hal, Gen AI dan sistem RAG berpotensi dipandang sebagai kompetitif terhadap bisnis tradisional Bloomberg dan oleh karena itu mungkin ada beberapa bias tersembunyi dalam penelitian ini.
“Kami berada dalam bisnis memberi klien kami data dan analitik terbaik dan kemampuan terluas untuk menemukan, menganalisis, dan mensintesis informasi,” kata Stent. “AI generatif adalah alat yang benar -benar dapat membantu dengan penemuan, analisis, dan sintesis di seluruh data dan analitik, jadi bagi kami, ini adalah manfaat.”
Dia menambahkan bahwa jenis bias yang dikhawatirkan Bloomberg dengan solusi AI -nya difokuskan pada keuangan. Masalah -masalah seperti Data Drift, Model Drift dan memastikan ada representasi yang baik di seluruh rangkaian ticker dan sekuritas yang diproses Bloomberg sangat penting.
Untuk upaya AI Bloomberg sendiri, dia menyoroti komitmen perusahaan terhadap transparansi.
“Segala sesuatu yang dihasilkan sistem, Anda dapat melacak kembali, tidak hanya ke dokumen tetapi juga ke tempat di dokumen dari mana asalnya,” kata Stent.
Implikasi Praktis untuk Penyebaran AI Perusahaan
Bagi perusahaan yang ingin memimpin dalam AI, penelitian Bloomberg berarti bahwa implementasi RAG membutuhkan pemikiran ulang mendasar dari arsitektur keselamatan. Para pemimpin harus bergerak melampaui melihat pagar dan kain sebagai komponen terpisah dan sebaliknya merancang sistem keselamatan terintegrasi yang secara khusus mengantisipasi bagaimana konten yang diambil dapat berinteraksi dengan perlindungan model.
Organisasi yang terkemuka di industri perlu mengembangkan taksonomi risiko khusus domain yang disesuaikan dengan lingkungan peraturan mereka, bergeser dari kerangka keselamatan AI generik ke mereka yang membahas masalah bisnis tertentu. Ketika AI menjadi semakin tertanam dalam alur kerja misi-kritis, pendekatan ini mengubah keamanan dari latihan kepatuhan menjadi pembeda kompetitif yang diharapkan oleh pelanggan dan regulator.
“Ini benar -benar dimulai dengan menyadari bahwa masalah ini mungkin terjadi, mengambil tindakan untuk benar -benar mengukurnya dan mengidentifikasi masalah -masalah ini dan kemudian mengembangkan perlindungan yang khusus untuk aplikasi yang Anda bangun,” jelas Gehrmann.
