Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Model Bahasa Besar (LLM) yang dipersenjatai disesuaikan dengan Tradecraft ofensif membentuk kembali serangan cyber, memaksa CISO untuk menulis ulang buku pedoman mereka. Mereka telah terbukti mampu mengotomatiskan pengintaian, menyamar sebagai identitas dan menghindari deteksi waktu nyata, mempercepat serangan rekayasa sosial skala besar.
Model, termasuk FraudGpt, Ghostgpt dan Darkgpt, ritel hanya dengan $ 75 per bulan dan dibangun khusus untuk strategi serangan seperti phishing, eksploitasi pembuatan, kebingungan kode, pemindaian kerentanan dan validasi kartu kredit.
Geng Cybercrime, sindikat, dan negara-bangsa melihat peluang pendapatan dalam menyediakan platform, kit, dan leasing akses ke LLMs yang dipersenjatai saat ini. LLM ini dikemas seperti paket bisnis yang sah dan menjual aplikasi SaaS. Menyewa LLM yang dipersenjatai sering kali termasuk akses ke dasbor, API, pembaruan rutin dan, untuk beberapa, dukungan pelanggan.
VentureBeat terus melacak perkembangan LLMs yang dipersenjatai dengan cermat. Menjadi jelas bahwa garis -garisnya kabur antara platform pengembang dan kit kejahatan dunia maya karena kecanggihan LLMS yang dipersenjatai terus meningkat. Dengan harga sewa atau sewa yang anjlok, lebih banyak penyerang bereksperimen dengan platform dan kit, yang mengarah ke era baru ancaman yang digerakkan AI.
Llms yang sah di cross-hairs
Penyebaran LLM yang dipersenjatai telah berkembang begitu cepat sehingga LLM yang sah berisiko dikompromikan dan diintegrasikan ke dalam rantai pahat penjahat cyber. Intinya adalah bahwa LLM dan model yang sah sekarang berada dalam radius ledakan dari serangan apa pun.
Semakin disesuaikan dengan LLM yang diberikan, semakin besar probabilitas dapat diarahkan untuk menghasilkan output berbahaya. Cisco's The State of AI Security Report melaporkan bahwa LLM yang disesuaikan 22 kali lebih mungkin menghasilkan output berbahaya daripada model dasar. Model fine-tuning sangat penting untuk memastikan relevansi kontekstual mereka. Masalahnya adalah penyempurnaan juga melemahkan pagar pembatas dan membuka pintu untuk jailbreak, suntikan yang cepat dan inversi model.
Studi Cisco membuktikan bahwa semakin banyak model yang siap produksi, semakin terpapar kerentanan yang harus dipertimbangkan dalam radius ledakan serangan. Tim tugas inti bergantung pada LLM yang menyempurnakan, termasuk penyempurnaan berkelanjutan, integrasi pihak ketiga, pengkodean dan pengujian, dan orkestrasi agen, menciptakan peluang baru bagi penyerang untuk mengkompromikan LLM.
Begitu berada di dalam LLM, penyerang bekerja cepat untuk meracuni data, cobalah untuk membajak infrastruktur, memodifikasi dan salah arah perilaku agen dan mengekstrak data pelatihan pada skala. Studi Cisco menyimpulkan bahwa tanpa lapisan keamanan independen, tim model bekerja dengan rajin untuk menyempurnakan tidak hanya berisiko; Mereka dengan cepat menjadi kewajiban. Dari perspektif penyerang, mereka aset siap diinfiltrasi dan berbalik.
Fine-tuning LLMS membongkar kontrol keselamatan pada skala
Bagian penting dari penelitian tim keamanan Cisco berpusat pada pengujian beberapa model yang disesuaikan, termasuk LLAMA-2-7B dan Microsoft Adapt LLMS yang dispesialisasi secara domain. Model -model ini diuji di berbagai domain termasuk perawatan kesehatan, keuangan dan hukum.
Salah satu takeaways yang paling berharga dari studi Cisco tentang keamanan AI adalah bahwa penyempurnaan yang menyempurnakan kesejajaran, bahkan ketika dilatih pada set data yang bersih. Rincian penyelarasan adalah yang paling parah dalam domain biomedis dan hukum, dua industri yang dikenal sebagai salah satu yang paling ketat mengenai kepatuhan, transparansi hukum dan keselamatan pasien.
Sementara maksud di balik fine-tuning adalah peningkatan kinerja tugas, efek sampingnya adalah degradasi sistemik kontrol keselamatan bawaan. Upaya jailbreak yang secara rutin gagal terhadap model-model yayasan berhasil pada tingkat yang lebih tinggi secara dramatis terhadap varian yang disesuaikan, terutama dalam domain sensitif yang diatur oleh kerangka kerja kepatuhan yang ketat.
Hasilnya serius. Tingkat keberhasilan jailbreak tiga kali lipat dan generasi keluaran berbahaya melonjak sebesar 2.200% dibandingkan dengan model yayasan. Gambar 1 menunjukkan betapa tajamnya pergeseran itu. Fine-tuning meningkatkan utilitas model tetapi datang dengan biaya, yang merupakan permukaan serangan yang jauh lebih luas.
LLM berbahaya adalah komoditas $ 75
Cisco Talos secara aktif melacak kebangkitan LLMS pasar gelap dan memberikan wawasan tentang penelitian mereka dalam laporan. Talos menemukan bahwa Ghostgpt, Darkgpt, dan Fraudgpt dijual di Telegram dan The Dark Web hanya dengan $ 75/bulan. Alat-alat ini adalah plug-and-play untuk phishing, pengembangan eksploitasi, validasi kartu kredit dan kebingungan.
Sumber: Cisco State of AI Security 2025P. 9.
Tidak seperti model arus utama dengan fitur keselamatan bawaan, LLM ini dikonfigurasikan sebelumnya untuk operasi ofensif dan menawarkan API, pembaruan, dan dasbor yang tidak dapat dibedakan dari produk SaaS komersial.
Keracunan dataset $ 60 mengancam rantai pasokan AI
“Hanya dengan $ 60, penyerang dapat meracuni fondasi model AI-tidak diperlukan nol-day,” tulis para peneliti Cisco. Itulah takeaway dari penelitian bersama Cisco dengan Google, ETH Zurich dan Nvidia, yang menunjukkan betapa mudahnya musuh dapat menyuntikkan data jahat ke set pelatihan open-source yang paling banyak digunakan di dunia.
Dengan mengeksploitasi domain yang sudah kadaluwarsa atau pengeditan waktu wikipedia selama pengarsipan dataset, penyerang dapat meracuni hanya 0,01% dari dataset seperti Laion-400m atau Coyo-700m dan masih mempengaruhi LLM hilir dengan cara yang bermakna.
Dua metode yang disebutkan dalam penelitian ini, split-view racun dan serangan frontrunning, dirancang untuk memanfaatkan model kepercayaan yang rapuh dari data yang dimasak web. Dengan sebagian besar LLMS perusahaan yang dibangun di atas data terbuka, serangan ini berskala dengan tenang dan bertahan jauh ke dalam pipa inferensi.
Serangan dekomposisi dengan diam -diam mengekstrak konten yang dilindungi hak cipta dan diatur
Salah satu penemuan paling mengejutkan yang ditunjukkan oleh peneliti Cisco adalah bahwa LLMS dapat dimanipulasi untuk membocorkan data pelatihan sensitif tanpa pernah memicu pagar pembatas. Peneliti Cisco menggunakan metode yang disebut decomposition yang diminta untuk merekonstruksi lebih dari 20% dari SELECT New York Times Dan Wall Street Journal artikel. Strategi serangan mereka menghancurkan permintaan menjadi sub-kueri yang diklasifikasikan pagar pemberi pagar, kemudian menyusun kembali output untuk menciptakan kembali konten paywall atau dilindungi hak cipta.
Berhasil menghindari pagar untuk mengakses set data hak milik atau konten berlisensi adalah vektor serangan yang setiap perusahaan bergulat untuk melindungi hari ini. Bagi mereka yang memiliki LLMS dilatih pada set data hak milik atau konten berlisensi, serangan dekomposisi bisa sangat menghancurkan. Cisco menjelaskan bahwa pelanggaran tidak terjadi pada tingkat input, itu muncul dari output model. Itu membuatnya jauh lebih menantang untuk mendeteksi, mengaudit atau berisi.
Jika Anda menggunakan LLM di sektor yang diatur seperti perawatan kesehatan, keuangan atau legal, Anda tidak hanya menatap pelanggaran GDPR, HIPAA atau CCPA. Anda berurusan dengan kelas risiko kepatuhan yang sama sekali baru, di mana bahkan data yang bersumber secara hukum dapat diekspos melalui inferensi, dan hukumannya hanyalah permulaan.
Kata terakhir: LLMS bukan hanya alat, mereka adalah permukaan serangan terbaru
Penelitian Cisco yang sedang berlangsung, termasuk pemantauan web gelap Talos, mengkonfirmasi apa yang sudah dicurigai oleh banyak pemimpin keamanan: LLM yang dipersenjatai tumbuh dalam kecanggihan sementara perang harga dan pengemasan pecah di web gelap. Temuan Cisco juga membuktikan LLMS tidak berada di tepi perusahaan; Mereka adalah perusahaan. Dari risiko penyempurnaan hingga keracunan dataset dan kebocoran output model, penyerang memperlakukan LLM seperti infrastruktur, bukan aplikasi.
Salah satu takeaways kunci paling berharga dari laporan Cisco adalah bahwa pagar statis tidak akan lagi memotongnya. CISO dan pemimpin keamanan membutuhkan visibilitas waktu nyata di seluruh perkebunan TI, pengujian permusuhan yang lebih kuat, dan tumpukan teknologi yang lebih ramping untuk mengimbangi-dan pengakuan baru bahwa LLM dan model adalah permukaan serangan yang menjadi lebih rentan dengan penyesuaian yang lebih besar.
