Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Bahkan ketika model bahasa besar (LLM) menjadi semakin canggih dan mampu, mereka terus menderita halusinasi: menawarkan informasi yang tidak akurat, atau, untuk membuatnya lebih keras, berbohong.
Ini bisa sangat berbahaya di bidang -bidang seperti perawatan kesehatan, di mana informasi yang salah dapat memiliki hasil yang mengerikan.
Mayo Clinic, salah satu rumah sakit peringkat teratas di AS, telah mengadopsi teknik baru untuk mengatasi tantangan ini. Agar berhasil, fasilitas medis harus mengatasi keterbatasan generasi pengambilan (RAG). Itulah proses di mana model bahasa besar (LLM) menarik informasi dari sumber data spesifik dan relevan. Rumah sakit telah menggunakan apa yang pada dasarnya adalah Rag mundur, di mana model mengekstrak informasi yang relevan, kemudian menautkan setiap titik data kembali ke konten sumber aslinya.
Hebatnya, ini telah menghilangkan hampir semua halusinasi berbasis data-retrieval dalam kasus penggunaan non-diagnostik-memungkinkan Mayo untuk mendorong model keluar di seluruh praktik klinisnya.
“Dengan pendekatan ini merujuk informasi sumber melalui tautan, ekstraksi data ini tidak lagi menjadi masalah,” Matthew Callstrom, direktur medis Mayo untuk strategi dan ketua radiologi, mengatakan kepada VentureBeat.
Akuntansi untuk setiap titik data tunggal
Berurusan dengan data perawatan kesehatan adalah tantangan yang kompleks – dan itu bisa menjadi waktu yang tenggelam. Meskipun sejumlah besar data dikumpulkan dalam catatan kesehatan elektronik (EHR), data bisa sangat sulit ditemukan dan diuraikan.
Kasus penggunaan pertama Mayo untuk AI dalam menulis semua data ini adalah ringkasan pelepasan (kunjungi bungkus dengan tips pasca perawatan), dengan modelnya menggunakan kain tradisional. Seperti yang dijelaskan Callstrom, itu adalah tempat alami untuk memulai karena merupakan ekstraksi dan ringkasan sederhana, yang merupakan apa yang umumnya unggul oleh LLM.
“Pada fase pertama, kami tidak mencoba untuk menemukan diagnosis, di mana Anda mungkin bertanya kepada seorang model, 'Apa langkah terbaik berikutnya untuk pasien ini saat ini?',” Katanya.
Bahaya halusinasi juga tidak sama pentingnya dengan skenario bantuan dokter; Bukan untuk mengatakan bahwa kesalahan pengembalian data tidak menggaruk kepala.
“Dalam beberapa iterasi pertama kami, kami memiliki beberapa halusinasi lucu yang Anda jelas tidak akan mentolerir – usia pasien yang salah, misalnya,” kata Callstrom. “Jadi Anda harus membangunnya dengan hati -hati.”
Sementara RAG telah menjadi komponen penting dari llms grounding (meningkatkan kemampuan mereka), teknik ini memiliki keterbatasan. Model dapat mengambil data yang tidak relevan, tidak akurat atau berkualitas rendah; Gagal menentukan apakah informasi relevan dengan permintaan manusia; Atau buat output yang tidak cocok dengan format yang diminta (seperti membawa kembali teks sederhana daripada tabel terperinci).
Meskipun ada beberapa solusi untuk masalah ini – seperti grafik kain, yang sumber -sumber pengetahuan grafik untuk memberikan konteks, atau kain korektif (CRAG), di mana mekanisme evaluasi menilai kualitas dokumen yang diambil – halusinasi belum hilang.
Merujuk setiap titik data
Di sinilah proses RAG mundur masuk. Secara khusus, Mayo memasangkan apa yang dikenal sebagai clustering menggunakan algoritma Perwakilan (Cure) dengan database LLM dan vektor untuk memeriksa kembali pengambilan data.
Clustering sangat penting untuk pembelajaran mesin (ML) karena mengorganisir, mengklasifikasikan dan mengelompokkan titik data berdasarkan kesamaan atau pola mereka. Ini pada dasarnya membantu model “masuk akal” data. Cure melampaui pengelompokan khas dengan teknik hierarkis, menggunakan ukuran jarak untuk mengelompokkan data berdasarkan kedekatan (pikirkan: data yang lebih dekat satu sama lain lebih terkait daripada yang terpisah lebih jauh). Algoritma memiliki kemampuan untuk mendeteksi “outlier,” atau poin data yang tidak cocok dengan yang lain.
Menggabungkan Cure dengan pendekatan Rab Terbalik, Mayo's LLM membagi ringkasan yang dihasilkannya menjadi fakta individual, kemudian mencocokkannya kembali ke dokumen sumber. LLM kedua kemudian mencetak seberapa baik fakta yang selaras dengan sumber -sumber itu, khususnya jika ada hubungan sebab akibat antara keduanya.
“Setiap titik data dirujuk kembali ke data sumber laboratorium asli atau laporan pencitraan,” kata Callstrom. “Sistem memastikan bahwa referensi adalah yang nyata dan akurat diambil, secara efektif memecahkan sebagian besar halusinasi terkait pengambilan.”
Tim Callstrom menggunakan database vektor untuk mencerna catatan pasien terlebih dahulu sehingga model dapat dengan cepat mengambil informasi. Mereka awalnya menggunakan database lokal untuk Proof of Concept (POC); Versi produksi adalah database generik dengan logika dalam algoritma Cure itu sendiri.
“Dokter sangat skeptis, dan mereka ingin memastikan bahwa mereka tidak diberi informasi yang tidak dapat dipercaya,” Callstrom menjelaskan. “Jadi percaya kepada kami berarti verifikasi apa pun yang mungkin muncul sebagai konten.”
'Minat luar biasa' di seluruh praktik Mayo
Teknik penyembuhan telah terbukti berguna untuk mensintesis catatan pasien baru juga. Catatan luar yang merinci masalah kompleks pasien dapat memiliki “rim” konten data dalam berbagai format, Callstrom menjelaskan. Ini perlu ditinjau dan diringkas sehingga dokter dapat membiasakan diri sebelum mereka melihat pasien untuk pertama kalinya.
“Saya selalu menggambarkan catatan medis luar sebagai sedikit seperti spreadsheet: Anda tidak tahu apa yang ada di setiap sel, Anda harus melihat masing -masing untuk menarik konten,” katanya.
Tapi sekarang, LLM melakukan ekstraksi, mengkategorikan materi dan menciptakan tinjauan pasien. Biasanya, tugas itu bisa memakan waktu 90 menit dari hari praktisi – tetapi AI dapat melakukannya dalam waktu sekitar 10, kata Callstrom.
Dia menggambarkan “minat luar biasa” dalam memperluas kemampuan di seluruh praktik Mayo untuk membantu mengurangi beban administrasi dan frustrasi.
“Tujuan kami adalah menyederhanakan pemrosesan konten – bagaimana saya bisa menambah kemampuan dan menyederhanakan pekerjaan dokter?” katanya.
Menangani masalah yang lebih kompleks dengan AI
Tentu saja, Callstrom dan timnya melihat potensi besar untuk AI di daerah yang lebih maju. Misalnya, mereka telah bekerja sama dengan sistem serebras untuk membangun model genom yang memprediksi apa yang akan menjadi pengobatan arthritis terbaik untuk pasien, dan juga bekerja dengan Microsoft pada encoder gambar dan model fondasi pencitraan.
Proyek pencitraan pertama mereka dengan Microsoft adalah rontgen dada. Mereka sejauh ini telah mengkonversi 1,5 juta sinar-X dan berencana untuk melakukan 11 juta lagi di babak berikutnya. Callstrom menjelaskan bahwa tidak terlalu sulit untuk membangun encoder gambar; Kompleksitasnya terletak pada membuat gambar yang dihasilkan benar -benar berguna.
Idealnya, tujuannya adalah untuk menyederhanakan cara dokter mayo meninjau rontgen dada dan menambah analisis mereka. AI mungkin, misalnya, mengidentifikasi di mana mereka harus memasukkan tabung endotrakeal atau garis pusat untuk membantu pasien bernafas. “Tapi itu bisa jauh lebih luas,” kata Callstrom. Misalnya, dokter dapat membuka kunci konten dan data lain, seperti prediksi sederhana dari fraksi ejeksi – atau jumlah darah yang memompa keluar dari jantung – dari dada x ray.
“Sekarang Anda dapat mulai memikirkan respons prediksi terhadap terapi dalam skala yang lebih luas,” katanya.
Mayo juga melihat “peluang luar biasa” dalam genomik (studi DNA), serta area “omic” lainnya, seperti proteomik (studi protein). AI dapat mendukung transkripsi gen, atau proses menyalin urutan DNA, untuk membuat titik referensi ke pasien lain dan membantu membangun profil risiko atau jalur terapi untuk penyakit kompleks.
“Jadi pada dasarnya Anda memetakan pasien terhadap pasien lain, membangun setiap pasien di sekitar kohort,” Callstrom menjelaskan. “Itulah yang benar -benar disediakan oleh obat yang dipersonalisasi: 'Anda terlihat seperti pasien lain ini, ini adalah cara kami harus memperlakukan Anda untuk melihat hasil yang diharapkan.' Tujuannya benar -benar mengembalikan kemanusiaan ke perawatan kesehatan saat kami menggunakan alat -alat ini. ”
Tetapi Callstrom menekankan bahwa segala sesuatu di sisi diagnosis membutuhkan lebih banyak pekerjaan. Adalah satu hal untuk menunjukkan bahwa model fondasi untuk genomik bekerja untuk rheumatoid arthritis; Ini adalah hal lain untuk benar -benar memvalidasi itu di lingkungan klinis. Para peneliti harus memulai dengan menguji kumpulan data kecil, kemudian secara bertahap memperluas kelompok tes dan membandingkan dengan terapi konvensional atau standar.
“Kamu tidak langsung pergi ke, 'Hei, mari kita lewati metotreksat” [a popular rheumatoid arthritis medication]katanya.
Pada akhirnya: “Kami mengenali kemampuan luar biasa ini [models] Untuk benar-benar mengubah cara kami merawat pasien dan mendiagnosis dengan cara yang bermakna, untuk memiliki lebih banyak perawatan pasien atau khusus pasien versus terapi standar, ”kata Callstrom. “Data kompleks yang kami tangani dalam perawatan pasien adalah tempat kami fokus.”
