Bergabunglah dengan acara yang dipercaya oleh para pemimpin perusahaan selama hampir dua dekade. VB Transform menyatukan orang -orang yang membangun strategi AI perusahaan nyata. Pelajari lebih lanjut
Perusahaan adalah agen AI yang terburu -buru ke produksi – dan banyak dari mereka akan gagal. Tetapi alasannya tidak ada hubungannya dengan model AI mereka.
Pada hari kedua VB Transform 2025, para pemimpin industri berbagi pelajaran yang sulit dimenangkan dari menggunakan agen AI pada skala. Panel yang dimoderatori oleh Joanne Chen, mitra umum di Foundation Capital, termasuk Shawn Malhotra, CTO di Rocket Companies, yang menggunakan agen di seluruh perjalanan kepemilikan rumah dari penjaminan hipotek hingga obrolan pelanggan; Shailesh Nalawadi, Kepala Produk di Sendbird, yang membangun pengalaman layanan pelanggan agen untuk perusahaan di berbagai vertikal; dan Demhy Waanders, SVP dari transformasi AI di Cognigy, yang platformnya mengotomatiskan pengalaman pelanggan untuk pusat kontak perusahaan besar.
Penemuan bersama mereka: Perusahaan yang membangun evaluasi dan infrastruktur orkestrasi terlebih dahulu berhasil, sementara mereka yang bergegas untuk diproduksi dengan model -model kuat gagal dalam skala.
>> lihat semua liputan transformasi 2025 kami di siniRealitas ROI: Di luar pemotongan biaya sederhana
Bagian penting dari AI Engineering AI untuk sukses adalah memahami pengembalian investasi (ROI). Penyebaran agen AI awal yang berfokus pada pengurangan biaya. Sementara itu tetap menjadi komponen kunci, para pemimpin perusahaan sekarang melaporkan pola ROI yang lebih kompleks yang menuntut arsitektur teknis yang berbeda.
Pengurangan biaya menang
Malhotra berbagi contoh biaya paling dramatis dari perusahaan roket. “Kami memiliki seorang insinyur [who] Dalam sekitar dua hari kerja mampu membangun agen sederhana untuk menangani masalah yang sangat ceruk yang disebut 'perhitungan pajak transfer' di bagian penjaminan hipotek dari proses tersebut. Dan dua hari upaya menghemat satu juta dolar per tahun dalam biaya, ”katanya.
Bagi Cognigy, Waanders mencatat bahwa biaya per panggilan adalah metrik utama. Dia mengatakan bahwa jika agen AI digunakan untuk mengotomatisasi bagian -bagian dari panggilan tersebut, dimungkinkan untuk mengurangi waktu penanganan rata -rata per panggilan.
Metode pembuatan pendapatan
Menyimpan adalah satu hal; Membuat lebih banyak pendapatan adalah hal lain. Malhotra melaporkan bahwa timnya telah melihat peningkatan konversi: sebagai klien mendapatkan jawaban atas pertanyaan mereka lebih cepat dan memiliki pengalaman yang baik, mereka mengkonversi dengan harga yang lebih tinggi.
Peluang pendapatan proaktif
Nalawadi menyoroti kemampuan pendapatan yang sama sekali baru melalui penjangkauan proaktif. Timnya memungkinkan layanan pelanggan yang proaktif, menjangkau sebelum pelanggan bahkan menyadari bahwa mereka memiliki masalah.
Contoh pengiriman makanan menggambarkan hal ini dengan sempurna. “Mereka sudah tahu kapan pesanan akan terlambat, dan bukannya menunggu pelanggan menjadi kesal dan memanggil mereka, mereka menyadari bahwa ada peluang untuk maju,” katanya.
Mengapa Agen AI Break In Production
Meskipun ada peluang ROI yang solid untuk perusahaan yang menggunakan AI agen, ada juga beberapa tantangan dalam penyebaran produksi.
Nalawadi mengidentifikasi kegagalan teknis inti: perusahaan membangun agen AI tanpa infrastruktur evaluasi.
“Bahkan sebelum Anda mulai membangunnya, Anda harus memiliki infrastruktur eval,” kata Nalawadi. “Kita semua dulunya adalah insinyur perangkat lunak. Tidak ada yang menggunakan produksi tanpa menjalankan tes unit. Dan saya pikir cara berpikir yang sangat sederhana tentang eval adalah bahwa ini adalah tes unit untuk sistem agen AI Anda.”
Pendekatan pengujian perangkat lunak tradisional tidak berfungsi untuk agen AI. Dia mencatat bahwa tidak mungkin untuk memprediksi setiap input yang mungkin atau menulis kasus uji komprehensif untuk interaksi bahasa alami. Tim Nalawadi mempelajari hal ini melalui penyebaran layanan pelanggan di seluruh ritel, pengiriman makanan, dan layanan keuangan. Pendekatan Jaminan Kualitas Standar tidak ada kasus tepi yang muncul yang muncul dalam produksi.
AI Testing AI: Paradigma Jaminan Kualitas Baru
Mengingat kompleksitas pengujian AI, apa yang harus dilakukan organisasi? Waanders memecahkan masalah pengujian melalui simulasi.
“Kami memiliki fitur yang kami rilis segera tentang mensimulasikan potensi percakapan,” jelas Waanders. “Jadi pada dasarnya agen AI menguji agen AI.”
Pengujian ini bukan hanya pengujian kualitas percakapan, ini adalah analisis perilaku pada skala. Bisakah membantu memahami bagaimana agen menanggapi pelanggan yang marah? Bagaimana cara menangani banyak bahasa? Apa yang terjadi saat pelanggan menggunakan bahasa gaul?
“Tantangan terbesar adalah Anda tidak tahu apa yang tidak Anda ketahui,” kata Waanders. “Bagaimana reaksi terhadap apa pun yang bisa dihadapi siapa pun? Anda hanya mengetahuinya dengan mensimulasikan percakapan, dengan benar -benar mendorongnya di bawah ribuan skenario yang berbeda.”
Pendekatan ini menguji variasi demografis, keadaan emosi dan kasus -kasus tepi yang tidak dapat diliput oleh tim QA manusia secara komprehensif.
Ledakan kompleksitas yang akan datang
Agen AI saat ini menangani tugas tunggal secara mandiri. Para pemimpin perusahaan perlu mempersiapkan realitas yang berbeda: ratusan agen per organisasi belajar satu sama lain.
Implikasi infrastruktur sangat besar. Ketika agen berbagi data dan berkolaborasi, mode kegagalan berlipat ganda secara eksponensial. Sistem pemantauan tradisional tidak dapat melacak interaksi ini.
Perusahaan harus arsitek untuk kompleksitas ini sekarang. Infrastruktur perkuatan untuk sistem multi-agen harganya lebih mahal daripada membangunnya dengan benar sejak awal.
“Jika Anda cepat maju dalam hal yang secara teori mungkin, mungkin ada ratusan dari mereka dalam suatu organisasi, dan mungkin mereka belajar dari satu sama lain,” kata Chen. “Jumlah hal yang bisa terjadi hanya meledak. Kompleksitas meledak.”
About the Author
