Ketika agen AI memasuki penyebaran dunia nyata, organisasi berada di bawah tekanan untuk menentukan di mana mereka berada, bagaimana membangunnya secara efektif, dan bagaimana mengoperasionalkannya pada skala. Di VentureBeat's Transform 2025, para pemimpin teknologi berkumpul untuk berbicara tentang bagaimana mereka mengubah bisnis mereka dengan agen: Joanne Chen, mitra umum di Foundation Capital; Shailesh Nalawadi, Wakil Presiden Manajemen Proyek dengan Sendbird; Diri, SVP transformasi AI di Cognigy; dan Shawn Malhotra, CTO, perusahaan roket.
Beberapa kasus penggunaan AI agen teratas
“Daya tarik awal dari salah satu penyebaran ini untuk agen AI cenderung sekitar menyelamatkan sumber daya manusia – matematika cukup mudah,” kata Nalawadi. “Namun, itu menjual kembali kemampuan transformasional yang Anda dapatkan dengan agen AI.”
Di Rocket, agen AI telah terbukti menjadi alat yang kuat dalam meningkatkan konversi situs web.
“Kami telah menemukan bahwa dengan pengalaman berbasis agen kami, pengalaman percakapan di situs web, klien tiga kali lebih mungkin untuk dikonversi ketika mereka datang melalui saluran itu,” kata Malhotra.
Tapi itu hanya menggaruk permukaan. Misalnya, seorang insinyur roket membangun agen hanya dalam dua hari untuk mengotomatiskan tugas yang sangat terspesialisasi: menghitung pajak transfer selama penjaminan hipotek.
“Upaya dua hari itu menghemat biaya satu juta dolar per tahun,” kata Malhotra. “Pada tahun 2024, kami menghemat lebih dari satu juta jam anggota tim, sebagian besar di belakang solusi AI kami. Itu bukan hanya menabung biaya. Ini juga memungkinkan anggota tim kami untuk memfokuskan waktu mereka pada orang yang membuat apa yang sering merupakan transaksi keuangan terbesar dalam hidup mereka.”
Agen pada dasarnya supercharging anggota tim individu. Juta jam yang disimpan bukanlah keseluruhan pekerjaan seseorang yang direplikasi berkali -kali. Ini adalah pecahan dari pekerjaan yang merupakan hal -hal yang tidak disukai karyawan, atau tidak menambah nilai pada klien. Dan jutaan jam yang dihemat memberi Rocket kapasitas untuk menangani lebih banyak bisnis.
“Beberapa anggota tim kami mampu menangani 50% lebih banyak klien tahun lalu daripada tahun sebelumnya,” tambah Malhotra. “Ini berarti kita dapat memiliki throughput yang lebih tinggi, mendorong lebih banyak bisnis, dan sekali lagi, kita melihat tingkat konversi yang lebih tinggi karena mereka menghabiskan waktu memahami kebutuhan klien versus melakukan lebih banyak pekerjaan hafalan yang dapat dilakukan AI sekarang.”
Menangani kompleksitas agen
“Bagian dari perjalanan untuk tim teknik kami bergerak dari pola pikir rekayasa perangkat lunak – tulis sekali dan uji dan berjalan dan memberikan jawaban yang sama 1.000 kali – ke pendekatan yang lebih probabilistik, di mana Anda menanyakan hal yang sama dari LLM dan memberikan jawaban yang berbeda melalui beberapa probabilitas,” kata Nalawadi. “Banyak yang telah membawa orang. Bukan hanya insinyur perangkat lunak, tetapi manajer produk dan desainer UX.”
Yang membantu adalah bahwa LLM telah datang jauh, kata Waanders. Jika mereka membangun sesuatu 18 bulan atau dua tahun yang lalu, mereka benar -benar harus memilih model yang tepat, atau agen tidak akan melakukan seperti yang diharapkan. Sekarang, katanya, kita sekarang pada tahap di mana sebagian besar model arus utama berperilaku sangat baik. Mereka lebih mudah diprediksi. Tetapi hari ini tantangannya adalah menggabungkan model, memastikan responsif, mengatur model yang tepat dalam urutan yang tepat dan menenun dalam data yang tepat.
“Kami memiliki pelanggan yang mendorong puluhan juta percakapan per tahun,” kata Waanders. “Jika Anda mengotomatiskan, katakanlah, 30 juta percakapan dalam setahun, bagaimana skala itu di dunia LLM? Itu semua hal yang harus kami temukan, hal-hal sederhana, bahkan dari mendapatkan ketersediaan model dengan penyedia cloud. Memiliki kuota yang cukup dengan model chatgpt, misalnya semua pembelajaran yang harus kami lalui, dan pelanggan kami juga.
Lapisan di atas mengatur LLM sedang mengatur jaringan agen, kata Malhotra. Pengalaman percakapan memiliki jaringan agen di bawah tenda, dan orkestra memutuskan agen mana yang akan bertani dari permintaan yang tersedia.
“Jika Anda memainkannya ke depan dan berpikir tentang memiliki ratusan atau ribuan agen yang mampu melakukan hal -hal yang berbeda, Anda mendapatkan beberapa masalah teknis yang sangat menarik,” katanya. “Ini menjadi masalah yang lebih besar, karena latensi dan waktu yang penting. Perutean agen itu akan menjadi masalah yang sangat menarik untuk dipecahkan selama beberapa tahun mendatang.”
Memanfaatkan hubungan vendor
Hingga saat ini, langkah pertama bagi sebagian besar perusahaan yang meluncurkan Agen AI telah membangun in-house, karena alat-alat khusus belum ada. Tetapi Anda tidak dapat membedakan dan menciptakan nilai dengan membangun infrastruktur LLM generik atau infrastruktur AI, dan Anda memerlukan keahlian khusus untuk melampaui pembangunan awal, dan men -debug, mengulangi, dan meningkatkan apa yang telah dibangun, serta mempertahankan infrastruktur.
“Seringkali kami menemukan percakapan paling sukses yang kami miliki dengan calon pelanggan cenderung adalah seseorang yang sudah membangun sesuatu di rumah,” kata Nalawadi. “Mereka dengan cepat menyadari bahwa mencapai 1.0 tidak apa -apa, tetapi ketika dunia berkembang dan ketika infrastruktur berkembang dan karena mereka perlu menukar teknologi dengan sesuatu yang baru, mereka tidak memiliki kemampuan untuk mengatur semua hal ini.”
Mempersiapkan kompleksitas AI agen
Secara teoritis, AI agen hanya akan tumbuh dalam kompleksitas – jumlah agen dalam suatu organisasi akan meningkat, dan mereka akan mulai belajar dari satu sama lain, dan jumlah kasus penggunaan akan meledak. Bagaimana organisasi dapat mempersiapkan tantangan?
“Ini berarti bahwa checks and balance dalam sistem Anda akan lebih stres,” kata Malhotra. “Untuk sesuatu yang memiliki proses peraturan, Anda memiliki manusia dalam lingkaran untuk memastikan bahwa seseorang menandatangani hal ini. Untuk proses internal yang kritis atau akses data, apakah Anda memiliki kemampuan observasi? Apakah Anda memiliki hak yang tepat dan memantau sehingga jika ada yang salah, Anda tahu bahwa itu akan terjadi pada hal itu yang terjadi pada hal yang terjadi pada mereka, dan pada saat itu terjadi pada hal itu, dan pada saat itu terjadi pada hal itu, dan pada saat itu terjadi pada hal itu, dan kemudian terjadi pada hal itu, dan pada saat itu terjadi pada hal itu, dan saat itu terjadi pada hal itu, dan kemudian, hal itu terjadi pada mereka, dan kemudian, hal itu akan terjadi pada hal itu, dan saat itu terjadi pada hal itu, dan saat itu terjadi pada hal itu, dan saat itu terjadi pada mereka, dan saat itu akan terjadi pada mereka, dan saat itu akan terjadi pada mereka, dan saat itu akan terjadi pada mereka, dan saat itu akan terjadi pada mereka, dan saat itu akan terjadi pada mereka, dan saat itu, dan kemudian, memang masuk ke mana Anda akan melakukan hal itu, dan kemudian, memang ada di mana Anda perlu melakukan hal yang salah. Membuka kunci, Anda harus melakukannya. “
Jadi bagaimana Anda bisa memiliki keyakinan bahwa agen AI akan berperilaku andal saat berkembang?
“Bagian itu sangat sulit jika Anda belum memikirkannya di awal,” kata Nalawadi. “Jawaban singkatnya adalah, bahkan sebelum Anda mulai membangunnya, Anda harus memiliki infrastruktur eval. Pastikan Anda memiliki lingkungan yang ketat di mana Anda tahu seperti apa penampilan, dari agen AI, dan bahwa Anda memiliki tes ini. Terus mengacu kembali ke dalamnya saat Anda melakukan perbaikan. Cara berpikir yang sangat sederhana tentang eval adalah bahwa itu adalah unit untuk sistem agen Anda.”
Masalahnya adalah, ini non-deterministik, tambah Waanders. Pengujian unit sangat penting, tetapi tantangan terbesar adalah Anda tidak tahu apa yang tidak Anda ketahui – perilaku yang salah apa yang mungkin bisa ditampilkan oleh agen, bagaimana reaksi dalam situasi tertentu.
“Anda hanya dapat menemukannya dengan mensimulasikan percakapan pada skala, dengan mendorongnya di bawah ribuan skenario yang berbeda, dan kemudian menganalisis bagaimana ia bertahan dan bagaimana reaksinya,” kata Waanders.
About the Author
