Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Untuk perusahaan, mencari tahu prompt yang tepat untuk mendapatkan hasil terbaik dari model AI generatif tidak selalu merupakan tugas yang mudah. Di beberapa organisasi, itu telah jatuh ke posisi Insinyur Prompt yang baru ditemukan, tetapi itu tidak cukup apa yang terjadi di LinkedIn.
Platform jaringan profesional dimiliki oleh Microsoft dan saat ini memiliki lebih dari 1 miliar akun pengguna. Meskipun LinkedIn adalah organisasi besar, ia menghadapi tantangan dasar yang sama dengan yang dihadapi oleh organisasi dari hampir semua ukuran dengan Gen AI-menjembatani kesenjangan antara pengguna bisnis teknis dan non-teknis. Untuk LinkedIn, kasus penggunaan Gen AI adalah pengguna akhir dan pengguna internal.
Sementara beberapa organisasi mungkin memilih untuk hanya berbagi petunjuk dengan spreadsheet atau bahkan hanya di saluran kendur dan pesan, LinkedIn mengambil pendekatan yang agak baru. Perusahaan membangun apa yang disebutnya “taman bermain rekayasa cepat kolaboratif” yang memungkinkan pengguna teknis dan non-teknis untuk bekerja sama. Sistem ini menggunakan kombinasi teknologi yang sangat menarik termasuk Model Bahasa Besar (LLM), Langchain dan Jupyter Notebooks.
LinkedIn telah menggunakan pendekatan ini untuk membantu meningkatkan produk navigator penjualannya dengan fitur AI, secara khusus berfokus pada AccountIQ – alat yang mengurangi waktu penelitian perusahaan dari 2 jam menjadi 5 menit.
Sama seperti setiap organisasi lain di planet ini, perjalanan AI AI awal LinkedIn dimulai dengan hanya mencoba mencari tahu apa yang berhasil.
“Ketika kami mulai mengerjakan proyek menggunakan Gen AI, manajer produk selalu memiliki terlalu banyak ide, seperti 'Hei, mengapa kami tidak bisa mencoba ini? Mengapa kita tidak bisa mencobanya, '”Ajay Prakash, Insinyur Perangkat Lunak Staf LinkedIn, mengatakan kepada VentureBeat. “Seluruh idenya adalah untuk memungkinkan mereka melakukan rekayasa cepat dan mencoba berbagai hal, dan tidak membuat insinyur menjadi hambatan untuk semuanya.”
Tantangan Organisasi untuk Menyebarkan Gen AI dalam Perusahaan Teknis
Yang pasti, LinkedIn tidak asing dengan dunia pembelajaran mesin (ML) dan AI.
Sebelum chatgpt datang ke tempat kejadian, LinkedIn telah membangun toolkit untuk mengukur keadilan model AI. Di VB Transform pada tahun 2022, perusahaan menguraikan strategi AI -nya (pada saat itu). Gen AI, bagaimanapun sedikit berbeda. Itu tidak secara khusus mengharuskan insinyur untuk digunakan dan dapat diakses secara lebih luas. Itulah revolusi yang dipicu chatgpt. Membangun aplikasi bertenaga AI tidak sama sekali sama dengan membangun aplikasi tradisional.
Prakash menjelaskan bahwa sebelum Gen AI, insinyur biasanya akan mendapatkan serangkaian persyaratan produk dari staf manajemen produk. Mereka kemudian akan keluar dan membangun produk.
Dengan Gen AI, sebaliknya, manajer produk mencoba berbagai hal untuk melihat apa yang mungkin dan apa yang berhasil. Berbeda dengan ML tradisional yang tidak dapat diakses oleh staf non-teknis, Gen AI lebih mudah bagi semua jenis pengguna.
Teknik cepat tradisional sering membuat hambatan, dengan insinyur berfungsi sebagai penjaga gerbang untuk setiap perubahan atau percobaan. Pendekatan LinkedIn mengubah dinamika ini dengan menyediakan antarmuka yang ramah pengguna melalui buku catatan Jupyter yang disesuaikan, yang secara tradisional telah digunakan untuk ilmu data dan tugas ML.
Apa yang ada di dalam taman bermain rekayasa prompt linkedin
Seharusnya tidak mengherankan bahwa vendor LLM default yang digunakan oleh LinkedIn adalah Openai. Bagaimanapun, LinkedIn adalah bagian dari Microsoft, yang meng -host platform Azure OpenAI.
Lukasz Karolewski, manajer teknik senior LinkedIn, menjelaskan bahwa lebih nyaman untuk menggunakan Openai, karena timnya memiliki akses yang lebih mudah dalam lingkungan LinkedIn/Microsoft. Dia mencatat bahwa menggunakan model lain akan membutuhkan proses peninjauan keamanan dan hukum tambahan, yang akan membutuhkan waktu lebih lama untuk membuatnya tersedia. Tim awalnya memprioritaskan mendapatkan produk dan ide divalidasi daripada mengoptimalkan model terbaik.
LLM hanyalah satu bagian dari sistem, yang juga mencakup:
- Jupyter Notebooks untuk lapisan antarmuka;
- Langchain untuk orkestrasi cepat;
- Trino untuk kueri danau data selama pengujian;
- Penyebaran berbasis kontainer untuk akses mudah;
- Elemen UI khusus untuk pengguna non-teknis.
BAGAIMANA BAGAIMANA BAGAIMANA KERJA KERJA COLAKATIF TERKAIT
Jupyter Notebook telah banyak digunakan dalam komunitas ML selama hampir satu dekade sebagai cara untuk membantu mendefinisikan model dan data menggunakan antarmuka bahasa Python interaktif.
Karolewski menjelaskan bahwa LinkedIn Notebook Jupyter yang diprogram untuk membuatnya lebih mudah diakses oleh pengguna non-teknis. Notebook termasuk elemen UI seperti kotak teks dan tombol yang memudahkan semua jenis pengguna untuk memulai. Notebook dikemas dengan cara yang memungkinkan pengguna untuk dengan mudah meluncurkan lingkungan dengan instruksi minimal, dan tanpa harus mengatur lingkungan pengembangan yang kompleks. Tujuan utamanya adalah untuk membiarkan pengguna teknis dan non-teknis bereksperimen dengan petunjuk dan ide yang berbeda untuk menggunakan Gen AI.
Untuk membuat ini berfungsi, tim juga mengintegrasikan akses ke data dari Data Data Internal LinkedIn. Ini memungkinkan pengguna untuk menarik data dengan cara yang aman untuk digunakan dalam petunjuk dan eksperimen.
Langchain berfungsi sebagai perpustakaan untuk mengatur aplikasi Gen AI. Kerangka kerja ini membantu tim untuk dengan mudah rantai bersama -sama petunjuk dan langkah -langkah yang berbeda, seperti mengambil data dari sumber eksternal, memfilter dan mensintesis output akhir.
Sementara LinkedIn saat ini tidak berfokus pada membangun aplikasi yang sepenuhnya otonom, berbasis agen, Karolewski mengatakan dia melihat Langchain sebagai fondasi untuk berpotensi bergerak ke arah itu di masa depan.
Pendekatan LinkedIn juga mencakup mekanisme evaluasi berlapis-lapis:
- Pemeriksaan relevansi berbasis embedding untuk validasi output;
- Deteksi bahaya otomatis melalui evaluator yang sudah dibangun;
- Evaluasi berbasis LLM menggunakan model yang lebih besar untuk menilai yang lebih kecil;
- Proses tinjauan pakar manusia yang terintegrasi.
Dari jam hingga menit: Dampak dunia nyata untuk taman bermain teknik yang cepat
Efektivitas pendekatan ini ditunjukkan melalui fitur AccountiQ LinkedIn, yang mengurangi waktu penelitian perusahaan dari dua jam menjadi lima menit.
Peningkatan ini bukan hanya tentang pemrosesan yang lebih cepat – itu mewakili perubahan mendasar dalam bagaimana fitur AI dapat dikembangkan dan disempurnakan dengan input langsung dari para ahli domain.
“Kami bukan ahli domain dalam penjualan,” kata Karolewski. “Platform ini memungkinkan para ahli penjualan untuk secara langsung memvalidasi dan memperbaiki fitur AI, membuat loop umpan balik yang tidak mungkin sebelumnya.”
Sementara LinkedIn tidak berencana untuk open source Gen AI Prompt Engineering Playground -nya karena integrasi yang mendalam dengan sistem internal, pendekatan ini menawarkan pelajaran bagi perusahaan lain yang ingin skala pengembangan AI. Meskipun implementasi penuh mungkin tidak tersedia, blok bangunan dasar yang sama – yaitu LLM, Langchain dan Jupyter Notebooks – tersedia bagi organisasi lain untuk membangun pendekatan yang sama.
Baik Karolewski dan Prakash menekankan bahwa dengan Gen AI, sangat penting untuk fokus pada aksesibilitas. Penting juga untuk memungkinkan kolaborasi lintas fungsional sejak awal.
“Kami mendapat banyak ide dari komunitas, dan kami belajar banyak dari masyarakat,” kata Lukasz. “Kami terutama ingin tahu apa yang dipikirkan orang lain dan bagaimana mereka membawa keahlian dari para ahli materi pelajaran ke dalam tim teknik.”
