Rapt AI, penyedia otomatisasi AI-workload bertenaga AI untuk GPU dan akselerator AI, telah bekerja sama dengan AMD untuk meningkatkan infrastruktur AI.
Kolaborasi strategis jangka panjang bertujuan untuk meningkatkan inferensi AI dan melatih manajemen beban kerja dan kinerja pada AMD Instinct GPU, menawarkan pelanggan solusi yang dapat diskalakan dan hemat biaya untuk menggunakan aplikasi AI.
Saat adopsi AI semakin cepat, organisasi bergulat dengan alokasi sumber daya, hambatan kinerja, dan manajemen GPU yang kompleks.
Dengan mengintegrasikan platform otomatisasi beban kerja cerdas RAPT dengan AMD Instinct MI300X, MI325X dan MI350 Series GPU yang akan datang, kolaborasi ini memberikan solusi yang dapat diskalakan, berkinerja tinggi, dan hemat biaya yang memungkinkan pelanggan untuk memaksimalkan inferensi AI dan efisiensi pelatihan di seluruh rumah dan infrastruktur cloud.
Solusi yang lebih efisien
Charlie Leeming, CEO Rapt AI, mengatakan dalam briefing pers, “Model AI yang kami lihat saat ini begitu besar dan yang paling penting begitu dinamis dan tidak dapat diprediksi. Alat yang lebih tua untuk mengoptimalkan tidak benar -benar cocok. Kami mengamati cairannya. menanyakan di mana pengembaliannya.
Leeming mengatakan Anil Ravindranath, CTO dari Rapt Ai, melihat solusinya. Dan itu melibatkan penggunaan monitor untuk memungkinkan pengamatan infrastruktur.
“Kami merasa kami memiliki solusi yang tepat pada waktu yang tepat. Kami keluar dari siluman musim gugur yang lalu. Kami berada di semakin banyak perusahaan Fortune 100. Dua menjalankan kode di antara penyedia layanan cloud,” kata Leeming.
Dan dia berkata, “Kami memang memiliki mitra strategis tetapi percakapan kami dengan AMD berjalan dengan sangat baik. Mereka membangun gpus yang luar biasa, akselerator AI. Kami dikenal karena menempatkan jumlah maksimum beban kerja pada GPU. Kesimpulan lepas landas. Ini dalam tahap produksi sekarang. Perlu yang perlu mereka lakukan. Solusi yang tepat.
Perbaikan yang dapat memakan waktu sembilan jam dapat dilakukan dalam tiga menit, katanya. Ravindranath mengatakan dalam briefing pers Platform RAPT AI memungkinkan hingga 10 kali model berjalan kapasitas pada tingkat pengeluaran komputasi AI yang sama, hingga 90% penghematan biaya, dan nol manusia dalam satu loop dan tidak ada perubahan kode. Untuk produktivitas, ini berarti tidak ada lagi menunggu komputasi dan waktu tuning infrastruktur.
Lemming mengatakan teknik lain telah ada untuk sementara waktu dan belum memotongnya. Jalankan AI, saingan, tumpang tindih dengan cara yang kompetitif. Dia mengatakan perusahaannya mengamati dalam hitungan menit, bukan jam dan kemudian mengoptimalkan infrastruktur. Ravindranath mengatakan Run AI lebih seperti penjadwal tetapi AI Rapt memposisikan dirinya untuk hasil yang tidak terduga dan menghadapinya.
“Kami menjalankan model dan mencari tahu, dan itu manfaat besar untuk beban kerja inferensi. Itu seharusnya hanya berjalan secara otomatis,” kata Ravindranath.
Manfaatnya: Biaya yang lebih rendah, pemanfaatan GPU yang lebih baik
Perusahaan mengatakan bahwa AMD Instinct GPU, dengan kapasitas memori terkemuka di industri mereka, dikombinasikan dengan
Optimalisasi sumber daya cerdas RAPT, membantu memastikan pemanfaatan GPU maksimum untuk beban kerja AI, membantu menurunkan total biaya kepemilikan (TCO).
Platform RAPT merampingkan manajemen GPU, menghilangkan kebutuhan para ilmuwan data untuk menghabiskan waktu yang berharga untuk konfigurasi infrastruktur percobaan-dan-kesalahan. Dengan secara otomatis mengoptimalkan alokasi sumber daya untuk beban kerja spesifik mereka, itu memberdayakan mereka untuk fokus pada inovasi daripada infrastruktur. Ini dengan mulus mendukung berbagai lingkungan GPU (AMD dan lainnya, baik di cloud, di lokasi atau keduanya) melalui satu contoh, membantu memastikan fleksibilitas infrastruktur maksimum.
Solusi gabungan secara cerdas mengoptimalkan kepadatan pekerjaan dan alokasi sumber daya pada GPU AMD Instinct, menghasilkan kinerja inferensi yang lebih baik dan skalabilitas untuk penyebaran AI produksi. Kemampuan skala otomatis RAPT lebih lanjut membantu memastikan penggunaan sumber daya yang efisien berdasarkan permintaan, mengurangi latensi dan memaksimalkan efisiensi biaya.
Platform Rapt bekerja di luar kotak dengan AMD Instinct GPU, membantu memastikan manfaat kinerja langsung. Kolaborasi berkelanjutan antara RAPT dan AMD akan mendorong optimisasi lebih lanjut di bidang yang menarik seperti penjadwalan GPU, pemanfaatan memori dan banyak lagi, membantu memastikan pelanggan dilengkapi dengan infrastruktur AI siap di masa depan.
“Di AMD, kami berkomitmen untuk memberikan solusi AI berkinerja tinggi dan dapat diskalakan yang memberdayakan organisasi untuk membuka potensi penuh dari beban kerja AI mereka.” Kata Negin Oliver, wakil presiden perusahaan pengembangan bisnis untuk bisnis GPU pusat data di AMD, dalam sebuah pernyataan. “Kolaborasi kami dengan RAPT AI menggabungkan kemampuan mutakhir AMD Instinct GPU dengan otomatisasi beban kerja cerdas RAPT, memungkinkan pelanggan untuk mencapai efisiensi, fleksibilitas, dan penghematan biaya yang lebih besar di infrastruktur AI mereka.”
