Realitas Infrastruktur AI yang baru: Membawa Hitung ke Data, bukan data untuk menghitung

Bergabunglah dengan acara yang dipercaya oleh para pemimpin perusahaan selama hampir dua dekade. VB Transform menyatukan orang -orang yang membangun strategi AI perusahaan nyata. Pelajari lebih lanjut

Menginovasi penyimpanan di tepi AI klinis

Dimoderatori oleh Michael Stewart, mitra pengelola di M12 (Microsoft Venture Fund), sesi ini menampilkan wawasan dari Roger Cummings, CEO Peak: AIO, dan Greg Matson, kepala produk dan pemasaran di SolidigM. Percakapan mengeksplorasi bagaimana arsitektur penyimpanan generasi berikutnya, berkapasitas tinggi membuka pintu baru untuk AI medis dengan memberikan kecepatan, keamanan, dan skalabilitas yang diperlukan untuk menangani kumpulan data besar-besaran di lingkungan klinis.

Yang terpenting, kedua perusahaan telah sangat terlibat dengan Monai sejak awal. Dikembangkan bekerja sama dengan King's College London dan lainnya, Monai dibangun khusus untuk mengembangkan dan menggunakan model AI dalam pencitraan medis. Toolset kerangka kerja open-source-disatukan dengan tuntutan unik perawatan kesehatan-termasuk perpustakaan dan alat untuk dukungan DICOM, pemrosesan gambar 3D, dan memodelkan pra-pelatihan, memungkinkan para peneliti dan dokter untuk membangun model kinerja tinggi untuk tugas-tugas seperti segmentasi tumor dan klasifikasi organ.

Tujuan desain penting dari Monai adalah untuk mendukung penyebaran di tempat, memungkinkan rumah sakit untuk mempertahankan kontrol penuh atas data pasien yang sensitif sambil memanfaatkan server GPU standar untuk pelatihan dan inferensi. Ini mengikat kinerja kerangka kerja yang erat dengan infrastruktur data di bawahnya, membutuhkan sistem penyimpanan yang cepat dan dapat diskalakan untuk sepenuhnya mendukung tuntutan AI klinis real-time. Di sinilah Solidigm dan Peak: AIO ikut bermain: Solidigm membawa penyimpanan flash dengan kepadatan tinggi ke meja, sedangkan Peak: AIO berspesialisasi dalam sistem penyimpanan yang dibangun khusus untuk beban kerja AI.

“Kami sangat beruntung bisa bekerja sejak awal dengan King's College di London dan Profesor Sebastien Orslund untuk mengembangkan Monai,” Cummings menjelaskan. “Bekerja dengan Orslund, kami mengembangkan infrastruktur yang mendasari yang memungkinkan para peneliti, dokter, dan ahli biologi dalam ilmu kehidupan untuk membangun di atas kerangka kerja ini dengan sangat cepat.”

Memenuhi tuntutan penyimpanan ganda di AI perawatan kesehatan

Matson menunjukkan bahwa dia melihat bifurkasi yang jelas dalam perangkat keras penyimpanan, dengan solusi berbeda dioptimalkan untuk tahap tertentu dari pipa data AI. Untuk kasus penggunaan seperti Monai, penyebaran AI tepi yang serupa-serta skenario yang melibatkan pemberian makan kelompok pelatihan-penyimpanan solid-state yang berkapasitas tinggi memainkan peran penting, karena lingkungan ini seringkali ruang dan power-constrained, namun memerlukan akses lokal ke kumpulan data besar.

Misalnya, Monai dapat menyimpan lebih dari dua juta CT scan seluruh tubuh pada satu simpul dalam infrastruktur TI rumah sakit yang ada. “Penyimpanan yang sangat dibatasi ruang, dibatasi kekuasaan, dan berkapasitas tinggi memungkinkan beberapa hasil yang cukup luar biasa,” kata Matson. Efisiensi semacam ini adalah pengubah permainan untuk EDGE AI dalam perawatan kesehatan, memungkinkan lembaga untuk menjalankan model AI canggih di tempat tanpa mengurangi kinerja, skalabilitas, atau keamanan data.

Sebaliknya, beban kerja yang melibatkan inferensi real-time dan pelatihan model aktif menempatkan tuntutan yang sangat berbeda pada sistem. Tugas-tugas ini memerlukan solusi penyimpanan yang dapat memberikan operasi input/output yang sangat tinggi per detik (IOPS) untuk mengimbangi throughput data yang dibutuhkan oleh High-Bandwidth Memory (HBM) dan memastikan GPU tetap sepenuhnya digunakan. Puncak: Lapisan penyimpanan yang ditentukan perangkat lunak AIO, dikombinasikan dengan solid-state drive (SSD) SolidigM yang berkinerja tinggi, membahas kedua ujung spektrum ini-menghapus kapasitas, efisiensi, dan kecepatan yang diperlukan di seluruh pipa AI.

Lapisan yang ditentukan perangkat lunak untuk beban kerja AI klinis di tepi

Cummings menjelaskan bahwa Peak: Teknologi penyimpanan AI AIO yang ditentukan perangkat lunak, ketika dipasangkan dengan SSD kinerja tinggi SolidigM, memungkinkan Monai membaca, menulis, dan mengarsipkan kumpulan data besar-besaran dengan permintaan AI klinis kecepatan. Kombinasi ini mempercepat pelatihan model dan meningkatkan akurasi dalam pencitraan medis saat beroperasi dalam kerangka kerja open-source yang disesuaikan dengan lingkungan perawatan kesehatan.

“Kami menyediakan lapisan yang ditentukan oleh perangkat lunak yang dapat digunakan di server komoditas mana pun, mengubahnya menjadi sistem kinerja tinggi untuk beban kerja AI atau HPC,” kata Cummings. “Di lingkungan tepi, kami mengambil kemampuan yang sama dan meningkatkannya ke satu node, membawa kesimpulan lebih dekat ke tempat data tinggal.”

Kemampuan utama adalah bagaimana Puncak: AIO membantu menghilangkan hambatan memori tradisional dengan mengintegrasikan memori lebih langsung ke dalam infrastruktur AI. “Kami memperlakukan memori sebagai bagian dari infrastruktur itu sendiri – sesuatu yang sering diabaikan. Solusi kami tidak hanya penyimpanan, tetapi juga ruang kerja memori dan metadata yang terkait dengannya,” kata Cummings. Ini membuat perbedaan yang signifikan bagi pelanggan yang tidak mampu-baik dalam hal ruang atau biaya-untuk menjalankan kembali model besar berulang kali. Dengan menjaga token residen memori tetap hidup dan dapat diakses, Peak: AIO memungkinkan inferensi yang efisien dan terlokalisasi tanpa perlu komputasi konstan.

Membawa kecerdasan lebih dekat ke data

Cummings menekankan bahwa perusahaan perlu mengambil pendekatan yang lebih strategis untuk mengelola beban kerja AI. “Anda tidak bisa hanya menjadi tujuan. Anda harus memahami beban kerja. Kami melakukan beberapa teknologi yang luar biasa dengan Solidign dan infrastruktur mereka agar lebih pintar tentang bagaimana data itu diproses, dimulai dengan cara mendapatkan kinerja dari satu node,” Cummings menjelaskan. “Jadi dengan inferensi menjadi dorongan besar, kami melihat generalis menjadi lebih terspesialisasi. Dan kami sekarang mengambil pekerjaan yang telah kami lakukan dari satu node dan mendorongnya lebih dekat ke data untuk menjadi lebih efisien. Kami menginginkan data yang lebih cerdas, bukan? Satu -satunya cara untuk melakukannya adalah dengan mendekati data itu.”

Beberapa tren yang jelas muncul dari penyebaran AI skala besar, terutama di pusat data Greenfield yang baru dibangun. Fasilitas ini dirancang dengan arsitektur perangkat keras yang sangat khusus yang membawa data sedekat mungkin dengan GPU. Untuk mencapai hal ini, mereka sangat bergantung pada semua penyimpanan solid-state-khususnya SSD berkapasitas tinggi-yang dirancang untuk memberikan penyimpanan skala petabyte dengan kecepatan dan aksesibilitas yang diperlukan untuk menjaga GPU terus diberi makan dengan data pada throughput tinggi.

“Sekarang teknologi yang sama pada dasarnya terjadi pada mikrokosmos, di tepi, di perusahaan,” Cumming menjelaskan. “Jadi menjadi sangat penting bagi pembeli sistem AI untuk menentukan bagaimana Anda memilih perangkat keras dan vendor sistem Anda, bahkan untuk memastikan bahwa jika Anda ingin mendapatkan kinerja terbanyak dari sistem Anda, bahwa Anda menjalankan semua negara padat. Ini memungkinkan Anda membawa data dalam jumlah besar, seperti contoh monai-ada di sana pada sistem yang lebih kecil.