Memotong limbah awan pada skala: Akamai menghemat 70% menggunakan agen AI yang diatur oleh Kubernetes

Khususnya di era fajar AI generatif ini, biaya cloud berada pada titik tertinggi sepanjang masa. Tapi itu bukan hanya karena perusahaan menggunakan lebih banyak komputasi – mereka tidak menggunakannya secara efisien. Bahkan, hanya tahun ini, perusahaan diperkirakan akan menyia -nyiakan $ 44,5 miliar untuk pengeluaran cloud yang tidak perlu.

Ini adalah masalah yang diperkuat untuk teknologi Akamai: Perusahaan memiliki infrastruktur cloud yang besar dan kompleks di berbagai awan, belum lagi banyak persyaratan keamanan yang ketat.

Ke Selesaikan ini, penyedia cybersecurity dan konten pengiriman beralih ke platform otomatisasi Kubernetes Cast AI, yang agen AI -nya membantu mengoptimalkan biaya, keamanan dan kecepatan melintasi lingkungan cloud.

Pada akhirnya, platform membantu Akamai memotong antara 40% menjadi 70% dari biaya cloud, tergantung pada beban kerja.

“Kami membutuhkan cara berkelanjutan untuk mengoptimalkan infrastruktur kami dan mengurangi biaya cloud kami tanpa mengorbankan kinerja,” Dekel Shavit, direktur senior Cloud Engineering di Akamai, mengatakan kepada VentureBeat. “Kami adalah orang yang memproses acara keamanan. Penundaan bukanlah suatu pilihan. Jika kami tidak dapat menanggapi serangan keamanan secara real time, kami telah gagal.”

Agen khusus yang memantau, menganalisis, dan bertindak

Kubernetes mengelola infrastruktur yang menjalankan aplikasi, membuatnya lebih mudah untuk digunakan, skala dan mengelolanya, terutama dalam arsitektur cloud-asli dan layanan mikro.

Cast AI telah diintegrasikan ke dalam ekosistem Kubernetes untuk membantu pelanggan mengukur kelompok dan beban kerja mereka, memilih infrastruktur terbaik dan mengelola siklus hidup komputasi, jelas pendiri dan CEO Laurent Gil. Platform intinya adalah Otomasi Kinerja Aplikasi (APA), yang beroperasi melalui tim agen khusus yang terus memantau, menganalisis, dan mengambil tindakan untuk meningkatkan kinerja aplikasi, keamanan, efisiensi, dan biaya. Perusahaan hanya menyediakan komputasi yang mereka butuhkan dari AWS, Microsoft, Google atau lainnya.

APA ditenagai oleh beberapa model pembelajaran mesin (ML) dengan pembelajaran penguatan (RL) berdasarkan data historis dan pola yang dipelajari, ditingkatkan oleh tumpukan observabilitas dan heuristik. Ini digabungkan dengan alat infrastruktur-sebagai-kode (IAC) di beberapa awan, menjadikannya platform yang sepenuhnya otomatis.

Gil menjelaskan bahwa APA dibangun di atas prinsip bahwa observabilitas hanyalah titik awal; Begitulah menyebutnya, kemampuan observasi adalah “fondasi, bukan tujuannya.” Cast AI juga mendukung adopsi tambahan, sehingga pelanggan tidak perlu merobek dan mengganti; Mereka dapat berintegrasi ke dalam alat dan alur kerja yang ada. Lebih jauh, tidak ada yang meninggalkan infrastruktur pelanggan; Semua analisis dan tindakan terjadi dalam kelompok Kubernetes khusus mereka, memberikan lebih banyak keamanan dan kontrol.

Gil juga menekankan pentingnya sentrisitas manusia. “Otomasi melengkapi pengambilan keputusan manusia,” katanya, dengan APA mempertahankan alur kerja manusia-di-tengah.

Tantangan unik Akamai

Shavit menjelaskan bahwa infrastruktur cloud Akamai yang besar dan kompleks Powers Content Delivery Network (CDN) dan layanan keamanan siber dikirimkan kepada “beberapa pelanggan dan industri yang paling menuntut di dunia” sambil mematuhi perjanjian tingkat layanan yang ketat (SLA) dan persyaratan kinerja.

Dia mencatat bahwa untuk beberapa layanan yang mereka konsumsi, mereka mungkin pelanggan terbesar untuk vendor mereka, menambahkan bahwa mereka telah melakukan “banyak rekayasa inti dan rekayasa ulang” dengan hyperscaler mereka untuk mendukung kebutuhan mereka.

Selanjutnya, Akamai melayani pelanggan dari berbagai ukuran dan industri, termasuk lembaga keuangan besar dan perusahaan kartu kredit. Layanan Perusahaan secara langsung terkait dengan postur keamanan pelanggannya.

Pada akhirnya, Akamai perlu menyeimbangkan semua kompleksitas ini dengan biaya. Shavit mencatat bahwa serangan kehidupan nyata terhadap pelanggan dapat mendorong kapasitas 100x atau 1.000x pada komponen spesifik infrastrukturnya. Tetapi “meningkatkan kapasitas cloud kami dengan 1.000x di muka tidak layak secara finansial,” katanya.

Timnya mempertimbangkan untuk mengoptimalkan sisi kode, tetapi kompleksitas yang melekat dari model bisnis mereka membutuhkan fokus pada infrastruktur inti itu sendiri.

Secara otomatis mengoptimalkan seluruh infrastruktur kubernetes

Yang benar -benar dibutuhkan Akamai adalah platform otomatisasi Kubernetes yang dapat mengoptimalkan biaya menjalankan seluruh infrastruktur intinya secara real time pada beberapa awan, Shavit menjelaskan, dan skala aplikasi naik dan turun berdasarkan permintaan yang terus berubah. Tetapi semua ini harus dilakukan tanpa mengorbankan kinerja aplikasi.

Sebelum menerapkan pemeran, Shavit mencatat bahwa tim DevOps Akamai secara manual menyetel semua beban kerja Kubernetes -nya hanya beberapa kali sebulan. Mengingat skala dan kompleksitas infrastrukturnya, itu menantang dan mahal. Dengan hanya menganalisis beban kerja secara sporadis, mereka jelas melewatkan potensi optimasi real-time.

“Sekarang, ratusan agen pemeran melakukan tuning yang sama, kecuali mereka melakukannya setiap detik setiap hari,” kata Shavit.

Fitur inti APA yang digunakan Akamai adalah autoscaling, otomatisasi Kubernetes yang mendalam dengan pengemasan tempat sampah (meminimalkan jumlah tempat sampah yang digunakan), pemilihan otomatis dari instance komputasi yang paling hemat biaya, hak-hak beban kerja, otomatisasi instance spot di seluruh siklus hidup instance dan kemampuan analitik biaya.

“Kami mendapat wawasan tentang analisis biaya dua menit ke dalam integrasi, yang merupakan sesuatu yang belum pernah kami lihat sebelumnya,” kata Shavit. “Setelah agen aktif dikerahkan, optimasi ditendang secara otomatis, dan penghematan mulai masuk.”

Contoh SPOT – di mana perusahaan dapat mengakses kapasitas cloud yang tidak digunakan dengan harga diskon – jelas masuk akal bisnis, tetapi ternyata rumit karena beban kerja Akamai yang kompleks, terutama Apache Spark, kata Shavit. Ini berarti mereka perlu untuk beban kerja yang terlalu banyak atau menempatkan lebih banyak tangan pada mereka, yang ternyata secara finansial berlawanan dengan intuisi.

Dengan Cast AI, mereka dapat menggunakan instance spot di Spark dengan “nol investasi” dari tim teknik atau operasi. Nilai instance spot “sangat jelas”; Mereka hanya perlu menemukan alat yang tepat untuk dapat menggunakannya. Ini adalah salah satu alasan mereka bergerak maju dengan para pemain, kata Shavit.

Sementara menghemat 2x atau 3x pada endi cloud mereka sangat bagus, Shavit menunjukkan bahwa otomatisasi tanpa intervensi manual adalah “tak ternilai.” Ini telah menghasilkan penghematan waktu “besar”.

Sebelum menerapkan CAST AI, timnya “terus -menerus bergerak di sekitar kenop dan sakelar” untuk memastikan bahwa lingkungan produksi dan pelanggan mereka setara dengan layanan yang mereka butuhkan untuk berinvestasi.

“Turunkan manfaat terbesar adalah fakta bahwa kita tidak perlu mengelola infrastruktur kita lagi,” kata Shavit. “Tim agen pemeran sekarang melakukan ini untuk kami. Itu telah membebaskan tim kami untuk fokus pada apa yang paling penting: merilis fitur lebih cepat bagi pelanggan kami.”

Catatan Editor: Di VB Transform bulan ini, Google Cloud CTO akan Grannis dan Highmark Health SVP dan Chief Analytics Officer Richard Clarke akan membahas tumpukan AI baru dalam perawatan kesehatan dan tantangan dunia nyata dalam menggunakan sistem AI multi-model di lingkungan yang kompleks dan diatur. Daftar hari ini.