Bergabunglah dengan acara yang dipercaya oleh para pemimpin perusahaan selama hampir dua dekade. VB Transform menyatukan orang -orang yang membangun strategi AI perusahaan nyata. Pelajari lebih lanjut
Groq, startup Inferensi Kecerdasan Buatan, membuat permainan agresif untuk menantang penyedia cloud yang mapan seperti Amazon Web Services dan Google dengan dua pengumuman utama yang dapat membentuk kembali bagaimana pengembang mengakses model AI berkinerja tinggi.
Perusahaan mengumumkan pada hari Senin bahwa mereka sekarang mendukung model bahasa QWEN3 32B Alibaba dengan jendela konteks 131.000 yang penuh-kemampuan teknis yang diklaim tidak dapat ditandingi oleh penyedia inferensi cepat lainnya. Bersamaan dengan itu, Groq menjadi penyedia inferensi resmi pada platform memeluk Face, berpotensi mengekspos teknologinya kepada jutaan pengembang di seluruh dunia.
Langkah ini adalah upaya paling berani Groq untuk mengukir pangsa pasar di pasar inferensi AI yang berkembang pesat, di mana perusahaan seperti AWS Bedrock, Google Vertex AI, dan Microsoft Azure telah mendominasi dengan menawarkan akses yang nyaman ke model bahasa terkemuka.
“Integrasi wajah yang memeluk memperluas ekosistem GROQ yang menyediakan pilihan pengembang dan lebih lanjut mengurangi hambatan untuk masuk dalam mengadopsi inferensi AI yang cepat dan efisien,” kata juru bicara GROQ kepada VentureBeat. “Groq adalah satu -satunya penyedia inferensi yang memungkinkan jendela konteks 131k penuh, memungkinkan pengembang untuk membangun aplikasi pada skala.”
Bagaimana Konteks Konteks 131K Groq mengklaim menumpuk terhadap pesaing inferensi AI
Penegasan Groq tentang Windows Konteks – Jumlah teks yang dapat diproses oleh model AI sekaligus – menyerang pada batasan inti yang telah mengganggu aplikasi AI praktis. Sebagian besar penyedia inferensi berjuang untuk mempertahankan kecepatan dan efektivitas biaya saat menangani jendela konteks besar, yang penting untuk tugas-tugas seperti menganalisis seluruh dokumen atau memelihara percakapan yang lama.
Perusahaan pembandingan independen analisis buatan mengukur penyebaran QWEN3 32B GROQ yang berjalan pada sekitar 535 token per detik, kecepatan yang akan memungkinkan pemrosesan waktu nyata dari dokumen panjang atau tugas penalaran yang kompleks. Perusahaan ini memberi harga layanan pada $ 0,29 per juta token input dan token output $ 0,59 per juta – tarif yang meremehkan banyak penyedia mapan.
“Groq menawarkan tumpukan yang terintegrasi sepenuhnya, memberikan komputasi inferensi yang dibangun untuk skala, yang berarti kami dapat terus meningkatkan biaya inferensi sambil juga memastikan kinerja yang dibutuhkan pengembang untuk membangun solusi AI nyata,” juru bicara itu menjelaskan ketika ditanya tentang kelayakan ekonomi dari mendukung jendela konteks besar -besaran.
Keunggulan teknis berasal dari arsitektur unit pemrosesan bahasa Custom (LPU) Groq, yang dirancang khusus untuk inferensi AI daripada unit pemrosesan grafis (GPU) tujuan umum yang diandalkan oleh sebagian besar pesaing. Pendekatan perangkat keras khusus ini memungkinkan GROQ untuk menangani operasi intensif memori seperti jendela konteks besar secara lebih efisien.
Mengapa Integrasi Wajah Pelukan Groq Dapat Membuka Jutaan Pengembang AI Baru
Integrasi dengan wajah pelukan mungkin merupakan langkah strategis jangka panjang yang lebih signifikan. Hugging Face telah menjadi platform de facto untuk pengembangan AI open-source, menampung ratusan ribu model dan melayani jutaan pengembang setiap bulan. Dengan menjadi penyedia inferensi resmi, GROQ mendapatkan akses ke ekosistem pengembang yang luas ini dengan penagihan yang efisien dan akses terpadu.
Pengembang sekarang dapat memilih Groq sebagai penyedia langsung di dalam taman bermain wajah yang memeluk atau API, dengan penggunaan yang ditagih ke akun pemeluk wajah mereka. Integrasi ini mendukung berbagai model populer termasuk seri Llama Meta, model Gemma Google, dan QWEN3 32B yang baru ditambahkan.
“Kolaborasi antara Hugging Face dan GROQ ini merupakan langkah maju yang signifikan dalam membuat inferensi AI berkinerja tinggi lebih mudah diakses dan efisien,” menurut pernyataan bersama.
Kemitraan ini dapat secara dramatis meningkatkan basis pengguna dan volume transaksi GROQ, tetapi juga menimbulkan pertanyaan tentang kemampuan perusahaan untuk mempertahankan kinerja pada skala.
Infrastruktur Can Groq bersaing dengan AWS Bedrock dan Google Vertex AI pada skala
Ketika ditekan tentang rencana ekspansi infrastruktur untuk menangani lalu lintas baru yang berpotensi signifikan dari memeluk wajah, juru bicara GROQ mengungkapkan jejak global perusahaan saat ini: “Saat ini, infrastruktur global GROQ mencakup lokasi pusat data di seluruh AS, Kanada dan Timur Tengah, yang melayani lebih dari 20 juta token per detik.”
Rencana perusahaan melanjutkan ekspansi internasional, meskipun rincian spesifik tidak disediakan. Upaya penskalaan global ini akan sangat penting karena GROQ menghadapi peningkatan tekanan dari pesaing yang didanai dengan baik dengan sumber daya infrastruktur yang lebih dalam.
Layanan Bedrock Amazon, misalnya, memanfaatkan infrastruktur cloud global besar AWS, sementara Google's Vertex AI mendapat manfaat dari jaringan pusat data raksasa di seluruh dunia. Layanan Openai Azure Microsoft memiliki dukungan infrastruktur yang sama.
Namun, juru bicara GROQ menyatakan keyakinannya pada pendekatan yang berbeda perusahaan: “Sebagai sebuah industri, kita baru saja mulai melihat awal permintaan nyata untuk komputasi inferensi. Bahkan jika GROQ akan menggunakan dua kali lipat dari jumlah infrastruktur yang direncanakan tahun ini, masih tidak akan ada kapasitas yang cukup untuk memenuhi permintaan hari ini.”
Betapa agresif harga inferensi AI dapat memengaruhi model bisnis Groq
Pasar inferensi AI telah ditandai dengan harga yang agresif dan margin setipis pisau cukur saat penyedia bersaing untuk pangsa pasar. Harga kompetitif GROQ menimbulkan pertanyaan tentang profitabilitas jangka panjang, terutama mengingat sifat modal-intensif dari pengembangan dan penyebaran perangkat keras khusus.
“Ketika kita melihat lebih banyak dan solusi AI baru datang ke pasar dan diadopsi, permintaan inferensi akan terus tumbuh pada tingkat eksponensial,” kata juru bicara itu ketika ditanya tentang jalan menuju profitabilitas. “Tujuan utama kami adalah untuk meningkatkan permintaan itu, memanfaatkan infrastruktur kami untuk mendorong biaya penghitungan inferensi serendah mungkin dan memungkinkan ekonomi AI di masa depan.”
Strategi ini – bertaruh pada pertumbuhan volume besar -besaran untuk mencapai profitabilitas meskipun margin rendah – pendekatan cermin yang diambil oleh penyedia infrastruktur lainnya, meskipun keberhasilan masih jauh dari dijamin.
Apa arti adopsi AI perusahaan untuk pasar inferensi senilai $ 154 miliar
Pengumuman datang ketika Pasar Inferensi AI mengalami pertumbuhan eksplosif. Perusahaan riset Grand View Research memperkirakan pasar chip inferensi AI global akan mencapai $ 154,9 miliar pada tahun 2030, didorong oleh peningkatan penyebaran aplikasi AI di seluruh industri.
Untuk pembuat keputusan perusahaan, gerakan GROQ mewakili peluang dan risiko. Klaim kinerja perusahaan, jika divalidasi pada skala, dapat secara signifikan mengurangi biaya untuk aplikasi AI-heavy. Namun, mengandalkan penyedia yang lebih kecil juga memperkenalkan potensi rantai pasokan dan risiko kontinuitas dibandingkan dengan raksasa cloud yang sudah ada.
Kemampuan teknis untuk menangani jendela konteks penuh dapat membuktikan sangat berharga untuk aplikasi perusahaan yang melibatkan analisis dokumen, penelitian hukum, atau tugas penalaran yang kompleks di mana mempertahankan konteks di seluruh interaksi yang panjang sangat penting.
Pengumuman ganda GROQ merupakan pertaruhan yang diperhitungkan bahwa perangkat keras khusus dan harga agresif dapat mengatasi keunggulan infrastruktur raksasa teknologi. Apakah strategi ini berhasil kemungkinan akan tergantung pada kemampuan perusahaan untuk mempertahankan keunggulan kinerja saat penskalaan secara global – tantangan yang terbukti sulit bagi banyak startup infrastruktur.
Untuk saat ini, pengembang mendapatkan opsi kinerja tinggi lainnya di pasar yang semakin kompetitif, sementara perusahaan menonton untuk melihat apakah janji teknis GROQ diterjemahkan menjadi layanan yang andal dan tingkat produksi pada skala.
About the Author
