OpenInfer telah mengumpulkan $ 8 juta dalam pendanaan untuk mendefinisikan ulang inferensi AI untuk aplikasi Edge.
Ini adalah anak otak Behnam Bastani dan Reza Nourai, yang menghabiskan hampir satu dekade membangun dan menskalakan sistem AI bersama -sama di Lab Realitas Meta dan Roblox.
Melalui pekerjaan mereka di garis depan AI dan desain sistem, Bastani dan Nourai menyaksikan secara langsung seberapa dalam arsitektur sistem memungkinkan inferensi AI berskala besar yang berkelanjutan. Namun, inferensi AI saat ini tetap terkunci di belakang API cloud dan sistem yang di-host-penghalang untuk aplikasi tepi latensi rendah, pribadi, dan hemat biaya. OpenInfer mengubahnya. Ia ingin agnostik untuk jenis perangkat di tepi, kata Bastani dalam sebuah wawancara dengan GamesBeat.
Dengan memungkinkan eksekusi mulus model AI besar secara langsung pada perangkat – dari SOC ke awan – Openinfer menghilangkan hambatan ini, memungkinkan inferensi model AI tanpa mengurangi kinerja.
Implikasinya? Bayangkan sebuah dunia di mana ponsel Anda mengantisipasi kebutuhan Anda secara real time-menerjemahkan bahasa secara instan, meningkatkan foto dengan presisi kualitas studio, atau menyalakan asisten suara yang benar-benar memahami Anda. Dengan inferensi AI berjalan langsung di perangkat Anda, pengguna dapat mengharapkan kinerja yang lebih cepat, privasi yang lebih besar, dan fungsionalitas tanpa gangguan di mana pun mereka berada. Pergeseran ini menghilangkan lag dan membawa komputasi yang cerdas dan berkecepatan tinggi ke telapak tangan Anda.
Membangun Mesin OpenInfer: Mesin Inferensi Agen AI
Sejak mendirikan perusahaan enam bulan lalu, Bastani dan Nourai telah mengumpulkan tim
Tujuh, termasuk mantan kolega dari waktu mereka di Meta. Saat berada di Meta, mereka telah membangun Oculus
Tautan bersama, menampilkan keahlian mereka dalam desain sistem berkinerja tinggi dan berkinerja tinggi.
Bastani sebelumnya menjabat sebagai Direktur Arsitektur di Meta's Reality Labs dan memimpin tim di
Google fokus pada rendering seluler, VR, dan sistem tampilan. Baru -baru ini, dia senior
Direktur Teknik untuk Mesin AI di Roblox. Nourai telah memegang peran teknik senior
Grafik dan permainan di para pemimpin industri termasuk Roblox, Meta, Magic Leap, dan Microsoft.
OpenInfer sedang membangun mesin OpenInfer, apa yang mereka sebut “mesin inferensi agen AI”
Dirancang untuk kinerja yang tak tertandingi dan integrasi yang mulus.
Untuk mencapai tujuan pertama dari kinerja yang tak tertandingi, rilis pertama dari OpenInfer
Mesin memberikan inferensi 2-3x lebih cepat dibandingkan dengan llama.cpp dan ollama untuk Deepseek Distilled
model. Dorongan ini berasal dari optimasi yang ditargetkan, termasuk penanganan yang ramping
nilai terkuantisasi, peningkatan akses memori melalui caching yang ditingkatkan, dan model khusus
Tuning – Semua tanpa memerlukan modifikasi pada model.
Untuk mencapai tujuan kedua integrasi tanpa batas dengan penyebaran yang mudah,
OpenInfer Engine dirancang sebagai pengganti drop-in, memungkinkan pengguna untuk beralih titik akhir
cukup dengan memperbarui URL. Agen dan kerangka kerja yang ada terus berfungsi dengan mulus,
tanpa modifikasi.
“Kemajuan OpenInfer menandai lompatan besar bagi pengembang AI. Dengan meningkatkan secara signifikan
Kecepatan inferensi, Behnam dan timnya membuat aplikasi AI real-time lebih responsif,
mempercepat siklus pengembangan, dan memungkinkan model yang kuat untuk berjalan secara efisien
perangkat. Ini membuka kemungkinan baru untuk intelijen di perangkat dan memperluas apa yang mungkin terjadi
Inovasi yang digerakkan oleh AI, ”kata Ernestine Fu Mak, Managing Partner di Brave Capital and An
Investor di OpenInfer.
OpenInfer adalah perintis optimasi khusus perangkat keras untuk mendorong inferensi AI berkinerja tinggi
Pada model besar – para pemimpin industri yang berkinerja baik di perangkat tepi. Dengan merancang inferensi dari
Tanah ke atas, mereka membuka kunci throughput yang lebih tinggi, penggunaan memori yang lebih rendah, dan mulus
Eksekusi pada perangkat keras lokal.
Roadmap masa depan: Inferensi AI yang mulus di semua perangkat
Peluncuran OpenInfer tepat waktu, terutama mengingat berita Deepseek baru-baru ini. Sebagai adopsi AI
Accelerate, Inference telah melampaui pelatihan sebagai pendorong utama permintaan komputasi. Ketika
Inovasi seperti Deepseek Mengurangi persyaratan komputasi untuk pelatihan dan inferensi,
Aplikasi berbasis tepi masih berjuang dengan kinerja dan efisiensi karena pemrosesan yang terbatas
kekuatan. Menjalankan model AI besar pada perangkat konsumen menuntut metode inferensi baru itu
Aktifkan kinerja latensi rendah, throughput tinggi tanpa mengandalkan infrastruktur cloud,
Menciptakan peluang yang signifikan untuk perusahaan yang mengoptimalkan AI untuk perangkat keras lokal.
“Tanpa OpenInfer, inferensi AI pada perangkat tepi tidak efisien karena tidak adanya yang jelas
Lapisan abstraksi perangkat keras. Tantangan ini membuat menggunakan model besar
platform komputasi yang dibatasi sangat sulit, mendorong beban kerja AI kembali ke
Cloud – di mana mereka menjadi mahal, lambat, dan bergantung pada kondisi jaringan. OpenInfer
Merevolusi inferensi di tepi, ”kata Gokul Rajaram, seorang investor di OpenInfer. Rajaram adalah
seorang investor malaikat dan saat ini anggota dewan Coinbase dan Pinterest.
Secara khusus, OpenInfer diposisikan secara unik untuk membantu vendor silikon dan perangkat keras meningkatkan AI
Kinerja inferensi pada perangkat. Perusahaan yang membutuhkan AI di perangkat untuk privasi, biaya, atau
Keandalan dapat memanfaatkan OpenInfer, dengan aplikasi utama dalam robotika, pertahanan, AI agen, dan
Pengembangan Model.
Dalam game mobile, teknologi OpenInfer memungkinkan gameplay yang sangat responsif dengan waktu nyata
AI adaptif. Mengaktifkan inferensi on-sistem memungkinkan untuk berkurangnya latensi dan lebih pintar dalam game
dinamika. Pemain akan menikmati grafik yang lebih halus, tantangan yang dipersonalisasi dengan AI, dan a
Pengalaman yang lebih mendalam berkembang dengan setiap gerakan.
“Di OpenInfer, visi kami adalah mengintegrasikan AI dengan mulus ke dalam setiap permukaan,” kata Bastani. “Kami bertujuan untuk membangun OpenInfer sebagai mesin inferensi default di semua perangkat-AI yang berkuasa di mobil self-driving, laptop, perangkat seluler, robot, dan banyak lagi.”
OpenInfer telah mengumpulkan putaran benih $ 8 juta untuk putaran pembiayaan pertamanya. Investor termasuk
Modal Berani, COTA Capital, Essence VC, Operator Stack, Stemai, Co-Founder Oculus VR dan mantan CEO Brendan Iribe, Kepala Ilmuwan Google Deepmind Jeff Dean, Microsoft Experiences dan Chief Product Officer Aparna Chennapragada, Investor Angel Gokul Rajaram, dan Perangkat, Aparna Chennapragada, malaikat Gokul Rajaram, dan Perangkat, dan Investor Angel Gokul Rajaram, dan Perangkat, dan Perangkat, Aparna Chennapragada, Goctor Rajaram, dan Malaikat, dan Investor Angel Gokor, .
“Ekosistem AI saat ini didominasi oleh beberapa pemain terpusat yang mengontrol akses
Inferensi melalui API cloud dan layanan yang di -host. Di OpenInfer, kami mengubahnya, ”kata
Bastani. “Nama kami mencerminkan misi kami: kami sedang 'membuka' akses ke inferensi AI – memberikan
semua orang kemampuan untuk menjalankan model AI yang kuat secara lokal, tanpa dikunci ke awan yang mahal
Layanan. Kami percaya pada masa depan di mana AI dapat diakses, terdesentralisasi, dan benar -benar di tangan
penggunanya. “
