Bergabunglah dengan buletin harian dan mingguan kami untuk pembaruan terbaru dan konten eksklusif tentang liputan AI terkemuka di industri. Pelajari lebih lanjut
Bahkan sebagai bahasa besar dan model penalaran tetap populer, organisasi semakin beralih ke model yang lebih kecil untuk menjalankan proses AI dengan lebih sedikit energi dan masalah biaya.
Sementara beberapa organisasi menyaring model yang lebih besar untuk versi yang lebih kecil, penyedia model seperti Google terus merilis model bahasa kecil (SLM) sebagai alternatif dari model bahasa besar (LLM), yang mungkin lebih mahal untuk dijalankan tanpa mengorbankan kinerja atau akurasi.
Dengan mengingat hal itu, Google telah merilis versi terbaru dari model kecilnya, Gemma, yang menampilkan jendela konteks yang diperluas, parameter yang lebih besar dan kemampuan penalaran multimodal yang lebih banyak.
Gemma 3, yang memiliki kekuatan pemrosesan yang sama dengan model Gemini 2.0 yang lebih besar, tetap paling baik digunakan oleh perangkat yang lebih kecil seperti ponsel dan laptop. Model baru ini memiliki empat ukuran: 1b, 4b, 12b dan 27b parameter.
Dengan jendela konteks yang lebih besar dari 128K token – sebaliknya, Gemma 2 memiliki jendela konteks 80K – Gemma 3 dapat memahami lebih banyak informasi dan permintaan yang rumit. Google memperbarui Gemma 3 untuk bekerja dalam 140 bahasa, menganalisis gambar, teks, dan video pendek dan fungsi dukungan untuk mengotomatiskan tugas dan alur kerja agen.
Gemma memberikan kinerja yang kuat
Untuk mengurangi biaya komputasi lebih jauh, Google telah memperkenalkan versi GEMMA yang terkuantisasi. Pikirkan model kuantisasi sebagai model terkompresi. Ini terjadi melalui proses “mengurangi ketepatan nilai numerik dalam bobot model” tanpa mengorbankan akurasi.
Google mengatakan Gemma 3 “memberikan kinerja canggih untuk ukurannya” dan mengungguli LLM terkemuka seperti LLAMA-405B, Deepseek-V3 dan O3-Mini. Gemma 3 27b, khususnya, berada di urutan kedua setelah Deepseek-R1 di Chatbot Arena ELO Skor Tes. Ini menduduki puncak model yang lebih kecil Deepseek, Deepseek V3, O3-Mini Openai, Meta Llama-405b dan Mistral Large.
Dengan mengukur Gemma 3, pengguna dapat meningkatkan kinerja, menjalankan model dan membangun aplikasi “yang dapat sesuai dengan satu host GPU dan Tensor Processing Unit (TPU).”
Gemma 3 terintegrasi dengan alat pengembang seperti memeluk Face Transformers, Ollama, Jax, Keras, Pytorch dan lainnya. Pengguna juga dapat mengakses Gemma 3 melalui Google AI Studio, memeluk wajah atau kaggle. Perusahaan dan pengembang dapat meminta akses ke API Gemma 3 melalui AI Studio.
Perisai Gemma untuk Keamanan
Google mengatakan telah membangun protokol keselamatan menjadi Gemma 3, termasuk pemeriksa keselamatan untuk gambar yang disebut Shieldgemma 2.
“Pengembangan Gemma 3 termasuk tata kelola data yang luas, penyelarasan dengan kebijakan keselamatan kami melalui evaluasi tolok ukur yang menyempurnakan dan kuat,” tulis Google dalam posting blog. “Sementara pengujian menyeluruh dari model yang lebih mampu sering menginformasikan penilaian kami tentang yang kurang mampu, kinerja STEM Gemma 3 yang ditingkatkan mendorong evaluasi spesifik yang berfokus pada potensinya untuk disalahgunakan dalam menciptakan zat berbahaya; Hasilnya menunjukkan tingkat risiko rendah. ”
Shieldgemma 2 adalah pemeriksa keselamatan gambar parameter 4B yang dibangun di atas pondasi Gemma 3. Ia menemukan dan mencegah model menanggapi dengan gambar yang mengandung konten eksplisit seksual, kekerasan dan materi berbahaya lainnya. Pengguna dapat menyesuaikan Shieldgemma 2 agar sesuai dengan kebutuhan spesifik mereka.
Model kecil dan distilasi sedang meningkat
Sejak Google pertama kali merilis Gemma pada Februari 2024, SLMS telah melihat peningkatan minat. Model kecil lainnya seperti Microsoft PHI-4 dan Mistral Small 3 menunjukkan bahwa perusahaan ingin membangun aplikasi dengan model sekuat LLM, tetapi tidak harus menggunakan seluruh luas dari apa yang mampu dilakukan oleh LLM.
Perusahaan juga mulai beralih ke versi yang lebih kecil dari LLM yang mereka sukai melalui distilasi. Untuk lebih jelasnya, Gemma bukanlah distilasi Gemini 2.0; Sebaliknya, dilatih dengan dataset dan arsitektur yang sama. Model suling belajar dari model yang lebih besar, yang tidak dimiliki Gemma.
Organisasi sering lebih suka menyesuaikan kasus penggunaan tertentu dengan suatu model. Alih-alih menggunakan LLM seperti O3-Mini atau Claude 3.7 sonnet ke editor kode sederhana, model yang lebih kecil, apakah SLM atau versi suling, dapat dengan mudah melakukan tugas-tugas tersebut tanpa berlebihan model besar.
