Gemma 3

Gemma 3 je tretia generácia open-source jazykových modelov od Google DeepMind, navrhnutá pre efektívny beh na lokálnom hardvéri – od notebookov až po single-GPU servery. Pokračuje v tradícii sprístupňovania výskumných modelov širokej komunite.

1. Čo je Gemma 3

Gemma 3 je rodina modelov s veľkosťami 1B, 4B, 12B a 27B parametrov, pričom všetky sú navrhnuté na maximálnu efektivitu:

  • Multimodálny vstup – Gemma 3 (od 4B vyššie) dokáže spracovať nielen text, ale aj obrázky, čo z nej robí prvú multimodálnu Gemmu
  • Kontext 128K tokenov – Výrazný skok oproti predchádzajúcim generáciám, umožňuje spracovanie dlhých dokumentov, kódových báz a konverzácií
  • Sliding window attention – Kombinácia lokálnej (1024 tokenov) a globálnej pozornosti pre efektívnu prácu s pamäťou
  • Kvantizácia – Oficiálna podpora 4-bitovej kvantizácie, čo umožňuje beh 27B modelu na 16 GB VRAM

2. Architektúra a technické inovácie

Gemma 3 prináša niekoľko architektonických zmien oproti Gemma 2:

Sliding Window Attention (SWA)

Namiesto klasickej plnej pozornosti na všetky tokeny využíva Gemma 3 striedanie dvoch typov vrstiev:

  • Lokálne vrstvy – pozornosť len na najbližších 1024 tokenov (rýchle, pamäťovo úsporné)
  • Globálne vrstvy – plná pozornosť na celý kontext (každá 5. vrstva)

Tento prístup dramaticky znižuje pamäťové nároky pri zachovaní schopnosti pracovať s dlhým kontextom.

Multimodálny encoder

Pre spracovanie obrázkov používa Gemma 3 encoder založený na SigLIP (Sigmoid Loss for Image-Language Pre-training):

  • Obrázok sa rozdelí na patches (oblasti) a zakóduje do embeddings
  • Tieto embeddings sa prepoja s textovými tokenmi cez špeciálne Pan & Scan rozloženie – obrázok sa adaptívne rozreže na menšie časti pre lepšie zachytenie detailov

Tokenizátor

Gemma 3 používa rozšírený tokenizátor s 262K slovníkom (oproti 256K v Gemma 2), čo zlepšuje pokrytie jazykov mimo angličtiny – vrátane slovenčiny a češtiny.

3. Výkon a porovnanie

Gemma 3 27B dosahuje výsledky porovnateľné s výrazne väčšími modelmi:

  • MMLU (všeobecné znalosti): 75.6% – porovnateľné s Llama 3.1 70B
  • HumanEval (kódovanie): 78.0% – konkurenčné k väčším modelom
  • Multijazykové benchmarky: Výrazné zlepšenie v jazykoch ako nemčina, francúzština, japonština
  • Vision benchmarky: Na úrovni špecializovaných multimodálnych modelov pri zlomku veľkosti

Pre kontext – Gemma 3 27B beží na jedinom GPU (napr. RTX 4090 s 24 GB), zatiaľ čo porovnateľné modely vyžadujú multi-GPU setup.

4. Praktické využitie

Lokálny AI asistent

Gemma 3 je ideálna pre beh lokálnych AI asistentov cez nástroje ako Ollama alebo llama.cpp:

ollama run gemma3:27b

Model beží plne offline, bez odosielania dát na server – vhodné pre prácu s citlivými dokumentmi.

Fine-tuning a prispôsobenie

Vďaka LoRA a QLoRA je možné Gemmu 3 efektívne doladiť na špecifické úlohy:

  • Zákaznícka podpora v konkrétnom jazyku
  • Analýza domén-špecifických dokumentov (právne, medicínske)
  • Generovanie kódu v špecifickom frameworku

Multimodálne aplikácie

  • Popis a analýza obrázkov
  • Extrakcia textu z fotografií (OCR-like schopnosti)
  • Vizuálne otázky a odpovede (VQA)

5. Licencia a ekosystém

Gemma 3 používa Gemma License – permisívnu licenciu, ktorá umožňuje:

  • Komerčné použitie
  • Modifikáciu a redistribúciu
  • Fine-tuning a vytváranie derivátov

Obmedzenia sa týkajú primárne generovania škodlivého obsahu a zneužitia modelu.

Ekosystém:

  • Google AI Studio – bezplatný playground pre testovanie
  • Hugging Face – oficiálne váhy a komunitné fine-tuny
  • Kaggle – notebooky a datasety pre experimentovanie
  • Vertex AI – produkčný deployment v Google Cloud

6. Gemma 3 vs konkurencia

Aspekt Gemma 3 27B Llama 3.1 70B Qwen 2.5 72B
Parametre 27B 70B 72B
Kontext 128K 128K 128K
Multimodálne ✅ Áno ❌ Nie ✅ Áno
Min. VRAM 16 GB (Q4) 40+ GB 40+ GB
Licencia Permisívna Permisívna Apache 2.0

Hlavná výhoda Gemmy 3 je pomer výkonu k veľkosti – dosahuje výsledky veľkých modelov pri zlomku hardvérových nárokov.

7. Budúcnosť

Google DeepMind naznačil ďalší vývoj v smere:

  • Gemma 3n – ešte menšie modely optimalizované pre mobilné zariadenia
  • Lepšia integrácia s Android a on-device AI
  • Rozšírenie multimodálnych schopností o audio a video

Gemma 3 reprezentuje trend demokratizácie AI – kvalitné modely dostupné na bežnom hardvéri, bez potreby cloudových služieb a drahých GPU clusterov.

Zhrnutie

Gemma 3 je najdostupnejší vysoko-kvalitný open-source model od Google. Kombinácia multimodality, dlhého kontextu a efektívnej architektúry z nej robí silného kandidáta pre lokálne AI aplikácie. Ak máte GPU s 16+ GB VRAM, Gemma 3 27B je jednou z najlepších volieb pre lokálny AI.