Mixture of Experts (MoE) — Architektúra, ktorá mení pravidlá hry

Keď sa pozrieš na najväčšie AI modely posledných rokov — DeepSeek, Gemini, Llama 4, Mixtral či GPT-4 — väčšina z nich má jedno spoločné: využíva architektúru Mixture of Experts (MoE). V roku 2026 sa táto technika stala de facto štandardom pre frontier modely a čoraz viac preniká aj do menších, lokálne spustiteľných modelov. Ale ako to vlastne funguje a prečo na tom záleží?

1. Problém s tradičnými dense modelmi

Tradičné neurónové siete — takzvané dense modely — aktivujú pri každom vstupe všetky svoje parametre. Ak má model 100 miliárd parametrov, pri každom tokene prebehne výpočet cez celú sieť. Výsledkom je:

Obrovská spotreba energie pri každom dotaze
Pomalá odozva — vysoká latencia pri inferencii
Extrémne náklady na GPU hardware — model musí celý sedieť v pamäti
Lineárny rast nákladov so zvyšovaním počtu parametrov

Toto škálovanie narážalo na fyzické aj ekonomické limity. Nemal existovať spôsob, ako vytvoriť veľký model, ale pri inferencii používať len jeho časť? Odpoveďou je MoE.

2. Princíp MoE: Špecializovaní experti

Mixture of Experts nahrádza jednu veľkú sieť skupinou menších sietí — expertov — a pridáva router (tiež nazývaný gating network), ktorý pre každý vstupný token rozhoduje, ktorí experti sa aktivujú.

Krok za krokom:

Vstup prichádza — napríklad token z textu
Router analyzuje token a vypočíta skóre pre každého experta
Aktivujú sa len Top-K experti — typicky 2 z 8, alebo 8 z 64
Výstupy expertov sa vážene skombinujú podľa skóre routeru
Výsledok pokračuje ďalej v sieti

Kľúčový insight: nie všetci experti pracujú na každom tokene. Router sa počas tréningu naučí, že niektorí experti sú lepší na kód, iní na matematiku, ďalší na kreatívny text — táto špecializácia nevzniká explicitným naprogramovaním, ale organicky z dát.

Porovnanie architektúr:

Vlastnosť	Dense model	MoE model
Celkový počet parametrov	70B	140B
Aktívne parametre na token	70B	~17B
Kvalita výstupu	Dobrá	Porovnateľná alebo lepšia
Rýchlosť inference	Pomalšia	Rýchlejšia
Spotreba energie per token	Vyššia	Nižšia
Pamäťová náročnosť (celková)	Nižšia	Vyššia
Zložitosť tréningu	Nižšia	Vyššia

MoE model môže mať dvojnásobok celkových parametrov, ale pri inferencii je rýchlejší a lacnejší, pretože aktivuje len zlomok z nich. Tomuto sa hovorí sparse model — „riedky" model.

3. Router — mozog celej operácie

Router je najkritickejšia a zároveň najzaujímavejšia súčasť MoE architektúry. Existujú dve základné filozofie routingu, a výskum v tejto oblasti je stále veľmi aktívny.

Token Choice (klasický prístup)

Každý token si sám vyberie, ku ktorým expertom ide. Router vypočíta softmax skóre cez všetkých expertov a vyberie Top-K. Problém: populárni experti sú preťažení, menej populárni zostávajú nevyužití. Tomuto javu sa hovorí expert collapse.

Riešením je auxiliary load balancing loss — penalizácia pridaná do tréningovej straty, ktorá núti router rozdeľovať prácu rovnomerne. Je to kompromis medzi kvalitou rozhodnutí routeru a efektívnym využitím kapacity.

Expert Choice (novší prístup)

Expert si sám vyberá, ktoré tokeny spracuje — každý expert vyberie Top-K tokenov z batchu. Výsledok: dokonalé vyváženie záťaže bez potreby auxiliary loss. Nevýhoda: niektoré tokeny môžu byť spracované viacerými expertmi alebo žiadnym, čo komplikuje batchovanie.

Ďalšie výzvy routingu

Expert paralelizmus: V distribuovanom tréningu sú experti rozdelení na rôzne GPU. Router musí posielať aktivácie cez sieť — tzv. all-to-all komunikácia — čo pridáva latenciu. DeepSeek V3 vyvinul vlastnú komunikačnú optimalizáciu, ktorá túto réžiu dramaticky znížila.

Auxiliary-Free Routing: DeepSeek V3 a novšie modely experimentujú s eliminovaním auxiliary loss cez alternatívne mechanizmy — napríklad sigmoid namiesto softmax pri výbere expertov, alebo priame sledovanie biasu expertov. Výsledok je stabilnejší tréning bez potreby ladenia váhy penalizácie.

Top-K ako hyperparameter: Optimálny počet aktívnych expertov závisí od konkrétnej architektúry. Mixtral používa Top-2, DeepSeek V3 Top-8, Llama 4 Maverick Top-2 z 128 expertov. Nie je univerzálne správne číslo — záleží od veľkosti expertov, dát a cieľovej úlohy.

4. História a evolúcia MoE

Koncept MoE nie je nový. Pôvodný nápad pochádza z roku 1991, no trvalo desaťročia, kým sa dostal do centra pozornosti:

1991 — Robert Jacobs a Michael Jordan publikujú pôvodný paper o Mixture of Experts pre neurónové siete
2017 — Google publikuje Sparsely-Gated MoE — prvá úspešná aplikácia na jazykové modely vo veľkom merítku
2021 — Google Switch Transformer — škálovanie na bilióny parametrov s jedným aktívnym expertom (Top-1)
2022 — Google GLaM — MoE model s 1,2 biliónmi parametrov prekonáva GPT-3 pri nižšej spotrebe energie
2023 — Mixtral 8x7B od Mistral AI — prvý populárny open-source MoE model, demokratizuje prístup
2024 — DeepSeek V3 s 256 expertmi šokuje efektivitou tréningu; Gemini 1.5 Pro prináša MoE do mainstreamu s kontextovým oknom 1 milión tokenov
2025 — Llama 4 Scout a Maverick od Meta prinášajú MoE do open-source frontier priestoru; DeepSeek R1 kombinuje MoE s chain-of-thought uvažovaním a konkuruje modelom GPT-4o
2026 — MoE je štandardná architektúra; výskum sa presúva na hierarchické routovanie, dynamický Top-K a continual learning cez pridávanie expertov

5. MoE modely v praxi (2024–2026)

Mixtral 8x7B (Mistral AI, 2023)

Prelomový open-source model, ktorý dokazuje, že MoE nie je len pre veľké korporácie. Má 8 expertov veľkosti 7B, aktivujú sa 2 súčasne. Celkovo ~47B parametrov, aktívnych ~13B. Výkonom konkuruje modelom s 70B parametrami — čistá demonštrácia efektivity MoE. Spustiteľný lokálne na bežnom hardware.

DeepSeek V3 (koniec 2024)

Model, ktorý šokoval efektivitou tréningu. Používa 256 expertov s Top-8 routingom a inovácie ako Multi-head Latent Attention (MLA) a Auxiliary-Free Load Balancing. Celkovo ~671B parametrov, aktívnych ~37B. Tréning stál odhadom 6 miliónov dolárov — zlomok nákladov porovnateľných western modelov. Spustil vlnu diskusií o efektivite AI tréningu.

DeepSeek R1 (začiatok 2025)

Kombinuje MoE architektúru s dlhým chain-of-thought uvažovaním. Ukázal, že sparse architektúra zvláda aj komplexné matematické a kódovacie úlohy, kde sa čakalo, že dense modely budú dominovať. Open-source vydanie spôsobilo rozruch v komunite.

Llama 4 Scout a Maverick (Meta, apríl 2025)

Meta vstupuje na MoE scénu s dvojicou modelov. Scout (109B celkovo, 17B aktívnych, 16 expertov) je optimalizovaný pre lokálne nasadenie — zmestí sa na bežný high-end server. Maverick (400B celkovo, 17B aktívnych, 128 expertov) súperí s frontier modelmi pri nižšej cene inference. Oba ukazujú, že MoE je realizovateľný v plnom rozsahu aj pre open-source komunitu.

Gemini (Google DeepMind)

Google využíva MoE vo svojich Gemini modeloch. Presné detaily architektúry sú neverejné, ale efektivita Gemini 1.5 Pro — najmä jeho 1 miliónový kontextový token — je čiastočne umožnená MoE architektúrou, ktorá umožňuje väčšiu kapacitu bez proporcionálneho rastu inference nákladov.

GPT-4 (OpenAI)

OpenAI nikdy oficiálne nepotvrdilo architektúru GPT-4, no analýzy a úniky naznačujú MoE s viacerými expertmi. Je to jeden z mála frontier modelov, kde architektúra zostáva záhadou — čo samo o sebe hovorí o strategickom charaktere informácií o MoE dizajne.

6. Multimodálne MoE

MoE sa nepresadzuje len v textových modeloch. Od roku 2025 sledujeme jeho rozšírenie na multimodálne systémy:

Text a obrázky: Modely ako Gemini 1.5 spracúvajú vizuálne tokeny cez rovnaký MoE mechanizmus ako textové. Niektorí experti sa špecializujú na vizuálne vzory, iní na vzťahy medzi textom a obrazom. Výhoda MoE je tu dvojnásobná — väčšia kapacita pre viac modalít a efektívnejšia inference.

Video a audio: Multimodálne MoE modely začínajú zvládať video (sekvencia vizuálnych tokenov) a audio (spektrogramy ako obrázky). Výzva je v tom, že rôzne modality môžu preferovať rôznych expertov — router musí zvládnuť multimodálne routovanie bez kollapsu na jednu modalitu.

MoE v generatívnych modeloch: Generovanie obrázkov a videa experimentuje s MoE v denoising krokoch — rôzni experti sa špecializujú na rôzne úrovne detailov alebo frekvenčné pásma. Výsledok je vyššia kvalita pri nižšej latencii.

Toto rozšírenie nie je prekvapivé: výhody MoE — viac kapacity, nižšie aktívne náklady — sú rovnako hodnotné pre multimodálne systémy ako pre čisto jazykové modely.

7. Výhody a nevýhody MoE

Výhody:

Efektivita pri inferencii: Viac znalostí za menej výpočtov per token — hlavný dôvod, prečo frontier modely siahnú po MoE
Škálovateľnosť: Pridanie expertov je lacnejšie a jednoduchšie ako zväčšovanie dense siete
Prirodzená špecializácia: Experti sa sami naučia špecializovať na rôzne úlohy bez explicitného programovania
Nákladová efektivita: Nižšie inference náklady pri porovnateľnej alebo lepšej kvalite

Nevýhody:

Pamäťové nároky: Všetci experti musia byť načítaní do pamäte, aj keď nie sú aktívni — DeepSeek V3 s 671B parametrami potrebuje podstatne viac VRAM ako dense model s podobnými aktívnymi parametrami
Komunikačná réžia: Distribuovaný tréning vyžaduje all-to-all komunikáciu medzi GPU, čo pridáva latenciu a komplexitu infraštruktúry
Nestabilita tréningu: Load balancing a routing pridávajú komplexitu; konvergenčné problémy sú bežnejšie ako u dense modelov
Zložitejšia kvantizácia: Kompresia MoE modelov je náročnejšia — nie každý expert reaguje na kvantizáciu rovnako, čo môže viesť k nerovnomernému poklesu kvality
Nevhodný pre malé modely: Výhody MoE sa prejavujú pri dostatočnom počte parametrov; malé MoE modely môžu byť menej efektívne ako porovnateľné dense modely

8. Praktický pohľad: Kedy siahnuť po MoE?

Ak si vývojár alebo technicky zdatný používateľ vyberajúci model pre konkrétnu aplikáciu, tu je zjednodušený rozhodovací rámec:

MoE model je vhodnejší, keď:

Prioritou je nízka latencia inference pri veľkej kapacite modelu
Pracuješ so širokým spektrom úloh — kód, text, matematika, analýza — v jednej aplikácii
Máš dostatok VRAM na celý model (aj nevyužívaní experti zaberajú miesto)
Záleží ti na nákladoch pri vysokom objeme požiadaviek

Dense model je vhodnejší, keď:

Máš obmedzené GPU zdroje a potrebuješ model, ktorý sa do nich zmestí
Pracuješ na úzkej, špecifickej úlohe — napríklad iba klasifikácia sentimentu alebo extrakcia entít
Potrebuješ jednoduchú kvantizáciu a nasadenie na edge zariadeniach
Riešiš problémy s reprodukovateľnosťou — dense modely sú deterministickejšie a predvídateľnejšie

Pri porovnávaní modelov sa dnes odporúča pozerať nielen na celkový počet parametrov, ale aj na počet aktívnych parametrov a FLOPs per token. Číslo „671B parametrov" znie impozantne, ale ak je aktívnych len 37B, je to iná inference záťaž ako u dense modelu s 70B.

9. Budúcnosť MoE

MoE architektúra sa stala štandardom, no výskum zďaleka neskončil:

Hierarchické MoE: Namiesto jednej vrstvy expertov budú experti organizovaní do hierarchií — meta-router vyberá skupiny expertov, lokálne routery rozhodujú v rámci skupiny. Toto umožňuje jemnozrnnejšiu špecializáciu pri zachovaní efektivity.

Dynamický Top-K: Namiesto pevného počtu aktívnych expertov bude router dynamicky rozhodovať podľa zložitosti tokenu — jednoduchý token aktivuje jedného experta, zložitý matematický výraz štyri alebo päť. Prvé výsledky sú sľubné.

MoE + dlhé uvažovanie: DeepSeek R1 ukázal, že kombinácia MoE s reťazovým uvažovaním (chain-of-thought) je veľmi silná. Budúce modely budú pravdepodobne využívať rôznych expertov aj na rôzne kroky uvažovania — niektorí experti pre "plánovanie", iní pre "výpočet", ďalší pre "verifikáciu".

Continual Learning cez expertov: Pridávanie nových znalostí (nové domény, nové jazyky, nové fakty) bude možné cez pridávanie nových expertov bez pretrénovávania celého modelu. To dramaticky znižuje náklady na aktualizácie a otvára cestu k modelom, ktoré sa aktualizujú priebežne.

Edge MoE: Menšie MoE modely pre mobilné zariadenia — kde sa stiahnu len vybraní experti potrební pre konkrétnu úlohu používateľa. Namiesto stiahnutia celého modelu sa stiahne len relevantná "podmnožina znalostí".

Prečo by ťa to malo zaujímať?

Ak používaš moderné AI nástroje, pravdepodobne už každý deň interaguješ s MoE modelom. Pochopenie tejto architektúry ti pomôže:

Pochopiť, prečo má model 400 miliárd parametrov, ale beží rýchlejšie ako niečo s 70 miliardami
Vyhodnotiť nové modely nielen podľa celkového počtu parametrov, ale aj podľa aktívnych parametrov a skutočnej efektivity
Predvídať trendy: čo dnes funguje pri frontier modeloch, o 2–3 roky preniká do lokálnych a edge modelov

MoE nie je len technický detail — je to filozofia: nie všetko musíš vedieť naraz, stačí vedieť, koho sa opýtať. Neurónové siete sa to naučili. Možno aj my.