Inductive Bias

Inductive Bias je sada „predpokladov“, ktoré má učící sa algoritmus zabudované, aby vedel z obmedzených dát odhadnúť niečo aj o prípadoch, ktoré ešte nevidel. Bez tohto biasu by sa model často správal ako študent, ktorý sa naučí odpovede naspamäť, ale pri mierne inej otázke sa rozsype.

1. Čo to je (definícia + analógia)

  • Predpoklad navyše: Model má vždy viac možných vysvetlení dát — inductive bias je to, čo ho tlačí k niektorým riešeniam a od iných ho odrádza.

  • Analógia – skladanie puzzle: Keď skladáš puzzle a chýba polovica dielikov, aj tak „uhádneš“ oblohu vs. trávu podľa farby a vzoru. To je bias: preferuješ hladké plochy a známe štruktúry.

  • Generalizácia: Bias je dôvod, prečo model nefunguje len na tréningových príkladoch, ale aj na nových.

2. Ako to funguje

  • Výber priestoru riešení: Algoritmus implicitne hovorí: „hľadám riešenia tohto typu“ (napr. hladké funkcie, jednoduchšie vysvetlenia, riedke váhy).

  • Architektúra ako bias: To, že použiješ CNN, transformer, alebo klasický lineárny model, je obrovský bias — každý z nich „verí“ inému typu štruktúry.

  • Regularizácia: Veci ako L2, dropout, early stopping alebo data augmentation tlačia model k riešeniam, ktoré sú stabilnejšie a menej „preučené“.

  • Predtrénovanie: Keď model už videl veľa dát, nesie si bias z toho, čo považuje za „pravdepodobné“ v jazyku či obrazoch.

3. Prečo je to dôležité / kde sa to používa

  • Malé dáta, veľké očakávania: Keď máš málo príkladov, bias rozhoduje, či sa model naučí užitočný vzor alebo len náhodu.

  • Výber modelu nie je detail: Pre text, obraz, časové rady a tabuľky fungujú iné biasy — preto sa nehodí „jeden model na všetko“.

  • Praktické produkty: Všetko od odporúčaní cez rozpoznávanie obrazu až po LLM stojí na biasoch: čo je „podobné“, čo je „relevantné“, čo je „pravdepodobná odpoveď“.

Krátka orientačná mapa biasov:

Typ biasu Čo preferuje Kde to cítiš
Jednoduchosť kratšie / hladšie vysvetlenia menej overfitu, často lepší „common sense“
Lokalita (CNN) blízke pixely spolu súvisia detekcia hrán, textúr, objektov
Sekvencia (transformer) závislosti v poradí tokenov jazyk, kód, dlhé kontexty
Riedkosť „použi málo parametrov“ selekcia príznakov, stabilita

4. Výhody a obmedzenia

  • Výhody

    • Rýchlejšie učenie: Pri správnom biase potrebuješ menej dát na rozumný výsledok.

    • Lepšia generalizácia: Model sa menej lepí na šum a viac na štruktúru.

    • Predvídateľnejšie správanie: Vieš lepšie odhadnúť, kedy model zlyhá (napr. mimo domény).

  • Obmedzenia

    • Slepé miesta: Zlý bias vedie k systematickým chybám (napr. ignorovanie dôležitého signálu).

    • „Správne“ len pre niektoré úlohy: Bias, ktorý pomáha na jednom type dát, môže škodiť inde.

    • Závislosť od domény: Bez doménovej znalosti môžeš vybrať architektúru/regularizáciu, ktorá dáva pekné metriky, ale zlé reálne výsledky.

5. Praktické použitie (čo to znamená pre bežného používateľa AI)

  • Prečo sa AI tvári sebavedomo: LLM majú bias na „plynulý text“. Aj keď si nie sú isté, vedia znieť presvedčivo — preto potrebuješ overovanie.

  • Prečo prompt niekedy nestačí: Prompt mení správanie, ale nemení základný bias modelu. Ak je problém mimo jeho „zvykov“, často nepomôže ani lepšie formulovanie.

  • Ako si vybrať nástroj: Ak riešiš tabuľky a čísla, hľadaj nástroje/modely s biasom na štruktúrované dáta; pri obraze zas na vizuálnu štruktúru.

6. Zhrnutie

  • Inductive Bias je dôvod, prečo model vie ísť „za dáta“ a generalizovať, nie len memorovať.

  • Najsilnejší bias je často architektúra a tréningový režim, nie drobné nastavenia.

  • Správny bias ti šetrí dáta a čas; zlý bias vytvára systematické chyby.

  • Ak chceš spoľahlivosť, sleduj správanie mimo tréningovej domény, nie len pekné skóre na benchmarku.