Techniky & tréning

Attention Mechanism

Attention Mechanism je technika, vďaka ktorej sa model pri spracovaní textu (alebo obrazu, zvuku) dynamicky zameriava na tie časti vstupu, ktoré sú pre aktuálny krok najdôležitejšie. Predstav si to...

Deep Learning

Deep Learning je prístup v strojovom učení, kde sa model učí z dát cez viacvrstvové neurónové siete. Prakticky to znamená, že namiesto ručného vymýšľania „pravidiel“ necháš systém, aby si sám...

Diffusion Models

Diffusion models sú generatívne AI modely, ktoré vytvárajú nové dáta (najčastejšie obrázky) tak, že sa naučia postupne odšumovať náhodný šum až na zmysluplný výstup. V praxi sú jadrom väčšiny...

DPO: Tréning AI na ľudské preferencie bez odmeňovacieho modelu

Direct Preference Optimization (DPO) je technika alignment jazykových modelov, ktorá nahrádza zložitý dvojstupňový proces RLHF priamejším matematickým prístupom — a dnes je de facto štandardom pre...

Federované učenie

Federované učenie je technika strojového učenia, v ktorej model trénuje na dátach distribuovaných naprieč zariadeniami alebo organizáciami — bez toho, aby sa samotné dáta kdekoľvek centralizovali. V...

Few-Shot Prompting

Few Shot Prompting je technika, pri ktorej modelu nedáš iba zadanie úlohy, ale aj niekoľko ukážkových dvojíc vstup výstup . Model sa podľa nich prispôsobí očakávanému formátu, štýlu a rozhodovacím...

Flash Attention: Ako transformery zvládajú milióny tokenov

Flash Attention je algoritmická optimalizácia, ktorá zmenila spôsob výpočtu pozornostného mechanizmu v transformeroch — a práve vďaka nej dnes modely ako Claude, GPT 4 či Gemini zvládajú kontextové...

Flash-MoE: 397-miliardový model na bežnom notebooku

Jedným z najväčších obmedzení veľkých jazykových modelov bola vždy pamäť. Model s 397 miliardami parametrov tradične vyžadoval serverovú farmu s desiatkami GPU a mesačné cloudové náklady v tisícoch...

GAN

GAN (Generative Adversarial Network) je generatívna technika, kde sa dva neurónové modely „naťahujú“ v hre: jeden vytvára falošné dáta a druhý sa ich snaží odhaliť. Výsledok je generátor, ktorý vie...

Gradient Descent

Gradient Descent je základná metóda, ako „učiť“ model: opakovane upravuje svoje parametre tak, aby znižoval chybu (loss). Predstav si to ako zostup z kopca v hmle — nevidíš celé údolie, ale vieš,...

Graph Neural Networks

Graph Neural Networks (GNN) sú neurónové siete navrhnuté na prácu s grafmi – teda s dátami, kde sú objekty (uzly) prepojené vzťahmi (hrany). Namiesto toho, aby spracúvali dáta ako mriežku (obrázky)...

Inference

Inference je fáza, keď už je AI model natrénovaný a ty ho reálne používaš: pošleš prompt a model začne generovať odpoveď token po tokene. Je to „prevádzka“ modelu v praxi — a práve tu sa láme...

Knowledge distillation

Knowledge distillation (destilácia znalostí) je technika kompresie modelu, kde silný model ( teacher ) odovzdáva svoje správanie menšiemu modelu ( student ). Cieľ je dosiahnuť čo najlepší kompromis...

KV Cache: Pamäť transformera, ktorá zrýchľuje generovanie textu

KV Cache (Key Value Cache) je optimalizačná technika inference, bez ktorej by moderné LLM nedokázali generovať text v reálnom čase — najmä pri kontextoch s desiatkami tisíc tokenov. Každý transformer...

Kvantizácia modelov — ako spustiť 70B AI na bežnom počítači

Kvantizácia je technika, ktorá redukuje presnos číselných reprezentácií váh neurónových sietí — vďaka nej dnes beží Llama 4 70B na laptope s 32 GB RAM bez potreby akéhokoľvek cloudového servera....

LoRA

LoRA (Low Rank Adaptation) je technika, ako doladiť veľký model na konkrétnu úlohu tak, že necháš pôvodné váhy „zamrznuté“ a učíš len malé doplnkové vrstvy — výsledkom je lacnejší a praktickejší fine...

Machine Learning (ML)

Machine Learning (ML) je prístup, pri ktorom počítač nezíska „pevný návod“ pravidiel, ale učí sa z príkladov v dátach. V praxi to znamená, že namiesto ručného programovania každej výnimky necháš...

Mixture of Experts (MoE)

Keď sa pozrieš na najväčšie AI modely posledných rokov — DeepSeek , Gemini , Mixtral či GPT 4 — všetky majú jedno spoločné: využívajú architektúru Mixture of Experts (MoE) . Táto technika umožňuje...

Model Merging: Ako zlúčiť viacero AI modelov do jedného

Model merging je technika, ktorá umožňuje spojiť váhy dvoch alebo viacerých natrénovaných modelov do jedného — bez ďalšieho trénovania — pričom výsledný model zdedí schopnosti každého z nich....

Overfitting

Overfitting (preučenie) je stav, keď sa AI model počas tréningu „naučí naspamäť" tréningové dáta až príliš dobre, vrátane šumu a náhodných detailov, a potom zlyháva pri generalizácii na nové,...

Pokročilý Prompt Engineering

Prompt engineering nie je len o tom „napísať dobrú otázku". Na pokročilej úrovni ide o systematické riadenie myslenia jazykového modelu — od štruktúry úvah, cez sebakontrolu, až po celé meta systémy...

Prompt Engineering

Prompt Engineering je disciplína zameraná na navrhovanie a optimalizáciu vstupov (promptov) pre veľké jazykové modely (LLM) s cieľom dosiahnuť čo najlepší výstup. Nejde len o „správne sa opýtať" — je...

RAG

RAG je technika, ktorá kombinuje vyhľadávanie informácií z externých zdrojov s generovaním textu pomocou LLM. Namiesto spoliehaľa sa na "pamäť" modelu z tréningu, RAG v reálnom čase vyhľadá...

RLHF

RLHF (Reinforcement Learning from Human Feedback) je tréningový prístup, kde sa model učí z ľudských preferencií : ľudia porovnávajú odpovede a model sa nastaví tak, aby častejšie produkoval tie...

RLVR: Tréningová metóda, ktorá naučila AI naozaj myslieť

RLVR (Reinforcement Learning from Verifiable Rewards) je tréningová technika stojaca za revolúciou reasoning modelov — od OpenAI o1 cez DeepSeek R1 až po dnešné Claude a Gemini thinking modely. Na...

Spekulatívne dekódovanie

Spekulatívne dekódovanie je technika, ktorá umožňuje veľkým jazykovým modelom generovať text 2–4× rýchlejšie bez akejkoľvek straty kvality — a stala sa tichým štandardom produkčnej AI infraštruktúry...

Strojové unlearning — ako naučiť AI zabudnúť

Keď GDPR prikáže zmazať vaše dáta, nestačí vymazať riadok v databáze — treba aj odstrániť vplyv týchto dát z modelu, ktorý sa na nich naučil. Strojové unlearning je technika, ktorá to umožňuje bez...

Syntetické dáta v AI

Svet umelej inteligencie čelí paradoxu: modely sú čoraz väčšie a schopnejšie, ale kvalitných tréningových dát je čoraz menej . Väčšina verejne dostupného textu na internete už bola použitá. Čo teraz?...

Test-Time Compute Scaling: Keď AI myslí namiesto pamätá

Test time compute scaling je paradigma, pri ktorej model počas generovania odpovede investuje viac výpočtového výkonu do hľadania riešenia — namiesto toho, aby sa spoliehal výhradne na znalosti...

Transfer Learning

Transfer Learning je technika, pri ktorej vezmeš model už natrénovaný na veľkej úlohe (alebo na veľkom množstve dát) a „prenastavíš“ ho na svoju konkrétnu úlohu. V praxi je to dôvod, prečo dnes vieš...

U-Net

U Net je neurónová sieťová architektúra navrhnutá na „presné vystrihovanie“ objektov z obrázka na úrovni pixelov (segmentáciu). Pôvodne sa preslávila v medicínskych snímkach, ale dnes ju v rôznych...