KAN siete: Alternatívna architektúra pre interpretovateľné neurónové siete
Kolmogorov-Arnold Networks (KAN) sú nová trieda neurónových sietí, ktorá obracia základný princíp MLP — namiesto pevných aktivácií na uzloch majú učiteľné funkcie na hranách, čo otvára cestu k transparentnejším a parametricky efektívnejším modelom.
1. Prečo vznikla nová architektúra?
Viacvrstvové perceptróny (MLP) sú základným stavebným kameňom hlbokého učenia od 60. rokov. Fungujú jednoducho: lineárna transformácia váhami, potom pevná aktivačná funkcia (ReLU, sigmoid, GELU). Tento model funguje dobre, ale má jeden zásadný problém — je ťažko interpretovateľný. Keď sieť rozhodne, ľudský výskumník nedokáže ľahko vysvetliť, prečo sa tak stalo.
V apríli 2024 tím z MIT, Caltech a ďalších inštitúcií (Ziming Liu et al.) publikoval prácu „KAN: Kolmogorov-Arnold Networks", ktorá navrhla radikálnu alternatívu. Inšpirácia prišla z čistej matematiky — z vety, ktorá existuje od roku 1957.
Kolmogorovova-Arnoldova veta hovorí:
Každú spojitú multivariátnú funkciu možno vyjadriť ako superpozíciu spojitých jednorozmerných funkcií.
Táto veta desaťročia zostávala teoretickou kuriozitou. KAN je prvý praktický spôsob, ako z nej vybudovať celú sieťovú architektúru trénovanú gradientovým zostupom.
2. Ako KAN funguje — učiteľné hrany namiesto uzlov
Kľúčový rozdiel medzi MLP a KAN je v tom, kde sídli „inteligencia" siete:
V MLP:
- Uzly nesú pevné aktivačné funkcie (ReLU, GELU…)
- Hrany sú len skalárne váhy (učiteľné čísla)
V KAN je to presne naopak:
- Uzly len sčítavajú vstupy — žiadna pevná aktivácia
- Hrany sú učiteľné jednorozmerné funkcie parametrizované ako B-spliny
B-spliny sú po častiach polynomiálne krivky, ktoré sa dajú trénovať gradientovým zostupom rovnako ako váhy v MLP. Každá hrana v KAN sa naučí vlastný tvar krivky — nie len škálovanie čísla, ale celkovú transformáciu vstupu.
Praktické efekty:
- Vizualizovateľnosť — každú hranu možno vykresliť ako krivku a priamo vidieť, čo sieť robí s danou premennou
- Symbolická regresia — KAN dokáže nájsť analytický vzorec (napr.
sin(x) * exp(-x²)), ktorý popisuje vzťahy v dátach - Parametrická efektivita — pri určitej triede problémov (najmä vedecké úlohy) dosahuje rovnakú presnosť s oveľa menším počtom parametrov
3. KAN vs MLP — kľúčové rozdiely
| Vlastnosť | MLP | KAN |
|---|---|---|
| Aktivačné funkcie | Pevné (ReLU, GELU…) | Učiteľné B-spliny na hranách |
| Váhy | Skalárne čísla na hranách | Žiadne — sumácia v uzloch |
| Interpretovateľnosť | Nízka | Vysoká — krivky priamo viditeľné |
| Symbolická regresia | Nepodporovaná | Natívna podpora |
| Efektivita (vedecké dáta) | Štandardná | Lepšia pri malom počte parametrov |
| Efektivita (jazykové úlohy) | Výborná | Nižšia — LLM z toho nezískajú |
| Škálovateľnosť | Overená v miliardách parametrov | Zatiaľ obmedzená |
| Rýchlosť tréningu | Rýchly (CUDA-optimalizovaný) | Pomalší (spliny sú výpočtovo drahšie) |
4. Kde KAN skutočne žiari — praktické použitie
KAN nie je náhrada jazykových modelov. Jeho silou sú oblasti, kde záleží na porozumení, nie len na predikcii:
Vedecký výskum a fyzika Sieť dokáže z dát objaviť, že závislosť sleduje konkrétny matematický zákon — a vypíše ho v symbolickej forme. Fyzici a chemici používajú KAN na hľadanie skrytých zákonov v experimentálnych dátach.
Medicína a biológia Interpretovateľnosť je kritická, keď model rozhoduje o diagnóze. KAN umožňuje lekárovi vidieť, ktoré vstupy a akým spôsobom ovplyvnili predikciu — nie len číslo výsledku.
Menšie dátové sady KAN sa ukazuje efektívnejší tam, kde dát nie je veľa. B-spliny zvládajú komplexné vzťahy aj z obmedzených príkladov lepšie ako overtrénovaný MLP.
Príklad kódu (knižnica PyKAN):
from kan import KAN
import torch
# Sieť s 2 vstupmi, skrytou vrstvou 5 uzlov, 1 výstup
model = KAN(width=[2, 5, 1], grid=5, k=3)
# grid: počet intervalov B-splinu
# k: stupeň polynómu
# KAN lepšie konverguje s L-BFGS ako so SGD/Adam
optimizer = torch.optim.LBFGS(model.parameters(), lr=0.1)
Po natrénovaní možno zavolať model.plot() a vizuálne vidieť, ako každá hrana transformuje vstup — to je niečo, čo MLP jednoducho nedokáže.
5. Limity, riziká a čo ďalej
KAN nie je bez slabých stránok a treba byť pri jeho hodnotení realistický:
Škálovateľnosť zostáva výzvou. Spliny sú výpočtovo drahé. Tréning KAN s miliardami parametrov dnes nie je praktický — moderné MLP s CUDA kernelmi sú o rády rýchlejšie. Pre produkčné AI systémy MLP stále dominuje.
Jazykové modely z KAN netežia. GPT, Claude, Gemini a ich varianty profitujú z MLP vrstiev v transformeri. Nahradiť FFN vrstvy KAN variantom prináša minimálny interpretačný úžitok pri výrazne vyšších nákladoch.
Tréningová nestabilita. B-spliny môžu spôsobiť problémy s gradientmi pri nevhodnej inicializácii alebo škálovaní dát. Vyžadujú starostlivejší hyperparameter tuning ako štandardné MLP.
Hybridné prístupy sú sľubným smerom: výskumné skupiny skúšajú kombinovať KAN vrstvy s transformermi na špecifických úlohách, napr. predikcia fyzikálnych simulácií alebo modelovanie biologických sietí.
Aktívny vývoj: Tím vydal rozšírenia — MultKAN (násobenie namiesto sčítania v uzloch), efektívnejšie GPU implementácie, integráciu so symbolickými solvermi. Ekosystém rastie, ale ešte nie je mainstreamový.
Zhrnutie: KAN siete priniesli skutočne originálnu architektúru s dôrazom na interpretovateľnosť a symbolickú regresiu — tam, kde záleží na porozumení vzťahov v dátach, môžu prekonať MLP s menším počtom parametrov, no pre väčšinu produkčných AI úloh zostáva MLP dominantnou a rýchlejšou voľbou.