Human-in-the-Loop (HITL)

Human-in-the-Loop je prístup v AI, kde človek zostáva aktívnou súčasťou rozhodovacieho procesu systému. Namiesto plnej automatizácie AI navrhuje, človek schvaľuje alebo opravuje — kombinuje sa tak rýchlosť strojového učenia s ľudským úsudkom, intuíciou a zodpovednosťou.

V roku 2026 je HITL témou, ktorá prestala byť výsadou akademikov a stala sa regulačnou povinnosťou. Európsky AI Act je plne v účinnosti, autonómne agentné systémy preberajú čoraz viac pracovných tokov a otázka „kde musí byť človek v slučke?" sa stala kriticky dôležitou pre každú organizáciu nasadzujúcu AI.

1. Ako HITL funguje

  • Základný princíp:

    1. AI spracuje vstupné dáta a vytvorí predikciu alebo návrh
    2. Systém identifikuje prípady vyžadujúce ľudský zásah
    3. Človek validuje, opraví alebo zamietne návrh AI
    4. Rozhodnutie sa aplikuje a uloží pre budúce učenie

  • Kedy sa človek zapája:

    • Low confidence: AI si nie je istá (napr. pod 70 % confidence)
    • High stakes: Kritické rozhodnutia s dopadom na ľudí (medicínska diagnóza, súdne odporúčanie)
    • Edge cases: Situácie mimo tréningovej distribúcie — tzv. out-of-distribution inputs
    • Random sampling: Náhodná kontrola kvality pre udržanie kalibrácie
    • Regulatory requirement: Zákon explicitne vyžaduje ľudské schválenie

  • Feedback loop:

    • Ľudské korekcie sa stávajú novými tréningovými dátami
    • Model sa postupne zlepšuje a potrebuje menej intervencií
    • Threshold pre human involvement sa dynamicky upravuje podľa domény, rizika aj konkrétneho reviewera

2. HITL, HOTL a HOOTL — tri úrovne ľudského dohľadu

Nie každý „ľudský dohľad" je rovnaký. V praxi existujú tri odlišné modely, ktoré treba vedieť rozlíšiť — najmä keď organizácia navrhuje AI systém alebo komunikuje s regulátormi.

Model Skratka Popis Typické použitie
Human-in-the-Loop HITL Človek schvaľuje každé (alebo vybrané) rozhodnutie pred aplikáciou Medicína, úvery, súdne odporúčania
Human-on-the-Loop HOTL AI rozhoduje autonómne, človek monitoruje a môže kedykoľvek zasiahnuť Autonómne vozidlá Level 3, automatizované obchodovanie
Human-out-of-the-Loop HOOTL Plná automatizácia bez ľudského zásahu Spam filtre, real-time bid systémy, priemyselná robotika

Dôležitý rozdiel: HOTL nie je slabší HITL — je to iný architektonický vzor. Pri HITL je ľudské rozhodnutie prerequisitou akcie. Pri HOTL je ľudský zásah možný, nie nutný. EU AI Act z roku 2024 explicitne definuje, ktoré kategórie high-risk AI systémov vyžadujú HITL (nie HOTL) ako minimálny štandard.

3. Prečo je HITL dôležitý

Výhoda Konkrétny prínos Príklad
Vyššia presnosť Redukcia chýb o 40–60 % Rádiológia: AI + lekár = 95 % vs. 88 % samotná AI
Etická zodpovednosť Človek nesie finálnu zodpovednosť Schvaľovanie úverov, parole decisions
Regulačná compliance Spĺňa požiadavky GDPR, EU AI Act „Right to human review" pri automatizovanom rozhodovaní
Kontinuálne učenie Model sa zlepšuje z korekcií Content moderation: –70 % false positives za 6 mesiacov
Trust building Používatelia viac dôverujú systému Autonómne vozidlá s transparentným override mechanizmom
  • Nevýhody a limity:
    • Vyššie náklady: Ľudskí reviewers sú 3–10× drahší než čistá AI pipeline
    • Pomalšie spracovanie: Človek je bottleneck — sekundy až minúty vs. milisekundy
    • Human fatigue: Po 2–3 hodinách monotónneho reviewovania klesá pozornosť a kvalita rozhodnutí
    • Scaling challenges: Ťažko škálovateľné na milióny požiadaviek denne
    • Konzistencia: Rôzni revieweri rozhodujú inak — inter-rater variabilita je reálny problém

4. Technická implementácia

  • Architektúra HITL systému:
# Pseudokód HITL pipeline
def process_request(input_data):
    # 1. AI predikcia
    prediction = ai_model.predict(input_data)
    confidence = ai_model.get_confidence()

    # 2. Rozhodnutie o human review
    if needs_human_review(confidence, input_data):
        # 3. Route to human
        human_decision = queue_for_review(input_data, prediction)

        # 4. Learn from feedback
        update_training_data(input_data, human_decision)

        return human_decision
    else:
        log_for_audit(input_data, prediction)
        return prediction
  • Kľúčové komponenty:
Komponent Funkcia Technológie
Confidence estimator Určuje istotu AI predikcie Monte Carlo dropout, ensemble methods, conformal prediction
Queue manager Distribuuje úlohy medzi reviewers podľa priority RabbitMQ, AWS SQS, Kafka
Review interface UI pre human reviewers s kontextom a AI vysvetlením Label Studio, Prodigy, custom React apps
Feedback processor Spracováva korekcie a iniciuje retréning Active learning pipelines, fine-tuning workflows
Analytics dashboard Monitoruje výkon HITL systému v čase Grafana, DataDog, Evidently AI
Audit log Záznamy všetkých rozhodnutí pre regulačné účely Immutable event stores, blockchain anchoring

5. Hlavné use cases a aplikácie

  • Content moderation (Meta, YouTube, X):

    • AI filtruje 95 % obsahu automaticky, zvyšok ide k moderátorom
    • Kombinované tímy: interní + outsourcovaní reviewers (15 000+ ľudí pri Mete)
    • Čas na rozhodnutie: 10–30 sekúnd per prípad
    • Výsledok: 99,5 % presnosť vs. 92 % pri čistej AI

  • Medicínska diagnostika:

    • Rádiológia: AI označí podozrivé oblasti na snímkach, rádiológ potvrdí diagnózu
    • Patológia: AI triedi vzorky podľa závažnosti, patológ kontroluje pozitívne nálezy
    • FDA schválené: V roku 2026 je certifikovaných 140+ AI/ML medical devices, väčšina vyžaduje HITL
    • Nové oblasti: AI asistovaná chirurgia, kde HITL prebieha v reálnom čase v sekundách

  • Autonómne vozidlá:

    • Level 3 autonomy: Vodič musí byť schopný prevziať kontrolu do 10 sekúnd
    • Remote operators: Waymo a Cruise využívajú vzdialených operátorov pre edge cases
    • Intervention rate: V roku 2025 klesla na 1 zásah na 12 000 míľ (nárast oproti 5 000 v 2024)

  • Finančné služby:

Use case AI úloha Human úloha Úspešnosť
Fraud detection Flagovanie podozrivých transakcií Vyšetrovanie a konečné rozhodnutie 95 % catch rate
Credit scoring Výpočet rizikového skóre Review hraničných prípadov 30 % menej defaultov
Trading Navrhovanie obchodov Schválenie a exekúcia 15 % vyšší return
AML/KYC Screening zákazníkov Verifikácia high-risk prípadov 99 % regulatory compliance

6. HITL v trénovaní AI modelov

  • RLHF (Reinforcement Learning from Human Feedback):

    • Metóda použitá pri tréningu ChatGPT, Claude, Gemini a ďalších veľkých modelov
    • Ľudia hodnotia a porovnávajú odpovede modelu (ranking pairs)
    • Z hodnotení sa trénuje reward model, ktorý potom riadi ďalší tréning
    • Výsledok: podstatne lepší alignment s ľudskými hodnotami a preferenciami

  • Novšie metódy (2024–2026):

    • DPO (Direct Preference Optimization): Efektívnejšia alternatíva RLHF bez potreby separátneho reward modelu
    • Constitutional AI (Anthropic): Kombinácia ľudských princípov a AI self-critique
    • RLAIF: Reinforcement Learning from AI Feedback — AI hodnotí AI, ale s ľudským dohľadom na meta-úrovni

  • Active Learning:

    • Model identifikuje najinformatívnejšie príklady z nepoanotovaného datasetu
    • Človek anotuje len tie najdôležitejšie (5–10 % datasetu)
    • Výsledok: rovnaký výkon modelu s 10× menej anotačnou prácou

  • Data labeling platforms (2026):

Platforma Špecializácia Cena za úlohu Počet anotátorov
Scale AI Computer vision, NLP, RLHF $0,10–$5 300 000+
Labelbox Enterprise ML ops, model-assisted labeling $0,05–$2 Vlastné tímy
Amazon MTurk Všeobecné mikroúlohy $0,01–$0,50 500 000+
Appen Reč, text, multimodálne dáta $0,05–$3 1 M+ kontraktori
Prolific Akademický výskum, kvalitné kohorty $0,20–$8 200 000+

7. Metriky a monitoring

  • Kľúčové metriky HITL systémov:
Metrika Definícia Cieľová hodnota
Automation rate % prípadov spracovaných bez človeka 85–95 %
Human agreement Zhoda medzi AI návrhom a human rozhodnutím >90 %
Override rate Ako často človek prepíše AI odporúčanie <10 %
Processing time Celkový čas na spracovanie s HITL <5 min pre non-urgent
Cost per decision Náklady na jedno rozhodnutie vrátane reviewer času Závisí od domény
Learning curve Pokles počtu human intervencií v čase –50 % za 6 mesiacov
Inter-rater reliability Zhoda medzi rôznymi reviewermi (Cohen's κ) >0,80
  • Quality assurance:
    • Gold standard tests: Zahrnutie prípadov so známou správnou odpoveďou na priebežné testovanie reviewerov
    • Inter-rater reliability: Pravidelné meranie zhody medzi reviewermi pomocou Cohen's kappa alebo Fleiss' kappa
    • Audit trails: Kompletné, nemeniteľné logy všetkých rozhodnutí — povinné pod EU AI Act pre high-risk kategórie
    • Reviewer calibration sessions: Pravidelné stretnutia tímov na zjednotenie interpretácie guidelines

8. HITL a agentné AI systémy (2026)

Rok 2025 a 2026 priniesol masívny nástup agentných AI systémov — LLM modelov, ktoré nielen odpovedajú, ale autonómne plánujú a vykonávajú sekvencie akcií (prehliadajú web, volajú API, píšu a spúšťajú kód, odosielajú e-maily). Tieto systémy prinášajú novú dimenziu pre HITL.

  • Prečo sú agenty iné:

    • Jedna chyba v kroku 2 z 10 môže znehodnocovať celú sekvenciu
    • Akcie môžu byť nevratné (odoslanie e-mailu, zmazanie súboru, transakcia)
    • Čas na human review je obmedzený — pipeline nemôže čakať hodiny

  • HITL vzory pre agentné systémy:

Vzor Popis Kedy použiť
Checkpoint approval Agent sa zastaví pred nevratnou akciou a čaká na schválenie Finančné transakcie, odosielanie komunikácie
Plan review Človek schvaľuje celý plán pred exekúciou Komplexné multi-step úlohy
Sandboxed execution Agent najprv beží v sandbox prostredí, výsledky kontroluje človek Kódové zmeny, databázové operácie
Async notification Agent koná, ale okamžite notifikuje človeka s možnosťou undo Low-risk akcie s krátkym reversal oknom
  • Príklady z praxe (2026):
    • GitHub Copilot Workspace: Celé PR generuje AI, developer kontroluje diff pred mergnutím — klasický HITL na úrovni kódu
    • AI asistenti pre právnikov: Agent pripraví zmluvy, právnik schvaľuje každý paragraf s právnou zodpovednosťou
    • Zákaznícky servis: AI navrhuje odpoveď, agent ju odosiela priamo len pod definovaným confidence thresholdom

9. Regulačný rámec (EU AI Act 2026)

EU AI Act nadobudol plnú účinnosť a priamo definuje požiadavky na ľudský dohľad pre AI systémy.

  • High-risk AI systémy (Annex III) — HITL povinný:

    • Biometrická identifikácia a kategorizácia osôb
    • Systémy pre kritickú infraštruktúru
    • Vzdelávacie a odborné hodnotiace systémy
    • Systémy pre rozhodovanie v zamestnanosti
    • Systémy pre prístup k základným súkromným a verejným službám (úvery, sociálne dávky)
    • Systémy presadzovania práva
    • Azylové a migračné systémy
    • Systémy pre výkon spravodlivosti

  • Konkrétne požiadavky EU AI Act na HITL:

    • Systémy musia byť navrhnuté tak, aby ich fyzické osoby mohli efektívne dozorovat
    • Človek musí mať kapacitu porozumieť schopnostiam aj obmedzeniam AI
    • Musí existovať možnosť ignorovať, prepísať alebo zastaviť výstup systému
    • Povinné technické dokumentácie a audit logy

  • Globálny kontext:

    • US: Executive Order on AI z 2023 a NIST AI RMF 1.0 vytvorili rámec bez striktnej legislatívnej povinnosti — ale sektor po sektor prichádzajú sektorové regulácie
    • Čína: Regulácia generatívnej AI (2023) vyžaduje ľudský dohľad pre obsah s vplyvom na verejnú mienku
    • UK: Princíp-based prístup cez sektorových regulátorov (FCA, CQC, Ofcom) bez centrálneho AI zákona

10. Budúcnosť a trendy

  • Adaptive automation:

    • Dynamické prispôsobenie miery automatizácie podľa kontextu, risk score a histórie konkrétneho reviewera
    • AI sa učí kedy a od koho požiadať o pomoc — nie paušálne, ale cielene

  • Collaborative intelligence:

    • AI a človek riešia problém v reálnom čase spoločne, nie sekvenčne
    • AI vysvetľuje svoju úvahu, človek koriguje predpoklady — nie len výsledok
    • Príklady: Cursor AI, GitHub Copilot, nové generácie medicínskych decision support systémov

  • Multimodálny HITL:

    • Revieweri posudzujú nielen text, ale aj obraz, zvuk, video
    • Nové nástroje pre efektívnu anotáciu multimodálneho obsahu
    • Osobitné výzvy: čas na review rastie, cognitive load je vyšší

  • HITL pre agentné systémy:

    • Hlavný trend rokov 2025–2027 — ako dať autonómnym AI agentom správne miesto pre ľudský zásah bez zabitia ich efektivity
    • Štandardizácia approval protokolov medzi rôznymi agentovými frameworkami

  • Distributed HITL:

    • Crowdsourcing reviews cez blockchain-based incentivné systémy
    • Decentralizované rozhodovacie systémy s tokenizovanými odmenami za kvalitu

11. Praktické odporúčania

  • Kedy nasadiť HITL:

    • Kritické rozhodnutia s dopadom na životy, financie alebo slobody ľudí
    • Regulované odvetvia (zdravotníctvo, finančné služby, právo)
    • Keď AI presnosť je pod 90 % alebo keď je ťažké odhadnúť confidence
    • Nové domény s malým množstvom tréningových dát
    • Keď regulátor alebo zákazník to explicitne vyžaduje

  • Kedy sa vyhnúť alebo minimalizovať HITL:

    • Real-time systémy s požiadavkou na mikrosekundovú latenciu (fraud detection pri platbách)
    • Nízkohodnotové, vysokoobjemové rozhodnutia bez právnych dôsledkov
    • Keď miera ľudskej chyby preukázateľne prevyšuje chybovosť AI
    • Úlohy vyžadujúce dokonalú konzistenciu (kde ľudská variabilita je problém, nie benefit)

  • Best practices implementácie:

    1. Start small: Začni so 100 % human review, postupne znižuj threshold podľa nameranej presnosti
    2. Clear guidelines: Detailné, príkladmi ilustrované inštrukcie pre reviewerov — nie abstraktné princípy
    3. Rotation policy: Striedaj ľudí pri monotónnych úlohách, maximálne 2 hodiny súvislého reviewovania
    4. Gamification s mierou: Leaderboardy a micro-feedback môžu pomôcť, ale nesmú tlačiť na rýchlosť na úkor kvality
    5. Continuous calibration: Pravidelné tréningové sessiony s gold-standard prípadmi
    6. Reviewer wellbeing: Content moderation a podobné úlohy majú vážny psychologický dopad — mandatory support a rotácia sú nevyhnutné
    7. Explainable AI output: Reviewer musí rozumieť prečo AI navrhla dané rozhodnutie — nie len čo navrhla

Zhrnutie

  • HITL kombinuje AI efektivitu s ľudským úsudkom — ideálny pre kritické rozhodnutia kde 100 % automatizácia nie je možná, žiaduca alebo legálna
  • Tri modely dohľadu: HITL (schválenie pred akciou), HOTL (monitoring s možnosťou zásahu), HOOTL (plná automatizácia) — výber závisí od rizikovosti a regulačných požiadaviek
  • EU AI Act 2026 robí HITL povinným pre celú kategóriu high-risk AI systémov — compliance nie je voliteľná
  • Agentné AI systémy prinášajú nové výzvy: sekvenčné úlohy s nevratnými krokmi vyžadujú nové HITL vzory ako checkpoint approval alebo sandboxed execution
  • Budúcnosť je v adaptive a collaborative HITL — systémy sa učia kedy a ako efektívne zapojiť človeka, pričom sa minimalizuje jeho kognitívna záťaž