Promptfoo

Promptfoo je open-source platforma na testovanie, evaluáciu a bezpečnostné auditovanie AI modelov. Po akvizícii zo strany OpenAI na začiatku roka 2025 sa stala kľúčovým nástrojom v ekosystéme zabezpečenia AI — od red-teamingu cez detekciu prompt injection až po systematické testovanie odpovedí LLM modelov. V roku 2026 je Promptfoo de facto štandardom, ktorý citujú audítori, regulátory aj bezpečnostné tímy po celom svete.

1. Čo je Promptfoo

Promptfoo začal ako jednoduchý CLI nástroj na porovnávanie promptov — dáte mu viacero promptov, viacero modelov a on systematicky vyhodnotí, ktorý prompt/model dáva lepšie výsledky. Postupne sa vyvinul na komplexnú platformu pre:

  • Evaluáciu LLM — systematické testovanie kvality odpovedí cez desiatky metrík
  • Red-teaming — automatizované hľadanie spôsobov, ako model „obísť" (jailbreak, prompt injection, adversariálne útoky)
  • Security audity — overenie, že AI systém je bezpečný pred nasadením do produkcie
  • Regression testing — kontrola, že nová verzia modelu alebo promptu nepokazila existujúcu funkčnosť
  • Compliance — dokumentácia a auditovateľné dôkazy pre regulatórne požiadavky vrátane EU AI Act

Kľúčová filozofia Promptfoo je provider-agnostickosť: funguje s OpenAI, Anthropic, Google, Meta a desiatkami ďalších providerov vrátane lokálnych modelov. To z neho robí neutrálnu infraštruktúru, nie proprietárne riešenie naviazané na jedného dodávateľa.

2. Prečo OpenAI kúpilo Promptfoo

OpenAI akvizíciou Promptfoo získalo niekoľko strategických výhod, ktoré presahujú rámec bežného M&A v tech priestore:

Bezpečnostná infraštruktúra — Promptfoo má najrozsiahlejšiu open-source knižnicu red-teaming útokov a evaluačných metrík. Desiatky tisíc testovacích scenárov, budovaných komunitou roky, nie sú veci, ktoré sa dajú replikovať rýchlo.

Komunita a distribúcia — tisíce firiem a vývojárov Promptfoo aktívne používali ešte pred akvizíciou. OpenAI získalo priamy kanál k praktikujúcim AI tímom a ich reálnym problémom.

Talent s vzácnou špecializáciou — tím za Promptfoo kombinuje hlboké znalosti AI bezpečnosti s praktickými skúsenosťami z produkčných nasadení.

Prehľad trhu — keďže Promptfoo podporuje všetky hlavné modely, OpenAI má cez jeho anonymizované telemetrie unikátny pohľad na to, ako sa rôzne modely správajú pri bezpečnostnom strese.

Dôležité: OpenAI sa pri akvizícii zaviazalo udržať Promptfoo open-source. Platforma naďalej funguje s akýmkoľvek LLM providerom. Táto neutralita je podmienkou dôvery komunity — a komunita ju intenzívne sleduje.

3. Ako Promptfoo funguje

Základný workflow:

  1. Definícia testov — napíšete YAML konfiguráciu s promptmi, vstupmi a očakávanými výstupmi
  2. Výber providerov — zvolíte modely na testovanie (GPT-5, Claude, Llama, lokálne modely...)
  3. Spustenie evaluácie — Promptfoo systematicky vyhodnotí každú kombináciu prompt × provider × vstup
  4. Analýza výsledkov — web UI s porovnaniami, metrikami, vizualizáciami a exportom

Príklad konfigurácie:

prompts:
  - "Preložte nasledujúci text do slovenčiny: {{text}}"
  - "Ste profesionálny prekladateľ. Preložte: {{text}}"

providers:
  - openai:gpt-4o
  - anthropic:claude-sonnet-5

tests:
  - vars:
      text: "The quick brown fox jumps over the lazy dog."
    assert:
      - type: contains
        value: "líška"
      - type: llm-rubric
        value: "Preklad je gramaticky správny a prirodzený"
      - type: latency
        threshold: 3000

Red-teaming konfigurácia je rovnako priamočiara:

redteam:
  numTests: 50
  plugins:
    - prompt-injection
    - jailbreak
    - pii
    - hallucination
  strategies:
    - jailbreak:composite
    - prompt-injection:indirect

Promptfoo potom automaticky generuje a spúšťa útoky, zbiera výsledky a produkuje štruktúrovaný bezpečnostný report.

4. Red-teaming a bezpečnostné testovanie

Toto je oblasť, kde Promptfoo naozaj vyniká nad konkurenciou. Knižnica útokov sa aktualizuje kontinuálne podľa reálnych incidentov a výskumu.

Pokryté kategórie podľa OWASP LLM Top 10 (2025 edícia):

OWASP LLM kategória Popis Promptfoo podpora
LLM01: Prompt Injection Vloženie škodlivých inštrukcií cez vstup Plná — priame aj nepriame útoky
LLM02: Sensitive Info Disclosure Únik systémového promptu alebo tréningových dát Plná
LLM03: Supply Chain Kompromitácia modelov alebo pluginov Čiastočná — závislosti a embeddingy
LLM04: Data and Model Poisoning Manipulácia tréningových dát Experimentálna
LLM05: Improper Output Handling Nebezpečné výstupy (XSS, code injection) Plná
LLM06: Excessive Agency Model koná nad rámec oprávnení Plná — agentové scenáre
LLM07: System Prompt Leakage Extrahovanie systémových inštrukcií Plná
LLM08: Vector and Embedding Weaknesses Útoky na RAG systémy Plná
LLM09: Misinformation Systematické halucinácie a dezinformácie Plná
LLM10: Unbounded Consumption DoS cez nadbytočné volania Čiastočná

Automatizovaný red-teaming funguje na dvoch úrovniach:

  • Statická knižnica — overené útoky z databázy reálnych incidentov
  • AI-generované útoky — Promptfoo používa LLM na generovanie nových, kontextovo relevantných útokov špecificky pre váš systémový prompt a use case

Výstupom je podrobný report s nálezmi kategorizovanými podľa závažnosti (Critical, High, Medium, Low), spolu s konkrétnymi vstupmi, ktoré zraniteľnosť aktivovali.

5. Kľúčové vlastnosti a evaluačné metriky

Promptfoo v roku 2026 ponúka viac ako 60 evaluačných metrík. Najdôležitejšie:

Typ metriky Príklady Kedy použiť
Textové zhody contains, regex, starts-with Deterministické výstupy
Sémantické similar, embedding-distance Keď presné znenie variuje
LLM-as-judge llm-rubric, factuality, answer-relevance Hodnotenie kvality voľného textu
Bezpečnostné no-harmful-content, pii-check, prompt-injection Red-teaming a compliance
Výkonnostné latency, token-count, cost Optimalizácia produkčných promptov
Agentové tool-call-accuracy, task-completion Testovanie AI agentov

Integračné možnosti:

  • CI/CD — GitHub Actions, GitLab CI, Jenkins, Azure DevOps
  • IDE — VS Code extension s live evaluáciou
  • API — REST API pre programatickú integráciu
  • Notifikácie — Slack, email, PagerDuty pri zlyhaní testov

6. Promptfoo vs. alternatívy

Trh AI evaluačných nástrojov sa v 2025–2026 výrazne rozrástol. Tu je porovnanie hlavných možností:

Nástroj Open-source Red-teaming CI/CD LLM-agnostický Licencia / cena
Promptfoo Áno Áno (pokročilý) Áno Áno MIT / Enterprise tier
DeepEval Áno Čiastočne Áno Áno Apache 2.0
Giskard Áno Áno Áno Áno Apache 2.0
LangSmith Nie Nie Áno Čiastočne SaaS
Braintrust Nie Nie Áno Áno SaaS
Azure AI Eval Nie Áno Áno Čiastočne Azure-only

Promptfoo vyhrýza najmä v kombinácii hĺbky red-teamingu a open-source slobody. Alternatívy ako LangSmith sú silné v sledovaní a observabilite, ale bezpečnostné testovanie nie je ich primárna doména.

7. Ako začať — praktický sprievodca

Inštalácia:

npm install -g promptfoo
# alebo
npx promptfoo@latest init

Prvý test za 5 minút:

# Inicializácia projektu
promptfoo init

# Spustenie evaluácie
promptfoo eval

# Otvorenie web UI s výsledkami
promptfoo view

Prvý red-team za 10 minút:

# Generovanie red-team konfigurácie
promptfoo redteam init

# Spustenie útokov
promptfoo redteam run

# Report
promptfoo redteam report

Odporúčaný postup pre produkčné nasadenie:

  1. Začnite s evaluáciou kvality — definujte, čo je „dobrá odpoveď" pre váš use case
  2. Pridajte red-teaming do CI/CD — každý merge request automaticky testuje bezpečnosť
  3. Nastavte regression baseline — zachyťte aktuálne správanie a sledujte odchýlky pri zmene modelu
  4. Generujte compliance report pred nasadením — dokumentácia pre interných aj externých audítorov

8. Regulácia a compliance v roku 2026

AI regulácia je v roku 2026 realita, nie budúcnosť. Promptfoo je priamo relevantný pre niekoľko kľúčových rámcov:

EU AI Act (plne účinný od augusta 2026): Vysokorizikové AI systémy (zdravotníctvo, HR, vzdelávanie, kritická infraštruktúra) vyžadujú technickú dokumentáciu vrátane výsledkov testovania robustnosti a bezpečnosti. Promptfoo reporty sú formátované tak, aby slúžili ako súčasť technického súboru pre audit.

NIST AI RMF (USA): Framework explicitne odporúča systematické red-teaming a adversariálne testovanie. Promptfoo pokrýva kategórie Govern, Map, Measure a Manage.

ISO/IEC 42001 (AI Management System): Medzinárodná norma pre manažment AI vyžaduje merateľné hodnotenie AI systémov. Promptfoo poskytuje auditovateľné záznamy a historické porovnania.

Firmy nasadzujúce AI v regulovaných odvetviach — finančné služby, zdravotníctvo, poisťovníctvo — začínajú vyžadovať Promptfoo reporty od dodávateľov AI riešení ako podmienku spolupráce.

9. Kto Promptfoo používa

  • Startupy — rýchle overenie, že AI feature funguje správne pred launcom; typicky desiatky až stovky testov
  • Enterprise — systematické compliance audity, integrácia do MLOps pipeline, tímová spolupráca cez Promptfoo Cloud
  • AI bezpečnostní výskumníci — reprodukovateľné experimenty, zdieľanie nálezov cez štandardizovaný formát
  • DevOps/MLOps tímy — automatizované regression testy; „AI nemôže ísť do produkcie bez zeleného Promptfoo behu"
  • Regulátory a audítori — štandardizovaný formát dôkazov; niekoľko európskych regulátorov vydalo odporúčania odkazujúce priamo na Promptfoo metodológiu
  • Vzdelávacie inštitúcie — výučba AI bezpečnosti na praktických príkladoch

10. Budúcnosť pod OpenAI — stav v 2026

Rok po akvizícii je bilancia zmiešaná, ale prevažne pozitívna:

Čo sa zlepšilo:

  • Integrácia s OpenAI Evals API — natívna podpora finetunovaných modelov a Assistants API
  • Rozšírená knižnica útokov s prístupom k interným bezpečnostným dátam OpenAI
  • Enterprise tier s SSO, audit logmi, tímovou spoluprácou a SLA
  • Rýchlejší release cyklus — mesačné aktualizácie knižnice útokov namiesto štvrťročných

Čo komunita sleduje:

  • Governance open-source projektu — rozhodnutia o roadmape sú stále transparentné?
  • Neutralita voči konkurenčným modelom — testy na Anthropic a Google modeloch fungujú rovnako?
  • Dátová politika — aké dáta z evaluácií vidí OpenAI?

Zatiaľ zostáva projekt open-source, MIT licencia sa nezmenila a konkurenčné modely sú naďalej plne podporované. Komunita sleduje ďalší vývoj.

Zhrnutie

Promptfoo je nástroj, ktorý by mal poznať každý, kto nasadzuje AI do produkcie. Kombinuje evaluáciu kvality, bezpečnostné testovanie a red-teaming v jednom open-source balíku s minimálnou bariérou vstupu. Akvizícia OpenAI priniesla zdroje a integráciu, pričom open-source záväzok zostal zachovaný.

V kontexte EU AI Act a rastúcich požiadaviek na dokumentáciu AI systémov sa Promptfoo posúva od „nice to have" k infraštruktúre, bez ktorej zodpovedné nasadenie AI jednoducho nie je možné. Demokratizácia prístupu k AI bezpečnostnému testovaniu — to bol pôvodný cieľ projektu a v roku 2026 je naplnený viac než kedykoľvek predtým.