Prompt versioning, Pezzo, Helicone, Langfuse

Amikor egy AI feature prodba megy, hirtelen ugyanaz a probléma jelentkezik mint bármi más kóddal: ki módosította, mikor, mit, és nem rontott-e el valamit? A prompt versioning eszközök erre adnak választ. Hármat néztünk meg élesben: Pezzo, Helicone, Langfuse.

Pezzo

Tisztán prompt management fókuszú: UI-ban szerkesztesz, verziózol, deployolsz egy környezetre (staging / prod), és az SDK-ban hívod a prompt nevét, nem a literált. Egyszerű, fókuszált. Cserébe az observability része szegényebb.

• Erős: tisztán prompt-as-code, A/B test prompt verzióra, environment-based deploy.
• Gyengébb: trace és monitoring, multi-tenant analytics.

Helicone

Inkább observability proxy: a kliensed nem közvetlenül az OpenAI / Anthropic felé megy, hanem a Helicone proxy-ján keresztül. Cserébe minden hívásról logot, költséget, latency-t kapsz. A prompt verzionálás itt másodlagos feature.

• Erős: költség dashboard, latency monitoring, kulcs-szintű user tracking.
• Gyengébb: a proxy single point of failure, ha nincs jól konfigurálva.

Langfuse

Open source, self-hostolható, és a három közül a legteljesebb. Prompt management plusz observability plusz evaluation egy helyen. Nálunk a legtöbb ügyfélnél ezt futtatjuk Docker-ben a saját VPS-en. A tanulási görbéje nagyobb mint a Pezzónak, de cserébe mindent egy helyen kapsz.

• Erős: trace UI, prompt verzionálás, dataset-based evaluation, self-host opció.
• Gyengébb: a cloud verziója drágább lehet nagy volumenen.

Választási döntésünk

Két ügyfélnél Langfuse self-hosted (egészségügyi adat, GDPR érzékeny). Egy ügyfélnél Helicone Cloud (gyors setup, marketing tooling). Pezzót teszteltük, de a végén Langfuse adta a több értéket pénzért.

Mit naplózz mindenképpen

• Input prompt teljes szövege (érzékeny adatnál maszkolva).
• Output, latency, költség, modellverzió.
• User ID és session ID, debug nélkülözhetetlen.
• Prompt verzió hash, hogy reprodukálható legyen a futás.
• Tool callok és eredményeik (ha agent).