AI-agent observability för svenska produktionsteam 2026

TL;DR: AI-agent observability på 60 sekunder

Kort version för CTO:er och tech leads. AI-agenter i produktion beter sig icke-deterministiskt. Klassisk APM (Datadog, New Relic, Grafana) fångar HTTP-latens och exceptions men missar det som faktiskt går fel: hallucinationer utan felkod, verktygsanrop som "lyckades" men returnerade nonsens, drift i modell eller prompt över tid. AI-agent observability adresserar detta med tre lager: en LLM-plattform (LangSmith, Langfuse, Arize AI Phoenix eller Weights & Biases Weave) för trace och evals, OpenTelemetry GenAI semantic conventions som leverantörsneutral instrumentation, och klassisk SRE-stack för operationell översikt och on-call.

Mät sex metric-kategorier: latens (P50, P95, P99), kostnad per interaction, correctness mot golden set, hallucination-rate, tool-success-rate och user-satisfaction. Larma på tre nivåer: pager-worthy, ticket-worthy, dashboard-only. Håll retention i 30/90/365-dagars-tiers för att uppfylla GDPR och EU AI Act Artikel 12 utan att bränna budget på PII-lagring. Alice Labs default för svensk enterprise 2026: Langfuse self-hosted i EU + OpenTelemetry + Grafana + PagerDuty + custom eval-pipeline – testat i 100+ produktionsimplementationer sedan 2023.

Fördjupning framåt: sektion 3 jämför plattformarna, sektion 4 går igenom varje metric med formel, sektion 8 detaljerar GDPR-retention och sektion 12 beskriver Alice Labs default-stack. Pillar-kontext: AI-agenter: Komplett guide för svenska företag 2026.

Vad är AI-agent observability? Definition och skillnad mot klassisk APM

Sammanfattat

AI-agent observability är den disciplin som mäter, spårar och felsöker autonoma AI-agenter i produktion, från token-nivå till end-to-end task-utfall. Skillnaden mot klassisk APM (Datadog, New Relic, Grafana): APM mäter deterministiska system (HTTP, CPU, exceptions). Agenter är icke-deterministiska och kan misslyckas semantiskt utan felkoder. Observability adderar trace-hierarki (session → trace → span → generation), semantisk kvalitetsmätning och prompt-versionering.

En AI-agent är ett autonomt mjukvarusystem som använder en språkmodell för att resonera, planera och anropa verktyg utan mänsklig prompt per delsteg. En sådan agent kan misslyckas på sätt som klassisk APM aldrig ser: den returnerar 200 OK, men svaret är hallucinerat. Verktyget triggades, men med fel parametrar. Task-utfallet ser bra ut men bygger på ett felaktigt tidigare steg. Observability för AI-agenter måste därför mäta semantisk kvalitet, inte bara teknisk hälsa.

Konkret innebär det ett hierarkiskt trace-format där en session består av flera traces, varje trace består av flera spans (verktygsanrop, LLM-calls, subagent-invocations), och varje LLM-span registrerar en generation med prompt-version, input-tokens, output-tokens, latency, cost och en semantisk kvalitetsmätning (correctness, groundedness, safety). Detta hierarki är gemensam nämnare för LangSmith, Langfuse, Arize och W&B Weave, och standardiseras via OpenTelemetry GenAI semantic conventions (release 1.30+).

Skillnaden mot klassisk APM sammanfattat: Datadog APM svarar på "är systemet uppe?". AI-agent observability svarar på "gör agenten rätt saker, av rätt skäl, till rimlig kostnad?". Båda behövs. Klassisk APM för infrastruktur, LLM-observability för beteende, integrerade via OTel för gemensam alerting-yta. Pillar-referens: AI-agent-guide för svenska företag. Se även EN twin page för global kontext.

Observability-stack 2026: LangSmith, Langfuse, Arize, W&B, OpenTelemetry

Sammanfattat

Fyra LLM-plattformar dominerar 2026. LangSmith (LangChain, SaaS, tight LangChain-integration). Langfuse (open-source, self-hosted i EU möjligt, växer snabbast i EU-enterprise). Arize AI Phoenix (ML-team-veteraner, open-source + enterprise SaaS). Weights & Biases Weave (för team som redan har W&B). OpenTelemetry GenAI conventions är leverantörsneutral bas. Alice Labs default för svensk enterprise: Langfuse self-hosted i EU för data-residens.

Marknaden konsoliderades snabbt 2024–2026. Fyra plattformar plus en öppen standard täcker 95 procent av produktionsvalen. Kort översikt:

• LangSmith (LangChain). SaaS-plattform, tight integrerad med LangChain och LangGraph. Djupast trace-vy för graf-baserade agenter. Prissättning i USD per trace, ingen självhostning för produktionsvolym. EU-datahemvist finns men verifiera per plan. Bäst för team som redan är LangChain-native.
• Langfuse. Open-source (MIT), Docker-deployable, snabbast växande i EU-enterprise 2026. Self-hosted i AWS Frankfurt, Azure Sweden Central eller on-prem uppfyller GDPR- och EU AI Act-krav utan datadelning till tredjepart. Även SaaS med EU-region. Alice Labs default för svensk enterprise.
• Arize AI Phoenix. Från ML-observability-veteranerna Arize AI. Open-source Phoenix för utveckling, Arize AX för enterprise. Starkt på embeddings-drift, evaluations och multi-modal. Bäst för team med ML-bakgrund som vill unifiera klassisk ML-monitoring och LLM.
• Weights & Biases Weave. Lager ovanpå W&B-plattformen. Bäst om teamet redan använder W&B för model training. Tight integration med experiment tracking, evaluations och prompt-versionering.
• OpenTelemetry GenAI semantic conventions. Leverantörsneutral instrumentation. Alla fyra plattformar ovan konsumerar OTel-traces 2026. Om ni instrumenterar med OTel kan ni byta backend utan att skriva om instrumenteringen. Rekommenderas som bas i alla nya bygg.

Källor: LangSmith pricing (langchain.com), Langfuse pricing (langfuse.com), Arize AX pricing (arize.com), W&B pricing (wandb.ai), OpenTelemetry GenAI semantic conventions (opentelemetry.io). Prisnivåer verifierade september 2026.

Alice Labs rekommendation för svensk mid-market och enterprise: Langfuse self-hosted i AWS Frankfurt eller Azure Sweden Central som primär LLM-observability, OpenTelemetry som instrumentation-lager, Grafana för dashboards och PagerDuty för on-call. Detta ger full data-residens, ingen SaaS-lockin och direkt broadcasting till er befintliga SRE-stack. Fördjupning: AI-agent security-checklista för svenska produktionsteam.

6 metric-kategorier: latens, kostnad, correctness, hallucination, tool-success, satisfaction

Sammanfattat

Sex metric-kategorier täcker 90 procent av produktionsbehovet. (1) Latens: P50, P95, P99 per steg och end-to-end. (2) Kostnad: SEK per interaction, tokens in/out, tool-call cost. (3) Correctness: task success mot golden set. (4) Hallucination-rate: groundedness score, faktavalidering. (5) Tool-success-rate: per verktyg + retry-rate. (6) User-satisfaction: thumbs, CSAT, deflection rate. Alla mäts kontinuerligt, larmas graderat och rapporteras weekly.

Alice Labs sex-metric-standard destillerad från 100+ produktionsimplementationer sedan 2023. Varje kategori har en definition, en formel eller mätmetod, ett typiskt larmvärde och en ägare.

1. Latens (performance). Mät P50, P95 och P99 per steg (LLM-call, tool-call, orkestrering) och end-to-end per task. P95 end-to-end är den viktigaste user-facing-metriken. Typiska mål för svensk kundservice-agent: P50 under 3 s, P95 under 8 s, P99 under 15 s. Voice-agenter kräver P95 under 800 ms round-trip för naturlig konversation. Formel: percentil per 1-minuts-fönster, alarm-tröskel vid P95 > 2x baseline i 5 minuter.
2. Kostnad (economics). Mät SEK per interaction, uppdelat på input-tokens, output-tokens och tool-call-cost. Beräkna med aktuella modellpriser (uppdatera prisdatabasen månadsvis eftersom modelltvätter är vanliga). Sätt hårda budget-taks per interaction och total daglig budget. Larma vid 80 procent av dagsbudget, blockera vid 100 procent. Använd cheap-plus-expensive model-mix (t.ex. Claude Haiku för routing, Sonnet för resonemang) för 40 till 70 procent kostnadsbesparing på common queries.
3. Correctness (task success). Kontinuerlig mätning mot golden set (50 till 500 pre-scored testfall per use-case). Kör automatiskt vid varje release samt slumpmässigt 1 procent av produktionstrafik. Mät task success rate (agenten nådde målet), stegvis correctness (varje delsteg var rätt) och final-answer accuracy. Typisk baseline för produktion: 85 procent task success. Larma vid fall under 75 procent i 24 h. Verktyg: Langfuse Evaluations, LangSmith Evaluations, Arize Phoenix Evals eller Braintrust.
4. Hallucination-rate (groundedness). Faktavalidering av agent-svar mot källdata. Två metoder: (a) groundedness-score – LLM-as-judge utvärderar om svaret är förankrat i retrievade dokument (skala 0 till 1); (b) programmatisk faktavalidering mot strukturerade källor (databaser, API). Mål: groundedness > 0,85 på RAG-agenter. Larma vid drop under 0,75 eller när hallucinationsfrekvens (manual-sampled) > 5 procent på 100 traces.
5. Tool-success-rate. Per verktyg mät success rate, latency, retry-rate och error-typ. Ett verktyg som misslyckas 20 procent av tiden är ofta rotorsaken bakom agent-fel. Bryt ner per parameter-set för att hitta systematiska fel. Alice Labs benchmark: tool-success > 95 procent per verktyg, retry-rate < 10 procent. Larma vid drop under 85 procent i 15 minuter.
6. User-satisfaction. Kombinera implicit och explicit feedback: thumbs-up/down på svar, CSAT-enkät efter session, deflection rate (andel som inte behövde eskalera till människa) och regeneration rate (andel som klickar "regenerera"). Mål för kundservice-agent i svensk enterprise: deflection 40 till 65 procent efter 3 månaders finslipning, CSAT > 4,0/5,0.

Källa: Alice Labs observability-standard, aggregerad från 100+ produktionsimplementationer 2023–2026.

Drift detection: data-, prompt-, model- och concept-drift

Sammanfattat

Drift kommer i fyra former. Data drift: input-distributionen förändras (nya intents, säsong, nya kundsegment). Prompt drift: någon ändrade prompten utan att köra evals. Model drift: leverantören uppgraderade modellen bakom er endpoint (vanligt hos OpenAI). Concept drift: verkligheten förändrades och gamla golden set-svar är inte längre korrekta. Larma på embedding-distance mot baseline, weekly correctness-drop och prompt-hash-diff.

Drift är den vanligaste orsaken bakom "agenten var bra i somras men är kass nu". Fyra typer att monitorera separat:

1. Data drift. Input-distributionen till agenten förändras. Nya produktkategorier, säsong (december-toppar för e-handel), ny målgrupp efter marknadsföringskampanj. Detektera med embedding-distance: beräkna embedding-vektor för varje input, aggregera per dag, jämför Wasserstein-distance mot rullande 7-dagars-baseline. Alarm vid distance > 2 standardavvikelser i 3 dagar.
2. Prompt drift. Någon ändrade agentens systemprompt eller ett tool-prompt utan att köra full eval-suite. Detektera med prompt-hash-versionering i observability-plattformen (Langfuse och LangSmith har detta inbyggt) plus CI-gate som blockerar release om eval-score dropper > 3 procentenheter mot tidigare version. Grundregel: ingen prompt-ändring i produktion utan grön eval.
3. Model drift. Leverantören uppgraderade modellen bakom er endpoint. OpenAI gjorde detta upprepade gånger med gpt-4 och gpt-4o under 2024 och 2025. Anthropic namnger sina modellversioner explicit (claude-sonnet-4-5-20260919) men även där kan finetuning eller safety-uppdateringar ändra beteende. Skydd: pin modellversion explicit i produktion, kör regression-suite mot varje ny modellversion innan uppgradering, håll fallback till tidigare version tillgänglig i 30 dagar.
4. Concept drift. Verkligheten förändras. Ny lag träder i kraft (t.ex. EU AI Act 2 augusti 2026), produktnamn ändras, prislistor uppdateras. Agentens golden set och kunskapsbas blir föråldrade. Skydd: kvartalsvis golden set-review med domänexpert, RAG-index-refresh minst veckovis, dokumenterade procedurer för att pusha snabba kunskapsuppdateringar utanför release-cyklen.

Vanligaste larmet i praktik: weekly correctness delta. Kör hela golden set en gång per vecka, jämför med föregående vecka. Drop > 3 procentenheter triggar automatiskt en drift-investigation-runbook: (1) kolla prompt-diff sedan föregående vecka, (2) verifiera modellversion, (3) kör embedding-drift-check, (4) samla 20 recent failures för manual review, (5) rapport i team-kanal.

Cost monitoring: token-budget, model-mix och anomaly detection

Sammanfattat

AI-agenter är dyrare per interaction än traditionell mjukvara och kostnaden är stokastisk. Sätt token-budget per interaction, kör model-mix (cheap router + expensive worker), övervaka daglig totalkostnad med anomaly detection. Alice Labs benchmark: 0,5 till 3 SEK per kundservice-interaction beroende på modell och kontextlängd. Sätt hårda taks: hard-block vid 200 procent av mediankostnad per interaction och stopp av trafik vid 100 procent dagsbudget.

LLM-kostnad är den enskilt största overrun-risken i svensk agent-produktion 2026. Klassisk mjukvara har deterministisk kostnad per request. Agenter kan i värsta fall loopa ett verktyg 50 gånger och bränna 200 SEK på en interaction som normalt kostar 2 SEK. Tre disciplinerande mekanismer:

1. Token-budget per interaction. Sätt max tokens per LLM-call och max total tokens per session (t.ex. 20 000 total per session för kundservice-agent). Enforce i orkestreringsramverket – LangGraph, CrewAI, Claude Agent SDK och OpenAI Agents SDK har alla mekanismer för det. Larma vid 80 procent, bryt av interactionen med graceful fallback vid 100 procent.
2. Model-mix (cheap-router + expensive-worker). Använd en billig modell (Claude Haiku, GPT-4o-mini, Gemini Flash) för routing och intent- klassificering, en dyrare modell (Claude Sonnet, GPT-4o, Gemini Pro) endast för den delen som kräver resonemang. Alice Labs mätt besparing i svensk enterprise: 40 till 70 procent på common queries utan mätbar kvalitetsförlust. Kräver bra eval-suite för att verifiera per intent.
3. Daglig anomaly detection. Övervaka daglig totalkostnad med enkel z-score-detection mot rullande 14-dagars-baseline. Alarm vid z > 2,5. Vanliga orsaker till kostnadsspikes: (a) infinite tool-loop, (b) buggig prompt som genererar långa svar, (c) legitimt trafikspike (verifiera mot session-räkning), (d) någon startade en A/B-test mot dyrare modell utan att kommunicera.

Prognostiseringstips: bygg en enkel cost-per-interaction-modell (input-tokens x in-pris + output-tokens x ut-pris + summa tool-call-cost) och multiplicera med förväntad daglig trafik. Uppdatera vid varje prisändring hos leverantören. Datadogs LLM Observability-blogg publicerar löpande benchmark-tabeller.

Alerting-strategier: pager-worthy vs ticket-worthy vs dashboard-only

Sammanfattat

Alarm-fatigue dödar snabbare än agenten själv. Skilj tre nivåer. Pager-worthy (SEV1-2): väck någon nu – kompletta agent-fel, hard-block på kostnad, GDPR-läcka. Ticket-worthy (SEV3): dagen efter – tool-success drop, correctness-drop &lt; 10 pp. Dashboard-only: weekly review – långsam drift, mindre kostnadsavvikelser. Definiera per metric i runbook och sync med existerande on-call-rotation i PagerDuty eller Opsgenie.

Tre nivåer, tydligt separerade, dokumenterade i runbook:

• Pager-worthy (SEV1 – SEV2). Väck någon inom 15 minuter. Endast för verklig produktionsincident. Exempel: agenten returnerar 500 på > 5 procent av trafik i 5 minuter, dagsbudget på kostnad överskriden, PII-läcka detekterad i output, säkerhets-guardrail-trigger på potentiellt maligniöst beteende. Route till PagerDuty eller Opsgenie primary on-call.
• Ticket-worthy (SEV3). Handhavs nästkommande arbetsdag. Exempel: tool-success dropper till 85 procent i 15 minuter men återhämtar sig, weekly correctness dropper 5 procentenheter, latens P95 stiger 30 procent utan att bryta hård tröskel. Route till Jira/Linear-ticket assignad till agent-team.
• Dashboard-only (weekly review). Ingen larm alls, endast synligt i weekly review-dashboard. Långsam drift, säsongsvariationer, mindre kostnadsavvikelser inom förväntat spann. Sync till weekly agent-review-möte, inte till individuell inbox.

On-call rotation för agenter. Alice Labs standard för svenska enterprise-kunder: primary on-call rullar per vecka i agent-teamet (3 till 5 engineers). Backup i SRE-team för infra-relaterat. Escalation till agent-arkitekt om primary inte återkopplat inom 15 minuter. Runbook per typiskt larm (tool-fail, cost-spike, correctness-drop) skriven innan lansering och uppdaterad efter varje incident. Se AI-agent security-checklista för säkerhets-specifika alerts.

Log-retention för GDPR och EU AI Act Artikel 12

Sammanfattat

GDPR kräver minimering och tydligt syfte för PII i loggar. EU AI Act Artikel 12 (fullt tillämplig 2 augusti 2026) kräver automatisk loggning av alla högrisk-agent-actions med tillräcklig granularitet för spårbarhet. Alice Labs default-retention: 30 dagar full trace inklusive PII (för debugging), 90 dagar PII-scrubbade traces (för mönsteranalys), 365 dagar aggregerade metrics (för trend + compliance). PII-scrubbing sker on-ingest via regex + LLM-classifier. IMY är svensk tillsynsmyndighet.

Två regelverk styr log-retention för AI-agenter i Sverige 2026: GDPR och EU AI Act. GDPR har varit i kraft sedan 2018 och ger principer för minimering, syfte och samtyckesrätt. EU AI Act Artikel 12 blir fullt tillämplig 2 augusti 2026 och kräver automatisk loggning av alla högrisk-AI-system-actions med tillräcklig granularitet för spårbarhet och post-incident-analys.

Alice Labs default-retention för svensk enterprise:

1. 30 dagar: full trace inklusive PII. Behövs för aktiv debugging och incident-response. Krypterat at-rest, åtkomstkontrollerat till 3 till 5 namngivna agent-engineers. Logg per åtkomst i separat audit-log.
2. 90 dagar: PII-scrubbade traces. PII-scrubbing sker on-ingest via tvåstegsprocess: regex för svenska personnummer, telefonnummer och e-post plus LLM-classifier för namn, adress och känsliga personuppgifter (kategori GDPR Artikel 9). Används för mönsteranalys, prompt-optimering och eval-set-utökning.
3. 365 dagar: aggregerade metrics. Ingen PII, endast metric-tidsserier (latens, kostnad, correctness, tool-success). Används för trendanalys, budget-planering och compliance-rapportering till EU AI Act Artikel 26 (deployer-krav).

Samtyckesrätt. Om användaren begär radering av sina data måste ni kunna radera i alla tre tiers inom 30 dagar. Bygg en session-id-baserad deletion-endpoint som tar en användaridentifierare och kaskadraderar via API i observability-plattformen. Langfuse och Arize har detta inbyggt; LangSmith kräver manuellt API-anrop; custom OTel-backend måste bygga funktionen själv. Utan denna funktion kan ni inte köra agenter i högriskkontexter enligt GDPR.

Tillsyn i Sverige. Integritetsskyddsmyndigheten (IMY) är utpekad svensk tillsynsmyndighet för både GDPR och EU AI Act. Sanktioner: upp till 20 MEUR eller 4 procent global omsättning för GDPR-brott, upp till 35 MEUR eller 7 procent för EU AI Act-högriskbrott. Fördjupning: EU AI Act 2026: checklista för svenska företag.

Replay + regression-tests: deterministic replay, canary, shadow

Sammanfattat

Deterministic replay kör en tidigare trace igen med ny prompt eller modell för att jämföra utfallet. Regression-tests i CI kör hela golden set vid varje pull request. Canary deployment rullar ut till 5 procent av trafik i 24 h innan full rollout. Shadow deployment kör ny version parallellt utan att påverka användaren och jämför output offline. Kombinationen ger säker modell- och prompt-uppgradering utan produktionsrisk.

Fyra mekanismer som tillsammans ger säker release-cykel för AI-agenter:

1. Deterministic replay. Ta en tidigare trace (input, verktygsanrop, context) och kör om med ny prompt, modell eller ramverk. Jämför output steg för steg. Kritiskt för att förstå vad exakt förändras vid en uppgradering. LangSmith, Langfuse och Arize har inbyggt replay-stöd. För custom OTel-backend krävs egen build.
2. Regression-tests i CI. Hela golden set (50 till 500 pre-scored testfall) körs vid varje pull request som ändrar prompt, verktyg eller orkestrering. Failing test = ingen merge. Baseline uppdateras endast vid explicit approval av agent-lead. Alice Labs standard: 200 testfall per use-case, kör-tid < 15 minuter, kostnad < 20 SEK per körning.
3. Canary deployment. Ny version rullas ut till 5 procent av produktionstrafik i 24 timmar. Övervaka correctness, latens, kostnad och user-satisfaction mot 95 procent-kohorten som kör tidigare version. Ingen drop > 3 procentenheter = expandera till 25 procent i 24 h, sedan 100 procent. Drop = automatisk rollback.
4. Shadow deployment. Ny version kör parallellt med produktion men output visas inte för användaren. Alla traces sparas och jämförs offline med produktionen. Bäst för att testa dramatiska ändringar (byte av modellfamilj, ny orkestreringsarkitektur) utan risk.

Kombination i praktik: shadow för strukturella ändringar (2 till 4 veckor), canary för prompt- och modell-uppgraderingar (24 h till 5 dagar), regression-tests som gate i CI vid varje PR. Sibling-guide: AI-agent-implementations-strategi för svenska företag.

Incident-response för agent-fel: runbook från detect till post-mortem

Sammanfattat

Sex-stegs incident-runbook för agent-fel: detect (larm triggade), triage (SEV-nivå + on-call), contain (feature-flagga off, rollback), root-cause (trace-analys, prompt-diff, tool-log), fix (revert, prompt-patch eller model-downgrade), verify (post-fix eval), post-mortem (blameless review, action items). Alice Labs benchmark från 100+ implementationer: MTTR för SEV1 under 45 minuter, för SEV3 under 2 arbetsdagar. Post-mortem varje SEV1-2 inom 5 arbetsdagar.

Ett agent-fel skiljer sig från ett klassiskt system-fel: det finns sällan en stack trace eller en tydlig felkod. Fel manifesterar sig som fel eller vilseledande svar, uteblivna verktygsanrop eller dåligt user-feedback. Sex-stegs standard-runbook:

1. Detect. Larm triggat i observability-plattformen. Alerting-nivå avgör respons-tempo.
2. Triage. On-call verifierar larmet inom 15 minuter, sätter SEV-nivå (1 kritisk, 2 hög, 3 medium), skapar incident-kanal i Slack.
3. Contain. Feature-flagga av agenten för berörd trafik eller rollback till tidigare version. Fallback till mänsklig operator eller enkel rule-based response. Kommunicera till stakeholders inom 30 minuter.
4. Root-cause. Analysera 20 till 50 senaste failed traces. Kör deterministic replay med tidigare prompt/modell för att verifiera hypotes. Kolla prompt-diff, tool-error-logs och modellversion sedan senaste kända-goda tillstånd.
5. Fix. Revert prompt-ändring, patchera verktygsintegration eller rulla tillbaka modellversion. Kör hela regression-suite plus 50 nya testfall baserat på incidenten innan re-deploy.
6. Verify. Post-fix eval i shadow-läge i 2 timmar. Successiv rollout: 5 procent, 25 procent, 100 procent med monitoring i 24 h. Stäng incident endast efter 24 h stabil drift.

Post-mortem. Blameless post-mortem inom 5 arbetsdagar efter varje SEV1-2. Följer standard-mall: timeline, root-cause (5-why), impact, what-went-well, what-went-poorly, action items (varje med ägare + deadline). Alice Labs egen skill post-action-review tillämpas efter varje batch och regression – dokumentera, fixa root-cause, uppdatera pipeline och LESSONS.md.

MTTR-benchmark från 100+ implementationer: SEV1 median 42 minuter (rollback + verify), SEV2 median 3 timmar, SEV3 median 1,5 arbetsdagar. Största MTTR-drivare: outdated runbook, brist på tool-owner-info och avsaknad av rollback-plan.

Integration med SRE-stack: Datadog, New Relic, Grafana, PagerDuty, Sentry

Sammanfattat

LLM-observability måste bryggas till er befintliga SRE-stack, inte ersätta den. OpenTelemetry är standard-bryggan: instrumentera agenten med OTel, skicka till både Langfuse (för LLM-vy) och Datadog eller Grafana (för operativ vy). PagerDuty eller Opsgenie hanterar alerting-routing. Sentry fångar exceptions. Datadog LLM Observability är alternativ när ni redan är Datadog-native. Nyckel: en source of truth för traces, flera views.

Fel implementationsval 2026: köra LLM-observability och SRE-observability i två separata silos. Ni får dubbla larm, motstridiga baselines och en on-call som inte vet vilken kanal att kolla. Två fungerande mönster:

1. OTel-brygga (Alice Labs default). Instrumentera agenten med OpenTelemetry GenAI conventions. OTel-collector fanar ut: (a) fullständig trace till Langfuse för LLM-vy, prompt-versioning, evals; (b) sampled metrics till Datadog eller Grafana för operativ vy och dashboards; (c) errors till Sentry; (d) alerts till PagerDuty. En instrumentation, flera destinationer, inga motstridiga baselines.
2. Datadog LLM Observability. Om ni redan är fullständigt Datadog-native kan Datadog LLM Observability vara enklare (mindre integrationsarbete). Djup mot Datadogs APM och infrastructure-vyer, ekvivalent trace-hierarki, egen prompt playground. Trade-off: SaaS-only (inte self-hosted), datahemvist behöver verifieras per plan, inte lika djup evals-funktionalitet som Langfuse eller Arize.

PagerDuty-routing: mappa varje larm-nivå till existerande service. Ny service "ai-agent-{name}" i PagerDuty, escalation policy som befintlig product-service, primary on-call i agent-team. Detta undviker att bygga parallell on-call-organisation för agenter.

Sentry för exceptions: LLM-plattformar loggar semantiska fel men saknar bra stöd för klassiska Python/TypeScript-exceptions i orkestreringskoden. Behåll Sentry för dessa, korssök på trace-id mellan Sentry-issue och Langfuse-trace vid incident.

Alice Labs default observability-stack från 100+ implementationer

Sammanfattat

Alice Labs default för svensk enterprise 2026: Langfuse self-hosted i AWS Frankfurt eller Azure Sweden Central + OpenTelemetry GenAI conventions + Grafana för dashboards + PagerDuty för on-call + custom eval-pipeline i CI. Total kostnad cirka 25 000 till 60 000 SEK/månad för mid-market-agent, 80 000 till 250 000 SEK/månad för koncerntäckande plattform. GDPR- och EU AI Act-compliant by design. 100+ produktionsimplementationer sedan 2023 validerar stacken.

Efter 100+ produktionsimplementationer sedan 2023 är detta Alice Labs default-stack för svensk mid-market och enterprise. Sätt upp den på 2 till 3 veckor med ett agent-team plus en SRE-resurs:

• LLM-observability: Langfuse self-hosted i AWS Frankfurt eller Azure Sweden Central. Docker-deploy, Postgres för metadata, S3-compatible för trace-payload. GDPR- och Artikel 12-compliant utan datadelning.
• Instrumentation: OpenTelemetry GenAI semantic conventions (1.30+). Auto-instrumentation för LangChain, LangGraph, Claude Agent SDK och OpenAI SDK. Custom spans för domänspecifika verktyg.
• Dashboards: Grafana med förbyggda paneler för sex-metric-standarden. Language-agnostisk, kan queryas mot både Langfuse Postgres och Datadog metrics.
• Alerting: PagerDuty med tre-nivåers-standardkonfiguration (pager, ticket, dashboard). Escalation-policy per agent-service.
• Evals + regression: Custom Python eval-pipeline i GitHub Actions eller GitLab CI. Kör Langfuse Evaluations för LLM-as-judge, plus deterministiska tester för tool-integrity. Blockerar merge vid regression > 3 pp.
• Exceptions: Sentry för orkestreringskodens tekniska fel, kors-refererat via trace-id.
• Cost tracking: Native i Langfuse per generation, aggregerat i Grafana. Månadsvis rapport till finance.

Källa: Alice Labs prisdata 2026, aggregerat från 100+ produktionsimplementationer. Inkluderar infra, licenser och personal-overhead.

Fler perspektiv: pillar AI-agent-guide för svenska företag, Multi-agent-system på svenska, LangGraph svenska guide, Model Context Protocol på svenska.