--- title: "AI-agent evals + testing 2026: strategi för svenska team" url: https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi description: "AI-agent evals 2026: taxonomi, golden datasets, promptfoo, Langfuse, Braintrust, LangSmith, EU AI Act Art. 15. Alice Labs 100+ implementationer Stockholm." lang: sv --- Alice Labs (https://alicelabs.ai/) Tjänster Vad vi gör (https://alicelabs.ai/#welcome)Om Alice (https://alicelabs.ai/#who-we-are)Case (https://alicelabs.ai/case)Insikter (https://alicelabs.ai/sv/insights)Kontakt (https://alicelabs.ai/#email-form) AI Agents How-To Aktuell Senast granskad: 20 september 2026 · 31d sedan # AI-agent evals och testing 2026: strategi för svenska team ## TL;DR Snabbt svar Citerad av AI > AI-agent evals mäter task success, säkerhet, kostnad och latens för autonoma agenter via reproducerbara testsuites. En komplett strategi 2026 kombinerar unit-, integration-, regression-, shadow- och A/B-evals med golden datasets, LLM-as-judge och hallucination-detection. Verktygsstacken domineras av promptfoo, Langfuse, Braintrust, LangSmith och Inspect AI. Alice Labs kör weekly regression-runs på 100+ produktionsagenter i Norden sedan 2023, med koppling till EU AI Act Artikel 15. Praktisk playbook för att bygga eval-suites, golden datasets och regression-tester för AI-agenter i produktion. Skriven för svenska ML-engineers, agent-arkitekter och QA-leads av teamet bakom 100+ nordiska produktionsagenter sedan 2023. AI agent evals is the practice of measuring an autonomous agent's task success, safety and cost against reproducible test suites; på svenska säger vi AI-agent evals eller LLM-evaluering. AI-agent evals är samlingsbegreppet för de tester, mätningar och regressionskontroller som avgör om en autonom AI-agent gör rätt saker i produktion. Till skillnad från klassisk mjukvarutestning där output är deterministisk, måste agent-evals hantera icke-deterministiska LLM-anrop, verktygsval, planering och multi-step trajectories. En komplett eval-strategi 2026 kombinerar deterministiska assertions (schema, tool-call-signatur, kostnadstak), semantiska bedömningar (LLM-as-judge, embedding-similarity, faktakontroll) och beteende-tester i skuggmiljö och A/B produktion. Alice Labs, en Stockholm-headquartered enterprise AI consultancy, har levererat 100+ produktionsimplementationer sedan 2023 inom bank, försäkring, life sciences, offentlig sektor, retail och industri i Norden och EU och bygger nu eval-pipelines med promptfoo, Langfuse, Braintrust, LangSmith, Inspect AI och pytest-plugins. Denna guide sammanfattar eval-taxonomin (unit, integration, regression, shadow, A/B), golden dataset-metodiken, LLM-as-judge-mönster, hallucination-detection, cost- och latens-evals samt kopplingen till EU AI Act Artikel 15 (accuracy och robustness) för svenska team som ska driftsätta agenter under 2026 och 2027. Image: Linus Ingemarsson - Author at Alice Labs (https://alicelabs.ai/images/linus-ingemarsson.png) Written by Linus Ingemarsson: https://www.linkedin.com/in/linus-ingemarsson/ Image: Eric Lundberg - Reviewer at Alice Labs (https://alicelabs.ai/images/eric-lundberg.png) Reviewed by Eric Lundberg: https://www.linkedin.com/in/eric-lundberg-3530451bb/ Published September 20, 2026 16-18 min läsning 50 → 5 000 typisk storlek på golden dataset: 50 handkurerade fall vecka 1, växer till 5 000 över 12 månader i produktion Alice Labs intern data, 2026: https://alicelabs.ai/sv/case 82 % av företag med AI i produktion 2025 har någon form av eval-pipeline enligt MIT Sloan Management Review och BCG MIT SMR / BCG State of AI in Business 2025: https://sloanreview.mit.edu/projects/state-of-ai-in-business/ 2 aug 2026 EU AI Act Artikel 15 (accuracy plus robustness) fullt tillämplig för högriskklassade AI-system i Sverige Europeiska kommissionen, AI Act: https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai 100+ produktionsagenter i Norden som Alice Labs kör weekly regression-runs för sedan 2023 Alice Labs intern data, 2026: https://alicelabs.ai/sv/ai-agenter Vad du lär dig(8 punkter) - Hela eval-taxonomin: unit, integration, regression, shadow, A/B produktion och när varje nivå tillför värde - Hur ni bygger ett golden dataset som skalar över modellskiften enligt Alice Labs 3-lager-metod - Hur ni sätter upp promptfoo, Langfuse, Braintrust och LangSmith side-by-side utan vendor lock-in - LLM-as-judge-mönster som faktiskt korrelerar med mänskliga bedömningar och de tre vanligaste anti-mönstren - Praktisk hallucination-detection med citations, groundedness-scoring och Faithfulness-metriker - Cost- och latens-evals som fångar regressions innan de brinner budget eller UX - Hur EU AI Act Artikel 15 (accuracy plus robustness) översätts till konkreta eval-krav för svensk enterprise - Alice Labs weekly regression-run-playbook: CI, threshold-gating, alerting och rollback-triggers ## Sammanfattning - Evals är inte en artefakt, det är en pipeline. Behandla eval-suiten som produktionskod: version-controlled, code-reviewed, CI-integrerad och ägd av agent-teamet. - Golden datasets slår syntetiska prompts nästan alltid. 50 verkliga testfall med förväntat resultat outperformar 5000 syntetiska prompts på både coverage och relevans. - LLM-as-judge fungerar när judge-modellen är starkare än agent-modellen och prompten kräver rubric-baserad bedömning, inte fri text. Annars driftar den snabbt. - Regression-tester varje release är minimum. Weekly regression-runs mot golden dataset fångar modell-drift som release-tester missar. - Shadow-evals (parallell körning av ny version mot produktionstrafik utan att exponera output) är säkraste sättet att validera stora förändringar innan A/B. - Hallucination-detection kräver citations plus groundedness plus fact-checking. Ingen enskild metrik räcker för produktionsklassad kvalitet. - Cost- och latens-evals är lika viktiga som accuracy. En modell som är 3 procent bättre men kostar 10 gånger mer är oftast fel val för svensk mid-market. - EU AI Act Artikel 15 kräver dokumenterad accuracy- och robusthetsvalidering. Bygg eval-rapporter så att de kan bifogas som teknisk dokumentation från dag 1. 01 / 12 Kapitel ## TL;DR: så bygger svenska team en eval-strategi som skalar Bygg evals i fem lager: unit (per verktygsanrop), integration (agent-loop end-to-end), regression (golden dataset varje release), shadow (parallell prod-körning) och A/B (kontrollerad utrullning). Använd promptfoo för lokala tester, Langfuse eller Braintrust för produktions-tracing och LLM-as-judge för semantisk bedömning. Kör weekly regression-runs. Dokumentera enligt EU AI Act Artikel 15. Den enskilt vanligaste orsaken till att AI-agent-projekt fastnar i pilot 2026 är avsaknad av en produktionsklassad eval-pipeline. Team utan evals kan inte svara på om nästa modelluppdatering gör dem bättre eller sämre, kan inte auditera för EU AI Act Artikel 15 och kan inte förhandla SLA:er med användare eller kunder. Alice Labs playbook från 100+ nordiska produktionsagenter: fem eval-lager, ett golden dataset som lever i git bredvid koden, weekly regression-runs i CI, LLM-as-judge endast för semantiska bedömningar och deterministiska assertions för allt annat. Läs hela artikeln, kopiera checklistorna och adaptera till er stack. Kompletterande läsning: pillar-guiden AI-agenter: komplett guide för svenska företag 2026 (https://alicelabs.ai/sv/insights/ai-agent-guide) för kontext, och den engelska deepdiven AI Agent Observability Guide 2026 (https://alicelabs.ai/en/insights/ai-agent-observability-guide-2026) för tracing- och observability-fördjupning. 02 / 12 Kapitel ## Vad är AI-agent evals? Definition och skillnad mot klassisk testning Sammanfattat AI-agent evals är reproducerbara mätningar av en autonom agents task success, säkerhet, kostnad och latens. Skillnaden mot klassisk mjukvarutestning: output är icke-deterministisk, agenten fattar val (verktyg, planering, minne) och en enda fråga kan ge många acceptabla svar. Evals hanterar detta med statistiska threshold, rubric-baserad LLM-judge och trajectory-analys istället för strikt output-match. Klassisk unit-testning verifierar att en deterministisk funktion returnerar exakt förväntad output. AI-agent-testning måste hantera fyra realiteter som bryter den modellen: - **Icke-deterministiska LLM-anrop.** Även med temperature 0 varierar output mellan modellversioner och infra-uppdateringar. Tester behöver toleransband eller semantisk bedömning. - **Agenten fattar val.** Vilket verktyg, vilken parameter, hur många iterationer. Att bara mäta slutresultatet missar hela klasser av fel som feltriggade verktygsanrop eller för många steg. - **Flera korrekta svar.** "Skriv sammanfattning av rapporten" har tusentals acceptabla utfall. Rubric-baserad bedömning ersätter exact match. - **Tool-side-effects.** Agent-tester måste ofta köras mot sandbox eller record-replay-fixtures så att inte varje testrun triggar riktiga API-anrop, mejl eller CRM-uppdateringar. Praktisk konsekvens: en AI-agent-eval-suite har fyra sorters assertions. Deterministiska (JSON-schema-matchning, exit-code, kostnadstak), semantiska (LLM-as-judge, embedding-similarity, faktakontroll), trajectory (verktygssekvens, antal steg, planering) och operationella (latens, cost per run, tool-error-rate). 03 / 12 Kapitel ## Eval-taxonomin: unit, integration, regression, shadow, A/B produktion Sammanfattat En komplett eval-strategi kombinerar fem nivåer. Unit-evals testar enskilda verktygsanrop och prompt-templates. Integration-evals kör agent-loopen end-to-end mot sandboxar. Regression-evals kör golden dataset varje release. Shadow-evals kör ny version parallellt mot produktionstrafik utan att exponera output. A/B-evals validerar med kontrollerad trafik-split. Nivåerna kompletterar varandra; ingen ersätter någon. Bygg eval-strategin som en pyramid, samma logik som klassisk testpyramid men anpassad för agenter: 1. **Unit-evals.** Varje verktygsanrop och prompt-template testas isolerat. Snabba (millisekunder), körs i git-hook och pre-commit. Verifierar JSON-schema, felmeddelanden, edge cases och prompt-injection-resistens per komponent. 2. **Integration-evals.** Hela agent-loopen kör mot sandbox eller record-replay-fixtures. Verifierar att planering, verktygsval och state-övergångar fungerar för representativa scenarier. Körs på pull-request. 3. **Regression-evals.** Golden dataset med 50 till 5 000 kända fall och förväntade utfall körs varje release och weekly i CI. Detekterar modell-drift, prompt-drift och tool-schema-drift. 4. **Shadow-evals.** Ny version av agenten körs parallellt mot verklig produktionstrafik, men output loggas endast, användaren ser fortfarande gamla versionen. Detekterar realistiska failure modes utan risk. 5. **A/B produktion.** Kontrollerad trafik-split (typiskt 5, 25, 50, 100 procent) med KPI-mätning per gren. Slutlig validering innan full rollout. Vanligt misstag: hoppa direkt till A/B utan regression eller shadow. Då upptäcks fel först när användare påverkas. Regression och shadow är billiga försäkringar som fångar 80 procent av de fel A/B annars måste hitta. | Eval-nivå | Kör frekvens | Typisk körtid | Detekterar | | --- | --- | --- | --- | | Unit | Pre-commit, PR | Sekunder | Prompt-, schema- och tool-brott | | Integration | PR, merge | Minuter | Planering, verktygsval, state-fel | | Regression | Varje release + weekly | 10 min - 2 h | Modell-, prompt- och data-drift | | Shadow | Löpande i staging | Kontinuerlig | Realistiska failure modes utan risk | | A/B produktion | Vid stora ändringar | Dagar till veckor | KPI-effekter på verklig trafik | 04 / 12 Kapitel ## Golden datasets: Alice Labs 3-lager-metod Sammanfattat Ett golden dataset är en handkurerad samling verkliga scenarier med förväntat utfall som utgör sanningen för regression-tester. Alice Labs 3-lager-metod: lager 1 (20 - 50 kritiska happy paths), lager 2 (100 - 500 kanterfall och kända historiska buggar) och lager 3 (1 000 plus från produktionstrafik som ackumuleras över tid). Versionshanteras i git, ägs av agent-teamet, aldrig auto-genererat utan mänsklig granskning. Ett dåligt golden dataset är värre än inget alls. Det ger falsk trygghet. Alice Labs 3-lager-metod är destillerad från 100+ produktionsdriftsättningar och fokuserar på realism, ägandeskap och tillväxt. - **Lager 1: kritiska happy paths (20 till 50 fall).** Handkurerade av produktägare och domänexpert vecka 1 till 2. Täcker de vanligaste use-case-flödena. Om lager 1 rasar ska CI stoppa release oavsett resten. - **Lager 2: kanterfall och kända historiska buggar (100 till 500 fall).** Byggs upp av agent-teamet över första 90 dagarna. Varje incident, varje user-rapport och varje red-team-fynd blir ett testfall här. Regression-suiten växer med teamet. - **Lager 3: produktionssample (1 000 plus fall).** Anonymiserade och sampled verkliga produktionsinteraktioner. Kräver GDPR-samtyckesbedömning och PII-scrubbing. Ger statistisk power för A/B-jämförelser. Vanligt anti-mönster: generera 10 000 syntetiska prompts med GPT-4 och kalla det dataset. Coverage är illusorisk (modellen genererar mot sin egen fördelning) och failure modes är oftast irrelevanta för verkliga användare. Använd syntetiska data endast som komplement till äkta produktionsdata, aldrig som ersättning. Format vi rekommenderar: JSONL-fil i repo, ett scenario per rad, fält för input, expected-output-rubric, tags, historisk incident-referens och datum. Kör som fixture i pytest, promptfoo eller Inspect AI. Image: Linus Ingemarsson (https://alicelabs.ai/images/linus-ingemarsson.png) Image: Eric Lundberg (https://alicelabs.ai/images/eric-lundberg.png) Alice Labs praktiker-team ## Prata med teamet bakom 100+ AI-implementationer 30 minuters discovery-samtal med en senior Alice Labs-konsult. Ingen slide-deck, ingen försäljningspitch — bara ett scoping-samtal. Boka Discovery Call 05 / 12 Kapitel ## Verktygsstacken 2026: promptfoo, Langfuse, Braintrust, LangSmith, Inspect AI Sammanfattat Fem verktyg dominerar eval-stacken 2026. Promptfoo för lokala CLI-drivna prompt- och regression-tester. Langfuse för open-source produktions-tracing och dataset-management. Braintrust för SaaS-baserad eval-orkestrering och human review. LangSmith för LangChain- och LangGraph-native tracing plus evals. Inspect AI (UK AISI) för säkerhets- och capability-evals. De kompletterar varandra oftare än de konkurrerar. Inget enskilt verktyg täcker alla eval-nivåer 2026. Alice Labs default-stack för svensk enterprise: - **Promptfoo** (open-source, YAML-driven) för unit- och regression-evals i CI. Snabbt att komma igång, versionshanteras i git, stödjer LLM-as-judge och deterministiska assertions. - **Langfuse** (open-source, self-host i EU) för produktions-tracing, dataset-versionshantering och kostnadsspårning. Rekommenderas när GDPR eller EU-datahemvist är krav. - **Braintrust** (SaaS) för team som vill ha polished UI för human review och eval-orkestrering utan att hosta själva. - **LangSmith** när stacken redan är LangChain eller LangGraph. Djupintegration för tracing och dataset, men vendor-lock om ni inte redan är där. - **Inspect AI** (UK AI Safety Institute, öppen källkod) för säkerhets-, capability- och red-team-evals. Blir de facto-standard för AI Act-compliance-tester 2026. Praktisk hybrid som fungerar för de flesta svenska team: promptfoo i CI plus Langfuse i produktion plus Inspect AI för säkerhetsevals. Se även engelska deepdiven AI Agent Observability Guide 2026 (https://alicelabs.ai/en/insights/ai-agent-observability-guide-2026) för tracing-detaljer. | Verktyg | Modell | Bäst för | EU-hosting | | --- | --- | --- | --- | | Promptfoo | Open source | CLI, CI, regression | Ja (self-host) | | Langfuse | Open source + SaaS | Produktions-tracing, dataset | Ja (self-host + EU cloud) | | Braintrust | SaaS | Human review, dashboards | US-baserat | | LangSmith | SaaS | LangChain-native tracing | EU-region tillgänglig | | Inspect AI | Open source | Säkerhet, capability, red-team | Ja (self-host) | 06 / 12 Kapitel ## LLM-as-judge: mönster som fungerar och tre anti-mönster att undvika Sammanfattat LLM-as-judge använder en starkare modell för att bedöma en agents output mot en rubric. Fungerar när judge-modellen är minst en klass starkare än agent-modellen (Claude Opus 4.6 bedömer Sonnet 4.6-output), när rubriken är explicit och skalan är kort (1-4), och när human samples valideras var 200:e bedömning. Anti-mönster: självbedömning, fri-text-scoring och skalor 1-10 utan ankare. LLM-as-judge är den enskilt mest kraftfulla eval-tekniken 2026 för semantiska bedömningar, men också den där flest team fastnar i falska metriker. Alice Labs checklista för produktionsklassad judge-setup: 1. **Starkare judge än agent.** Använd Claude Opus 4.6 för att bedöma Claude Sonnet 4.6-output, eller GPT-o3 för GPT-4.1-output. Aldrig samma modell som bedömer sig själv, drift och bias garanterad. 2. **Explicit rubric.** Judge-prompten definierar dimensioner (correctness, relevance, hallucination, tone) och kriterier per nivå. Ju mer explicit desto mer reproducerbart. 3. **Kort skala med ankare.** 1 till 4 med explicit definition per nivå (1 = fel, 2 = ofullständig, 3 = korrekt, 4 = exemplarisk). 1 till 10 utan ankare ger low agreement mellan runs. 4. **Human validation-sample.** Var 200:e judge-bedömning granskas av människa och rubriken justeras vid drift. Alice Labs kör detta månadsvis i produktionsuppdrag. Tre anti-mönster som förstör signal: - **Självbedömning.** Modellen som producerade output bedömer sig själv. Systematisk bias uppåt, ger falsk kvalitetssiffra. - **Fri-text-scoring.** Judge returnerar prosa istället för strukturerad score. Omöjligt att aggregera eller regression-testa. - **Skala utan ankare.** Rating 1 till 10 utan explicit definition per nivå. Judge tenderar mot 7 för allt, förlorar all diskriminering. 07 / 12 Kapitel ## Hallucination-detection: citations, groundedness, faithfulness Sammanfattat Hallucination-detection i produktionsagenter kräver tre lager. Citations (varje faktapåstående kopplas till källa i output), groundedness-scoring (semantisk verifiering att påstående faktiskt finns i källa), och Faithfulness-metriker via Ragas, DeepEval eller egna judge-prompts. En enskild metrik räcker inte, kombinationen ger produktionsklassad kvalitetssignal. Hallucination är den enskilt mest brand-riskabla failure moden för AI-agenter i svensk enterprise 2026. En kundservice-agent som hittar på leveranstider, en HR-agent som hittar på policytexter eller en dataanalys-agent som hittar på siffror är omedelbara PR- och juridiska risker. Fungerande three-layer detection: 1. **Citations i output.** Prompt agenten att inkludera källa per faktapåstående. Klassisk RAG-pattern, men fungerar även för verktygs-output. Utan citation, ingen leverans till användaren. 2. **Groundedness-scoring.** Kör automatisk semantisk verifiering att varje citat faktiskt stödjer påståendet. Tekniker: embedding-similarity mellan claim och citat, NLI-modeller (natural language inference) eller LLM-judge med specifik faithfulness-rubric. 3. **Faithfulness-metriker via ramverk.** Ragas (open-source), DeepEval eller Braintrust har färdiga faithfulness- och context-precision-metriker. Kör dem i regression-suite mot golden dataset. Vår erfarenhet från 100+ nordiska implementationer: kundservice- och juridiska-agenter behöver alla tre lagren. Sales- och content-agenter klarar sig oftast med citations plus judge. Kod-agenter behöver test-execution istället för groundedness, körning slår statisk analys. Alice Labs praktiker-team ## Behöver ni en produktionsklassad eval-pipeline? Vi har byggt 100+. Alice Labs är en Stockholm-baserad AI-konsult och har levererat 100+ produktionsagenter i Norden sedan 2023, alla med weekly regression-runs, golden datasets och EU AI Act-anpassad dokumentation. Boka eval-workshop 08 / 12 Kapitel ## Cost- och latens-evals: fånga budget-regressions innan de brinner Sammanfattat Cost-evals mäter tokens och verktygsanrop per körning mot budget-threshold. Latens-evals mäter tid-till-första-token, tid-till-slutförd-task och 95:e percentilen. Bägge körs i regression-suite och alertar om ny release ökar median-kostnad över 20 procent eller p95-latens över 500 ms. Utan dessa evals upptäcks kostnadsexplosioner först på månadsräkningen. En modell som är 3 procent bättre men kostar 10 gånger mer är oftast fel val för svensk mid-market. Cost- och latens-evals är ekonomisk självförsvar. Metriker vi rekommenderar för alla produktionsagenter: - **Tokens per körning** (input plus output plus tool-call-output), median och p95. - **Antal verktygsanrop per körning**. Detekterar loopar och ineffektiv planering. - **SEK per körning** baserat på aktuell prislista per modell och per API. Uppdateras kvartalsvis. - **Tid-till-första-token** (TTFT) för streaming-UX. - **Tid-till-slutförd-task**, median och p95. - **Tool-error-rate**. Andel körningar där minst ett verktygsanrop felade. Threshold-gating i CI: fail release om median-kostnad ökar mer än 20 procent eller p95-latens ökar mer än 500 ms mot föregående release. Alice Labs har fångat två-siffriga procentuella kostnadsregressions per kvartal genom denna enkla regel, oftast triggade av dolda ändringar i modellversion eller tool-schema. 09 / 12 Kapitel ## EU AI Act Artikel 15: accuracy och robustness som konkreta eval-krav Sammanfattat EU AI Act Artikel 15 kräver att högriskklassade AI-system har lämplig nivå av accuracy, robusthet och cybersäkerhet genom hela livscykeln. För AI-agenter översätts detta till dokumenterade eval-suites, adversarial testing, reproducerbara mätningar och versionshanterade eval-rapporter. Fullt tillämpligt 2 augusti 2026. I Sverige tillsyn av IMY. Bygg eval-pipeline så att den producerar Artikel 15-dokumentation som biprodukt. EU AI Act Artikel 15 är kort men kraftfull: högriskklassade AI-system ska designas och utvecklas så att de uppnår lämplig nivå av accuracy, robusthet och cybersäkerhet, och prestera konsekvent genom hela livscykeln. För autonoma agenter i Annex III-kontexter (kredit, HR, sjukvård, kritisk infrastruktur) betyder detta konkret: - Dokumenterade eval-suites med reproducerbar metodik och versionshanterade rapporter. - Adversarial testing (prompt-injection, jailbreak-resistens, tool-misuse) med dokumenterade resultat. - Accuracy-metriker rapporterade per relevant subgrupp (t.ex. per ärendetyp, per kundsegment) för att detektera performance-gap. - Robusthetstester mot distribution shift och drift, dokumenterade som del av teknisk dokumentation. - Change management: varje modelluppdatering eller prompt-ändring loggas och relaterade eval-resultat arkiveras. Alice Labs standardsetup för högrisk-agenter: promptfoo plus Langfuse plus Inspect AI genererar signerade PDF-rapporter varje release med accuracy per subgrupp, robusthetstest-resultat och adversarial-test-status. Rapporterna arkiveras 10 år enligt föreslagen praxis och kan bifogas teknisk dokumentation direkt. Se även vår guide EU AI Act 2026: checklista för svenska företag (https://alicelabs.ai/sv/insights/eu-ai-act-2026-checklista) för fullt compliance-perspektiv. 10 / 12 Kapitel ## Weekly regression-runs: Alice Labs playbook från 100+ produktionsagenter Sammanfattat Weekly regression-runs kör golden dataset varje måndag morgon i CI, jämför mot förra veckans baseline och alertar Slack om accuracy sjunker mer än 3 procent, hallucination-rate ökar mer än 2 procentenheter eller p95-kostnad ökar mer än 20 procent. Trigger för rollback: två röda veckor i rad utan förklarande code change. Playbook standardiserad i Alice Labs interna template och används på 100+ nordiska produktionsagenter. Weekly regression är minimum för produktionsklassade agenter 2026. Modeller uppdateras, tool-schemas driftar, data ändras. Utan weekly cadence upptäcks regressions först vid nästa release eller kundklagomål. Alice Labs standardplaybook: 1. **Måndag 06:00 CET.** CI kör hela golden dataset (lager 1 plus 2 plus sample från lager 3) mot senaste production-modellen. Resultat i Langfuse och signerad rapport i S3. 2. **Jämförelse mot förra veckan.** Automatisk diff på accuracy per rubric-dimension, hallucination-rate, cost per run och p95-latens. 3. **Slack-alert vid regression.** Kanal #agent-evals får notis om någon threshold överskrids. On-call agent-engineer triager inom 4 h. 4. **Root cause-analys.** Modellversion, prompt-diff, tool-schema-diff, data-drift eller infra-ändring. Dokumenteras i post-action-review-mall. 5. **Rollback-trigger.** Två röda veckor i rad utan förklaring triggar automatisk rollback till senaste gröna versionen och full incident-review. 6. **Golden dataset-uppdatering.** Varje ny incident och varje user-rapporterad bug blir ett nytt testfall i lager 2. Team utan on-call kan börja med enklare variant: manuell granskning av weekly rapport varje måndag, ingen automatisk rollback men manuell incident-process. Bygg upp automation gradvis. Alice Labs praktiker-team ## Redo att bygga en eval-pipeline som fångar regressions innan de brinner budget? Alice Labs 12-veckors implementationsplaybook inkluderar dag 1 eval-pipeline: promptfoo, Langfuse, Inspect AI, golden dataset, weekly regression, Artikel 15-dokumentation. Första möte utan kostnad. Boka AI-agent-konsultation 11 / 12 Kapitel ## Praktiskt kod-exempel: promptfoo plus pytest plus Langfuse på 30 minuter Sammanfattat Minimal setup: promptfoo.yaml med 20 golden test cases, pytest-fixture som kör agent-loop mot sandbox, Langfuse-tracing i produktion. Kör lokalt med promptfoo eval och i CI med pytest. Fungerar för LangGraph, CrewAI, OpenAI Agents SDK och Anthropic Claude Agent SDK. Alice Labs template finns i intern engineering-handbok och används som startpunkt för alla nya uppdrag. Konceptuellt: promptfoo.yaml definierar dataset och asserts, pytest driver agent-loopen mot sandbox med tydliga fixtures, Langfuse tar hand om produktions-tracing. Denna trio täcker unit, integration och produktions-observability i under 200 rader kod för en typisk single-task-agent. Struktur i repo (rekommendation): - `evals/promptfoo.yaml`: dataset, providers, asserts, judge-config. - `evals/golden_dataset.jsonl`: 50 till 500 handkurerade fall, ett per rad. - `tests/agent/`: pytest-fixtures för agent-loop, sandbox och record-replay. - `observability/langfuse_wrapper.py`: tunn wrapper som instrumenterar LLM- och tool-calls med Langfuse-spans. - `.github/workflows/agent-evals.yml`: CI pipeline som kör promptfoo, pytest och laddar upp Langfuse dataset. Kompletterande läsning för svenska Python-team: Pydantic AI guide för svenska Python-team 2026 (https://alicelabs.ai/sv/insights/pydantic-ai-svenska-guide) och ReAct agent-pattern förklarat (https://alicelabs.ai/sv/insights/react-agent-pattern). 12 / 12 Kapitel ## Vanliga misstag i svenska eval-projekt (och hur ni undviker dem) Sammanfattat Fem misstag återkommer i svenska AI-agent-uppdrag 2026: bara ha ett eval-lager istället för fem, syntetiskt istället för verkligt golden dataset, samma modell som judge och agent, saknar cost- och latens-evals, inga weekly regression-runs. Alice Labs default är att adressera alla fem redan i vecka 3 av 12-veckors implementationsplaybook. Fältdata från Alice Labs 100+ nordiska produktionsagenter visar återkommande misstag som är billiga att undvika om ni känner till dem: 1. **Bara ett eval-lager.** Team har ofta bara regression eller bara A/B, aldrig hela pyramiden. Fångar 40 procent av det som annars kunde fångats billigt tidigare. 2. **Syntetiskt dataset som ersättning.** 10 000 GPT-genererade prompts känns imponerande men speglar inte verkligheten. 50 handkurerade fall är alltid startpunkten. 3. **Samma modell som judge och agent.** Systematisk bias uppåt, ger falska metriker. Använd starkare judge alltid. 4. **Ingen cost- och latens-eval.** Kostnadsexplosion upptäcks först vid månadsräkningen, latensregressions först vid användarklagomål. 5. **Inga weekly regression-runs.** Modell- och data-drift upptäcks inte. Släpp-katastrof väntar på att hända. Kompletterande vidareläsning: AI-agent säkerhets-checklista (https://alicelabs.ai/sv/insights/ai-agent-security-checklista) och Multi-agent-system för svenska team (https://alicelabs.ai/sv/insights/multi-agent-system-svenska). ## About the Authors & Reviewers Published September 20, 2026 Written by Image: Linus Ingemarsson - VD & Medgrundare, Alice Labs at Alice Labs (https://alicelabs.ai/images/linus-ingemarsson.png) Linus Ingemarsson (https://www.linkedin.com/in/linus-ingemarsson/) VD & Medgrundare, Alice Labs CEO & Co-Founder at Alice Labs. Author of 7 research reports on AI adoption, governance and labor markets cited across EU, OECD and US benchmarks. - 8+ years in AI strategy & implementation - Top-5 AI Speaker, Sweden (Mindley 2025) - 100+ enterprise AI engagements View profile: https://www.linkedin.com/in/linus-ingemarsson/ Linus Ingemarsson on LinkedIn: https://www.linkedin.com/in/linus-ingemarsson/ Email Linus Ingemarsson: linus@alicelabs.ai Reviewed by September 20, 2026 Image: Eric Lundberg - Medgrundare, Alice Labs at Alice Labs (https://alicelabs.ai/images/eric-lundberg.png) Eric Lundberg (https://www.linkedin.com/in/eric-lundberg-3530451bb/) Medgrundare, Alice Labs Co-Founder at Alice Labs. Builds AI automation, agent workflows and integration systems that hold up in real business operations. - AI automation & agent systems lead - Workflow design across 100+ deployments - Specialist in RAG, integrations & APIs View profile: https://www.linkedin.com/in/eric-lundberg-3530451bb/ Eric Lundberg on LinkedIn: https://www.linkedin.com/in/eric-lundberg-3530451bb/ Email Eric Lundberg: eric@alicelabs.ai Published September 20, 2026 Reviewed for technical accuracy, methodology and source integrity. · All claims trace to public sources cited in-line. ## Vanliga frågor ### Vad är AI-agent evals? AI-agent evals är reproducerbara mätningar av en autonom agents task success, säkerhet, kostnad och latens. En komplett strategi kombinerar unit-, integration-, regression-, shadow- och A/B-evals med golden datasets och LLM-as-judge. Utan evals kan team inte svara på om nästa modelluppdatering är bättre eller sämre, och kan inte auditera för EU AI Act Artikel 15. ### Vad är skillnaden mot klassisk mjukvarutestning? AI-agent-output är icke-deterministisk, agenten fattar val (verktyg, planering, iterationer) och en fråga kan ha många acceptabla svar. Evals hanterar detta med toleransband, rubric-baserad LLM-judge och trajectory-analys istället för strikt output-match. Klassiska unit-tester räcker inte, men behövs fortfarande på verktygs- och schema-nivå. ### Vilken eval-stack ska vi välja: promptfoo, Langfuse, Braintrust eller LangSmith? De kompletterar varandra. Promptfoo för CLI-drivna regression-tester i CI. Langfuse för open-source produktions-tracing med EU-hosting. Braintrust för SaaS-baserad human review. LangSmith när ni redan är LangChain- eller LangGraph-native. Alice Labs default för svensk enterprise: promptfoo plus Langfuse plus Inspect AI för säkerhetsevals. ### Hur stort ska ett golden dataset vara? Alice Labs 3-lager-metod: 20-50 kritiska happy paths vecka 1-2, 100-500 kanterfall och kända buggar över första 90 dagarna, 1 000 plus produktionssample över första året. Storleken är mindre viktig än realism och ägandeskap. 50 verkliga fall slår 5 000 syntetiska nästan alltid. ### Fungerar LLM-as-judge i produktion? Ja, om judge-modellen är minst en klass starkare än agent-modellen, rubriken är explicit, skalan är kort (1-4) med ankare per nivå, och human sample-validering körs var 200:e bedömning. Undvik självbedömning, fri-text-scoring och skalor 1-10 utan ankare, det är de vanligaste anti-mönstren. ### Hur upptäcker vi hallucinationer i produktionsagenter? Tre lager. Citations i output (varje faktapåstående kopplas till källa), groundedness-scoring (semantisk verifiering att påstående faktiskt finns i källa via embedding-similarity eller NLI), och Faithfulness-metriker via Ragas, DeepEval eller Braintrust. Kundservice- och juridik-agenter behöver alla tre. Kod-agenter behöver test-execution istället för groundedness. ### Hur ofta ska vi köra regression-tester? Minimum varje release. Rekommenderat weekly i produktion för att fånga modell- och data-drift som release-tester missar. Alice Labs standard: måndag 06:00 CET kör hela golden dataset i CI, alertar Slack vid regression, triggar rollback vid två röda veckor i rad utan förklaring. ### Hur påverkar EU AI Act Artikel 15 vår eval-strategi? Artikel 15 kräver att högriskklassade AI-system uppnår lämplig nivå av accuracy, robusthet och cybersäkerhet genom hela livscykeln. Översätts konkret till dokumenterade eval-suites, adversarial testing, reproducerbara mätningar och versionshanterade rapporter. Fullt tillämpligt 2 augusti 2026, tillsyn i Sverige av IMY. Bygg eval-pipeline så att den producerar rapporter som kan bifogas teknisk dokumentation direkt. ### Vad kostar en produktionsklassad eval-pipeline? Initial uppsättning för en single-task-agent: 80 000 till 200 000 SEK inklusive golden dataset-uppbyggnad, promptfoo- och Langfuse-integration, CI-pipeline och första 3 månaders finslipning. Löpande drift: 15 000 till 40 000 SEK per månad för weekly regression-runs, judge-kostnader och observability-hosting. Multi-agent-plattform: 300 000 till 800 000 SEK initial plus 40 000 till 100 000 SEK månad. ### Kan vi köra evals lokalt utan att skicka data till OpenAI eller Anthropic? Ja. Promptfoo, Langfuse och Inspect AI kör alla self-host. Använd open-weight-modeller (Llama, Mistral, Qwen) via vLLM eller Ollama som både agent och judge. Kombination fungerar bra för GDPR-kritiska use-cases: judge lokalt, agent mot API. Lägre absolut kvalitet på judge, men eliminerar data-exfil-risk. ### Hur validerar vi att LLM-as-judge korrelerar med mänsklig bedömning? Kör inter-rater agreement mellan judge och 2-3 mänskliga bedömare på ett urval av 100 samples. Använd Cohen kappa eller Krippendorff alpha. Kappa över 0,6 = god samstämmighet, över 0,8 = utmärkt. Kör om var 3:e månad eller efter modell-uppdatering. Om kappa sjunker under 0,6, justera rubrik och rerun. ### Vem äger eval-suiten i teamet? Agent-teamet, aldrig ett separat QA-team. Evals är produktionskod. Alice Labs setup: agent-engineer äger eval-code, produktägare äger golden dataset lager 1, domänexpert reviewar lager 2, ML-ops äger CI och observability. Var 3:e månad kvartals-review med alla stakeholders. Föregående i AI Agents ### AI-agent handoff-mönster 2026: praktisk guide https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi Nästa i AI Agents ### AI-agent + MCP-integration: patterns för svenska team https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi ## Vidare läsning - Promptfoo - open-source LLM evals (https://www.promptfoo.dev/)· promptfoo.dev - Langfuse - open-source LLM engineering (https://langfuse.com/)· langfuse.com - Braintrust - eval platform (https://www.braintrust.dev/)· braintrust.dev - LangSmith - LangChain-native tracing (https://smith.langchain.com/)· smith.langchain.com - Inspect AI - UK AISI eval framework (https://inspect.aisi.org.uk/)· aisi.org.uk - Ragas - RAG evaluation (https://docs.ragas.io/)· ragas.io - Anthropic - Building Effective Agents (https://www.anthropic.com/engineering/building-effective-agents)· anthropic.com - OpenAI - Evals cookbook (https://cookbook.openai.com/examples/evaluation)· openai.com - EU AI Act - regulatory framework (https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai)· digital-strategy.ec.europa.eu - IMY - tillsyn AI Act (https://www.imy.se/)· imy.se - Vinnova (https://www.vinnova.se/)· vinnova.se - AI Sweden (https://www.ai.se/)· ai.se ## Relaterade tjänster AI-agenter för svenska företag Money page: enterprise AI-agent-tjänster i Norden: https://alicelabs.ai/sv/ai-agenter AI-agent-implementation Alice Labs AI-implementation-tjänster: https://alicelabs.ai/sv/ai-implementation AI-konsult för svenska företag AI-konsulting: strategi, arkitektur, evals, drift: https://alicelabs.ai/sv/ai-konsult AI-strategi Strategirådgivning och AI-roadmap: https://alicelabs.ai/sv/ai-strategi Enterprise AI Agents (engelska) EN money page for global buyers: https://alicelabs.ai/en/ai-agents AI-agenter Stockholm Alice Labs AI-agent-tjänster för svenska företag.: https://alicelabs.ai/ai-agenter svensk AI-konsult Alice Labs AI-konsult för svensk enterprise och mid-market.: https://alicelabs.ai/ai-konsult ## Relaterade artiklar pillar ### AI-agenter: komplett guide för svenska företag 2026 Pillar-guiden med definition, arkitektur, use-cases och EU AI Act. https://alicelabs.ai/sv/insights/ai-agent-guide deepdive ### AI-agent handoff-mönster 2026 6 handoff-mönster med kod-exempel i LangGraph. https://alicelabs.ai/sv/insights/ai-agent-handoff-patterns deepdive ### Human-in-the-loop AI-agent-arkitektur för svenska team HITL-patterns, approval-queues, EU AI Act Artikel 14. https://alicelabs.ai/sv/insights/ai-agent-human-in-the-loop-arkitektur deepdive ### AI-agent reasoning models 2026: o3, Claude, DeepSeek R1 När använda reasoning vs standard, kostnad och latens. https://alicelabs.ai/sv/insights/ai-agent-reasoning-models-o1-o3-claude-thinking deepdive ### AI Agent Observability Guide 2026 (engelska) EN djupdykning på tracing, spans, dashboards och cost. https://alicelabs.ai/en/insights/ai-agent-observability-guide-2026 ## Källor 1. Promptfoo documentation (https://www.promptfoo.dev/docs/intro/)Promptfoo · Promptfoo “YAML-driven LLM eval-ramverk med stöd för LLM-as-judge, deterministiska assertions, CI-integration och regression-tester.” (hämtad 2026-09-20) 2. Langfuse documentation - evaluation (https://langfuse.com/docs/scores/overview)Langfuse · Langfuse “Open-source produktions-tracing och dataset-management med EU self-host och GDPR-support.” (hämtad 2026-09-20) 3. Braintrust documentation (https://www.braintrust.dev/docs)Braintrust · Braintrust “SaaS-plattform för eval-orkestrering, human review och prompt-versioning med starka dashboards.” (hämtad 2026-09-19) 4. LangSmith - evaluation and tracing (https://docs.smith.langchain.com/)LangChain · LangChain “LangChain- och LangGraph-native tracing, evals och dataset-management med EU-region.” (hämtad 2026-09-19) 5. Inspect AI framework (https://inspect.aisi.org.uk/)UK AI Safety Institute · UK AISI “Open-source ramverk för säkerhets- och capability-evals, blir de facto-standard för AI Act-tester 2026.” (hämtad 2026-09-18) 6. Ragas - RAG evaluation metrics (https://docs.ragas.io/)Ragas · Ragas “Faithfulness, context-precision, answer-relevance och context-recall som färdiga metriker för RAG- och agent-evals.” (hämtad 2026-09-18) 7. Building Effective Agents (https://www.anthropic.com/engineering/building-effective-agents)Anthropic · Anthropic “Rekommendation: börja med enkla workflows, addera reflection, tool use och multi-agent-mönster gradvis baserat på uppmätt behov.” (hämtad 2026-09-17) 8. OpenAI Evals cookbook (https://cookbook.openai.com/examples/evaluation)OpenAI · OpenAI “Best-practice-mönster för LLM-as-judge, structured rubrics och regression-tester i produktion.” (hämtad 2026-09-17) 9. State of AI in Business 2025 (https://sloanreview.mit.edu/projects/state-of-ai-in-business/)MIT Sloan Management Review och BCG · MIT SMR / BCG “82 procent av företag med AI i produktion har någon form av eval-pipeline. AI-agenter växer snabbast som kategori.” (hämtad 2026-09-16) 10. EU AI Act - regelverk för artificiell intelligens (https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai)Europeiska kommissionen · European Commission “Artikel 15 kräver lämplig nivå av accuracy, robusthet och cybersäkerhet genom hela livscykeln för högriskklassade AI-system, fullt tillämpligt 2 augusti 2026.” (hämtad 2026-09-16) 11. Tillsyn av AI-system i Sverige (https://www.imy.se/)Integritetsskyddsmyndigheten (IMY) · IMY “IMY är utpekad svensk tillsynsmyndighet för EU AI Act. Guidance för högriskklassade AI-system publicerad 2026.” (hämtad 2026-09-16) 12. AI-strategi och satsningar (https://www.vinnova.se/)Vinnova · Vinnova “600 MSEK investering i EU:s DIGITAL-program 2026 för AI, cybersäkerhet och digitalisering. Sverige rankas 19:e globalt på AI-kapacitet 2026.” (hämtad 2026-09-15) 13. AI Sweden - nationellt center för tillämpad AI (https://www.ai.se/)AI Sweden · AI Sweden “Koordinerar tillämpad AI-forskning för svenska företag och offentlig sektor från Lindholmen Science Park.” (hämtad 2026-09-15) 14. Alice Labs - enterprise AI-agent-implementationer i Norden (https://alicelabs.ai/sv/case)Alice Labs · Alice Labs “100+ produktionsimplementationer sedan 2023, weekly regression-runs på golden datasets med promptfoo, Langfuse och Inspect AI.” (hämtad 2026-09-20) Nästa planerade granskning: 2026-12-19 Alice Labs praktiker-team Boka AI-agent-konsultation Dela Share on LinkedIn (https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2Falicelabs.ai%2Fsv%2Finsights%2Fai-agent-evals-testing-strategi)Share on X (https://twitter.com/intent/tweet?url=https%3A%2F%2Falicelabs.ai%2Fsv%2Finsights%2Fai-agent-evals-testing-strategi&text=AI-agent%20evals%20%2B%20testing%202026%3A%20strategi%20f%C3%B6r%20svenska%20team) ## Hör av dig! Labbet svarar oftast inom 24 timmar. Behöver du hjälp med AI? Kontakta oss (https://alicelabs.ai/en/ai-consulting-services#contact-form) ## Structured data ```json [ { "@context": "https://schema.org", "@graph": [ { "@type": "Organization", "@id": "https://alicelabs.ai/#organization", "name": "Alice Labs", "alternateName": [ "Alice Labs AB", "AliceLabs" ], "legalName": "Alice Labs AB", "identifier": "559443-5470", "foundingLocation": { "@type": "Place", "name": "Stockholm, Sweden" }, "url": "https://alicelabs.ai", "logo": { "@type": "ImageObject", "@id": "https://alicelabs.ai/#logo", "url": "https://alicelabs.ai/images/alice-logo.png", "contentUrl": "https://alicelabs.ai/images/alice-logo.png", "width": 2000, "height": 2027, "caption": "Alice Labs" }, "image": { "@id": "https://alicelabs.ai/#logo" }, "description": "Alice Labs är en svensk AI-byrå som hjälper företag implementera AI - från strategi till skalning.", "slogan": "From AI strategy to measurable results.", "foundingDate": "2023", "email": "hej@alicelabs.ai", "telephone": "+46734157476", "address": { "@type": "PostalAddress", "streetAddress": "Hammarbybacken 27", "addressLocality": "Stockholm", "postalCode": "120 30", "addressCountry": "SE" }, "contactPoint": [ { "@type": "ContactPoint", "contactType": "customer service", "email": "hej@alicelabs.ai", "telephone": "+46734157476", "areaServed": [ "SE", "EU" ], "availableLanguage": [ "Swedish", "English" ] } ], "areaServed": [ { "@type": "Country", "name": "Sweden" }, { "@type": "Place", "name": "Europe" } ], "knowsAbout": [ "AI strategy", "AI implementation", "AI agents", "AI automation", "Generative AI", "AI governance", "AI training", "Machine learning", "Large language models", "RAG", "AI consulting", "Digital transformation", "AI search optimization", "LLMO", "AI for enterprise" ], "founder": [ { "@id": "https://alicelabs.ai/#linus" }, { "@id": "https://alicelabs.ai/#eric" } ], "sameAs": [ "https://www.linkedin.com/company/alicelabsai", "https://www.trustpilot.com/review/alicelabs.ai", "https://www.wikidata.org/wiki/Q140369570" ] }, { "@type": "Person", "@id": "https://alicelabs.ai/#linus", "name": "Linus Ingemarsson", "givenName": "Linus", "familyName": "Ingemarsson", "jobTitle": "Co-Founder", "description": "Co-founder of Alice Labs. Architects AI agent systems and automation in production for clients across financial services, media, and the public sector.", "url": "https://alicelabs.ai/en/linus-ingemarsson", "sameAs": [ "https://www.linkedin.com/in/linus-ingemarsson/", "https://www.wikidata.org/wiki/Q140369914" ], "knowsAbout": [ "AI agents", "agent orchestration", "AI implementation", "LangGraph", "RAG systems", "AI strategy", "enterprise AI", "AI search optimization", "LLMO", "Nordic AI ecosystem" ], "worksFor": { "@id": "https://alicelabs.ai/#organization" } }, { "@type": "Person", "@id": "https://alicelabs.ai/#eric", "name": "Eric Lundberg", "givenName": "Eric", "familyName": "Lundberg", "jobTitle": "Co-Founder", "description": "Co-founder of Alice Labs. Designs AI automation systems and agent workflows that remove repetitive work and make day-to-day operations more reliable.", "url": "https://alicelabs.ai/en/eric-lundberg", "sameAs": [ "https://www.linkedin.com/in/eric-lundberg-3530451bb/", "https://www.wikidata.org/wiki/Q140369978" ], "knowsAbout": [ "AI automation", "agent workflows", "AI integrations", "process automation", "knowledge systems", "AI engineering", "enterprise AI", "Nordic AI ecosystem" ], "worksFor": { "@id": "https://alicelabs.ai/#organization" } }, { "@type": "Person", "@id": "https://alicelabs.ai/#alice", "name": "Alice Holmgren", "givenName": "Alice", "familyName": "Holmgren", "jobTitle": "CEO", "description": "CEO of Alice Labs. Leads strategy and growth across the Nordic AI consulting market.", "url": "https://alicelabs.ai/en/alice-holmgren", "knowsAbout": [ "AI strategy", "AI consulting leadership", "business development", "Nordic AI ecosystem", "enterprise AI adoption", "AI program management" ], "worksFor": { "@id": "https://alicelabs.ai/#organization" } }, { "@type": [ "LocalBusiness", "ProfessionalService" ], "@id": "https://alicelabs.ai/#localbusiness", "name": "Alice Labs", "description": "AI-konsult i Stockholm. Vi hjälper företag implementera AI - från strategi till skalning. Boka möte för en kostnadsfri AI-genomgång.", "url": "https://alicelabs.ai", "logo": { "@id": "https://alicelabs.ai/#logo" }, "image": { "@id": "https://alicelabs.ai/#logo" }, "telephone": "+46734157476", "email": "hej@alicelabs.ai", "priceRange": "$$$", "currenciesAccepted": "SEK, EUR, USD", "paymentAccepted": "Invoice", "address": { "@type": "PostalAddress", "streetAddress": "Hammarbybacken 27", "addressLocality": "Stockholm", "postalCode": "120 30", "addressRegion": "Stockholms län", "addressCountry": "SE" }, "geo": { "@type": "GeoCoordinates", "latitude": 59.3018, "longitude": 18.1003 }, "areaServed": [ { "@type": "City", "name": "Stockholm" }, { "@type": "City", "name": "Göteborg" }, { "@type": "City", "name": "Malmö" }, { "@type": "City", "name": "Uppsala" }, { "@type": "Country", "name": "Sweden" } ], "openingHoursSpecification": [ { "@type": "OpeningHoursSpecification", "dayOfWeek": [ "Monday", "Tuesday", "Wednesday", "Thursday", "Friday" ], "opens": "08:00", "closes": "18:00" } ], "hasOfferCatalog": { "@type": "OfferCatalog", "name": "AI-tjänster", "itemListElement": [ { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-konsult" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-strategi" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-implementation" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-utbildning" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-agenter" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-automation" } } ] }, "knowsAbout": [ "AI-konsult", "AI-strategi", "AI-implementation", "AI-utbildning", "AI-agenter", "AI-automation", "Generative AI", "Machine learning", "RAG", "Large language models", "AI governance" ], "parentOrganization": { "@id": "https://alicelabs.ai/#organization" }, "sameAs": [ "https://www.linkedin.com/company/alicelabsai" ] }, { "@type": "WebSite", "@id": "https://alicelabs.ai/#website", "url": "https://alicelabs.ai", "name": "Alice Labs", "alternateName": [ "Alice Labs AB" ], "description": "AI consulting, implementation and training for businesses.", "publisher": { "@id": "https://alicelabs.ai/#organization" }, "inLanguage": [ "sv-SE", "en-US" ], "potentialAction": { "@type": "SearchAction", "target": { "@type": "EntryPoint", "urlTemplate": "https://alicelabs.ai/?q={search_term_string}" }, "query-input": "required name=search_term_string" } } ] }, { "@context": "https://schema.org", "@graph": [ { "@type": "HowTo", "@id": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#article", "headline": "AI-agent evals och testing 2026: strategi för svenska team", "description": "AI-agent evals 2026: taxonomi, golden datasets, promptfoo, Langfuse, Braintrust, LangSmith, EU AI Act Art. 15. Alice Labs 100+ implementationer Stockholm.", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi", "datePublished": "2026-09-20", "dateModified": "2026-09-20", "expires": "2026-12-19", "author": { "@id": "https://alicelabs.ai/#linus" }, "reviewedBy": { "@id": "https://alicelabs.ai/#eric" }, "dateReviewed": "2026-09-20", "publisher": { "@type": "Organization", "name": "Alice Labs", "url": "https://alicelabs.ai", "logo": { "@type": "ImageObject", "url": "https://alicelabs.ai/images/alice-logo.png" } }, "image": { "@type": "ImageObject", "@id": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#hero-image", "url": "https://alicelabs.ai/images/og/og-home.jpg", "contentUrl": "https://alicelabs.ai/images/og/og-home.jpg", "width": 1600, "height": 900, "caption": "AI-agent evals + testing 2026: strategi för svenska team", "creator": { "@id": "https://alicelabs.ai/#organization" }, "representativeOfPage": true, "license": "https://alicelabs.ai/terms" }, "mainEntityOfPage": { "@type": "WebPage", "@id": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi" }, "inLanguage": "sv", "articleSection": "ai-agents", "keywords": "ai agent evals, llm evaluation svenska, ai agent testing, agent regression tests, promptfoo, langfuse, braintrust, langsmith, llm as judge, hallucination detection, eu ai act artikel 15", "about": [ { "@type": "Thing", "name": "TL;DR: så bygger svenska team en eval-strategi som skalar", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#tldr" }, { "@type": "Thing", "name": "Vad är AI-agent evals? Definition och skillnad mot klassisk testning", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#vad-ar-ai-agent-evals" }, { "@type": "Thing", "name": "Eval-taxonomin: unit, integration, regression, shadow, A/B produktion", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#eval-taxonomi" }, { "@type": "Thing", "name": "Golden datasets: Alice Labs 3-lager-metod", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#golden-datasets" }, { "@type": "Thing", "name": "Verktygsstacken 2026: promptfoo, Langfuse, Braintrust, LangSmith, Inspect AI", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#verktygsstacken" }, { "@type": "Thing", "name": "LLM-as-judge: mönster som fungerar och tre anti-mönster att undvika", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#llm-as-judge" }, { "@type": "Thing", "name": "Hallucination-detection: citations, groundedness, faithfulness", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#hallucination-detection" }, { "@type": "Thing", "name": "Cost- och latens-evals: fånga budget-regressions innan de brinner", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#cost-latens-evals" }, { "@type": "Thing", "name": "EU AI Act Artikel 15: accuracy och robustness som konkreta eval-krav", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#eu-ai-act-artikel-15" }, { "@type": "Thing", "name": "Weekly regression-runs: Alice Labs playbook från 100+ produktionsagenter", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#weekly-regression-runs" }, { "@type": "Thing", "name": "Praktiskt kod-exempel: promptfoo plus pytest plus Langfuse på 30 minuter", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#praktisk-kod-exempel" }, { "@type": "Thing", "name": "Vanliga misstag i svenska eval-projekt (och hur ni undviker dem)", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#vanliga-misstag" } ], "mentions": [ { "@type": "Organization", "name": "Alice Labs", "url": "https://alicelabs.ai" }, { "@type": "Organization", "name": "Anthropic", "url": "https://www.anthropic.com" }, { "@type": "Organization", "name": "OpenAI", "url": "https://openai.com" }, { "@type": "Organization", "name": "Google DeepMind", "url": "https://deepmind.google" }, { "@type": "Organization", "name": "Microsoft", "url": "https://www.microsoft.com" }, { "@type": "Organization", "name": "LangChain", "url": "https://www.langchain.com" }, { "@type": "Organization", "name": "UK AI Safety Institute", "url": "https://www.aisi.org.uk/" }, { "@type": "Organization", "name": "Vinnova", "url": "https://www.vinnova.se" }, { "@type": "Organization", "name": "AI Sweden", "url": "https://www.ai.se" }, { "@type": "Organization", "name": "Integritetsskyddsmyndigheten", "url": "https://www.imy.se" }, { "@type": "Organization", "name": "MIT Sloan Management Review", "url": "https://sloanreview.mit.edu" }, { "@type": "Organization", "name": "BCG", "url": "https://www.bcg.com" }, { "@type": "Organization", "name": "KTH", "url": "https://www.kth.se" }, { "@type": "Organization", "name": "Chalmers", "url": "https://www.chalmers.se" }, { "@type": "Product", "name": "Promptfoo", "url": "https://www.promptfoo.dev/" }, { "@type": "Product", "name": "Langfuse", "url": "https://langfuse.com/" }, { "@type": "Product", "name": "Braintrust", "url": "https://www.braintrust.dev/" }, { "@type": "Product", "name": "LangSmith", "url": "https://smith.langchain.com/" }, { "@type": "Product", "name": "Inspect AI", "url": "https://inspect.aisi.org.uk/" }, { "@type": "Product", "name": "Ragas", "url": "https://docs.ragas.io/" }, { "@type": "Product", "name": "DeepEval", "url": "https://docs.confident-ai.com/" }, { "@type": "Product", "name": "LangGraph", "url": "https://langchain-ai.github.io/langgraph/" }, { "@type": "Product", "name": "CrewAI framework", "url": "https://docs.crewai.com/" }, { "@type": "Product", "name": "OpenAI Agents SDK", "url": "https://platform.openai.com/docs/guides/agents" }, { "@type": "Product", "name": "Claude Agent SDK", "url": "https://docs.anthropic.com/" }, { "@type": "Product", "name": "Model Context Protocol", "url": "https://modelcontextprotocol.io" }, { "@type": "Thing", "name": "EU AI Act", "url": "https://digital-strategy.ec.europa.eu/en/policies/regulatory-framework-ai" }, { "@type": "Thing", "name": "GDPR", "url": "https://gdpr-info.eu/" }, { "@type": "Place", "name": "Stockholm", "url": "https://www.wikidata.org/wiki/Q1754" }, { "@type": "Person", "name": "Linus Ingemarsson", "url": "https://www.linkedin.com/in/linus-ingemarsson/" }, { "@type": "Person", "name": "Eric Lundberg", "url": "https://www.linkedin.com/in/eric-lundberg-3530451bb/" } ], "hasPart": [ { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "TL;DR: så bygger svenska team en eval-strategi som skalar", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#tldr", "description": "Bygg evals i fem lager: unit (per verktygsanrop), integration (agent-loop end-to-end), regression (golden dataset varje release), shadow (parallell prod-körning) och A/B (kontrollerad utrullning). Använd promptfoo för lokala tester, Langfuse eller Braintrust för produktions-tracing och LLM-as-judge för semantisk bedömning. Kör weekly regression-runs. Dokumentera enligt EU AI Act Artikel 15." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Vad är AI-agent evals? Definition och skillnad mot klassisk testning", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#vad-ar-ai-agent-evals", "description": "AI-agent evals är reproducerbara mätningar av en autonom agents task success, säkerhet, kostnad och latens. Skillnaden mot klassisk mjukvarutestning: output är icke-deterministisk, agenten fattar val (verktyg, planering, minne) och en enda fråga kan ge många acceptabla svar. Evals hanterar detta med statistiska threshold, rubric-baserad LLM-judge och trajectory-analys istället för strikt output-match." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Eval-taxonomin: unit, integration, regression, shadow, A/B produktion", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#eval-taxonomi", "description": "En komplett eval-strategi kombinerar fem nivåer. Unit-evals testar enskilda verktygsanrop och prompt-templates. Integration-evals kör agent-loopen end-to-end mot sandboxar. Regression-evals kör golden dataset varje release. Shadow-evals kör ny version parallellt mot produktionstrafik utan att exponera output. A/B-evals validerar med kontrollerad trafik-split. Nivåerna kompletterar varandra; ingen ersätter någon." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Golden datasets: Alice Labs 3-lager-metod", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#golden-datasets", "description": "Ett golden dataset är en handkurerad samling verkliga scenarier med förväntat utfall som utgör sanningen för regression-tester. Alice Labs 3-lager-metod: lager 1 (20 - 50 kritiska happy paths), lager 2 (100 - 500 kanterfall och kända historiska buggar) och lager 3 (1 000 plus från produktionstrafik som ackumuleras över tid). Versionshanteras i git, ägs av agent-teamet, aldrig auto-genererat utan mänsklig granskning." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Verktygsstacken 2026: promptfoo, Langfuse, Braintrust, LangSmith, Inspect AI", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#verktygsstacken", "description": "Fem verktyg dominerar eval-stacken 2026. Promptfoo för lokala CLI-drivna prompt- och regression-tester. Langfuse för open-source produktions-tracing och dataset-management. Braintrust för SaaS-baserad eval-orkestrering och human review. LangSmith för LangChain- och LangGraph-native tracing plus evals. Inspect AI (UK AISI) för säkerhets- och capability-evals. De kompletterar varandra oftare än de konkurrerar." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "LLM-as-judge: mönster som fungerar och tre anti-mönster att undvika", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#llm-as-judge", "description": "LLM-as-judge använder en starkare modell för att bedöma en agents output mot en rubric. Fungerar när judge-modellen är minst en klass starkare än agent-modellen (Claude Opus 4.6 bedömer Sonnet 4.6-output), när rubriken är explicit och skalan är kort (1-4), och när human samples valideras var 200:e bedömning. Anti-mönster: självbedömning, fri-text-scoring och skalor 1-10 utan ankare." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Hallucination-detection: citations, groundedness, faithfulness", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#hallucination-detection", "description": "Hallucination-detection i produktionsagenter kräver tre lager. Citations (varje faktapåstående kopplas till källa i output), groundedness-scoring (semantisk verifiering att påstående faktiskt finns i källa), och Faithfulness-metriker via Ragas, DeepEval eller egna judge-prompts. En enskild metrik räcker inte, kombinationen ger produktionsklassad kvalitetssignal." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Cost- och latens-evals: fånga budget-regressions innan de brinner", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#cost-latens-evals", "description": "Cost-evals mäter tokens och verktygsanrop per körning mot budget-threshold. Latens-evals mäter tid-till-första-token, tid-till-slutförd-task och 95:e percentilen. Bägge körs i regression-suite och alertar om ny release ökar median-kostnad över 20 procent eller p95-latens över 500 ms. Utan dessa evals upptäcks kostnadsexplosioner först på månadsräkningen." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "EU AI Act Artikel 15: accuracy och robustness som konkreta eval-krav", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#eu-ai-act-artikel-15", "description": "EU AI Act Artikel 15 kräver att högriskklassade AI-system har lämplig nivå av accuracy, robusthet och cybersäkerhet genom hela livscykeln. För AI-agenter översätts detta till dokumenterade eval-suites, adversarial testing, reproducerbara mätningar och versionshanterade eval-rapporter. Fullt tillämpligt 2 augusti 2026. I Sverige tillsyn av IMY. Bygg eval-pipeline så att den producerar Artikel 15-dokumentation som biprodukt." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Weekly regression-runs: Alice Labs playbook från 100+ produktionsagenter", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#weekly-regression-runs", "description": "Weekly regression-runs kör golden dataset varje måndag morgon i CI, jämför mot förra veckans baseline och alertar Slack om accuracy sjunker mer än 3 procent, hallucination-rate ökar mer än 2 procentenheter eller p95-kostnad ökar mer än 20 procent. Trigger för rollback: två röda veckor i rad utan förklarande code change. Playbook standardiserad i Alice Labs interna template och används på 100+ nordiska produktionsagenter." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Praktiskt kod-exempel: promptfoo plus pytest plus Langfuse på 30 minuter", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#praktisk-kod-exempel", "description": "Minimal setup: promptfoo.yaml med 20 golden test cases, pytest-fixture som kör agent-loop mot sandbox, Langfuse-tracing i produktion. Kör lokalt med promptfoo eval och i CI med pytest. Fungerar för LangGraph, CrewAI, OpenAI Agents SDK och Anthropic Claude Agent SDK. Alice Labs template finns i intern engineering-handbok och används som startpunkt för alla nya uppdrag." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Vanliga misstag i svenska eval-projekt (och hur ni undviker dem)", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#vanliga-misstag", "description": "Fem misstag återkommer i svenska AI-agent-uppdrag 2026: bara ha ett eval-lager istället för fem, syntetiskt istället för verkligt golden dataset, samma modell som judge och agent, saknar cost- och latens-evals, inga weekly regression-runs. Alice Labs default är att adressera alla fem redan i vecka 3 av 12-veckors implementationsplaybook." } ], "speakable": { "@type": "SpeakableSpecification", "cssSelector": [ "[data-speakable='true']", "[data-snippet='true']", "[data-section-answer='true']", ".quick-answer", "h1" ] } }, { "@type": "BreadcrumbList", "@id": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#breadcrumb", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "Hem", "item": "https://alicelabs.ai/sv" }, { "@type": "ListItem", "position": 2, "name": "Insights", "item": "https://alicelabs.ai/sv/insights" }, { "@type": "ListItem", "position": 3, "name": "ai-agents", "item": "https://alicelabs.ai/sv/insights/ai-agents" }, { "@type": "ListItem", "position": 4, "name": "AI-agent evals + testing 2026: strategi för svenska team", "item": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi" } ] }, { "@type": "Person", "@id": "https://alicelabs.ai/#eric", "name": "Eric Lundberg", "jobTitle": "Co-Founder", "worksFor": { "@id": "https://alicelabs.ai/#organization" }, "knowsAbout": [ { "@type": "DefinedTerm", "name": "AI automation", "url": "https://www.wikidata.org/wiki/Q1322483" }, { "@type": "DefinedTerm", "name": "Workflow automation", "url": "https://www.wikidata.org/wiki/Q120427660" }, { "@type": "DefinedTerm", "name": "Retrieval-Augmented Generation", "url": "https://www.wikidata.org/wiki/Q117761563" }, { "@type": "DefinedTerm", "name": "Enterprise AI implementation" } ], "sameAs": [ "https://www.linkedin.com/in/eric-lundberg-3530451bb/", "https://www.wikidata.org/wiki/Q140369978" ] }, { "@type": "Person", "@id": "https://alicelabs.ai/#linus", "name": "Linus Ingemarsson", "jobTitle": "CEO & Co-Founder", "worksFor": { "@id": "https://alicelabs.ai/#organization" }, "knowsAbout": [ { "@type": "DefinedTerm", "name": "AI agent orchestration", "url": "https://www.wikidata.org/wiki/Q98678395" }, { "@type": "DefinedTerm", "name": "AI strategy" }, { "@type": "DefinedTerm", "name": "AI search optimization (LLMO)" }, { "@type": "DefinedTerm", "name": "Enterprise AI strategy" }, { "@type": "DefinedTerm", "name": "AI consulting leadership" } ], "sameAs": [ "https://www.linkedin.com/in/linus-ingemarsson/", "https://www.wikidata.org/wiki/Q140369914" ] }, { "@type": "FAQPage", "mainEntity": [ { "@type": "Question", "name": "Vad är AI-agent evals?", "acceptedAnswer": { "@type": "Answer", "text": "AI-agent evals är reproducerbara mätningar av en autonom agents task success, säkerhet, kostnad och latens. En komplett strategi kombinerar unit-, integration-, regression-, shadow- och A/B-evals med golden datasets och LLM-as-judge. Utan evals kan team inte svara på om nästa modelluppdatering är bättre eller sämre, och kan inte auditera för EU AI Act Artikel 15." } }, { "@type": "Question", "name": "Vad är skillnaden mot klassisk mjukvarutestning?", "acceptedAnswer": { "@type": "Answer", "text": "AI-agent-output är icke-deterministisk, agenten fattar val (verktyg, planering, iterationer) och en fråga kan ha många acceptabla svar. Evals hanterar detta med toleransband, rubric-baserad LLM-judge och trajectory-analys istället för strikt output-match. Klassiska unit-tester räcker inte, men behövs fortfarande på verktygs- och schema-nivå." } }, { "@type": "Question", "name": "Vilken eval-stack ska vi välja: promptfoo, Langfuse, Braintrust eller LangSmith?", "acceptedAnswer": { "@type": "Answer", "text": "De kompletterar varandra. Promptfoo för CLI-drivna regression-tester i CI. Langfuse för open-source produktions-tracing med EU-hosting. Braintrust för SaaS-baserad human review. LangSmith när ni redan är LangChain- eller LangGraph-native. Alice Labs default för svensk enterprise: promptfoo plus Langfuse plus Inspect AI för säkerhetsevals." } }, { "@type": "Question", "name": "Hur stort ska ett golden dataset vara?", "acceptedAnswer": { "@type": "Answer", "text": "Alice Labs 3-lager-metod: 20-50 kritiska happy paths vecka 1-2, 100-500 kanterfall och kända buggar över första 90 dagarna, 1 000 plus produktionssample över första året. Storleken är mindre viktig än realism och ägandeskap. 50 verkliga fall slår 5 000 syntetiska nästan alltid." } }, { "@type": "Question", "name": "Fungerar LLM-as-judge i produktion?", "acceptedAnswer": { "@type": "Answer", "text": "Ja, om judge-modellen är minst en klass starkare än agent-modellen, rubriken är explicit, skalan är kort (1-4) med ankare per nivå, och human sample-validering körs var 200:e bedömning. Undvik självbedömning, fri-text-scoring och skalor 1-10 utan ankare, det är de vanligaste anti-mönstren." } }, { "@type": "Question", "name": "Hur upptäcker vi hallucinationer i produktionsagenter?", "acceptedAnswer": { "@type": "Answer", "text": "Tre lager. Citations i output (varje faktapåstående kopplas till källa), groundedness-scoring (semantisk verifiering att påstående faktiskt finns i källa via embedding-similarity eller NLI), och Faithfulness-metriker via Ragas, DeepEval eller Braintrust. Kundservice- och juridik-agenter behöver alla tre. Kod-agenter behöver test-execution istället för groundedness." } }, { "@type": "Question", "name": "Hur ofta ska vi köra regression-tester?", "acceptedAnswer": { "@type": "Answer", "text": "Minimum varje release. Rekommenderat weekly i produktion för att fånga modell- och data-drift som release-tester missar. Alice Labs standard: måndag 06:00 CET kör hela golden dataset i CI, alertar Slack vid regression, triggar rollback vid två röda veckor i rad utan förklaring." } }, { "@type": "Question", "name": "Hur påverkar EU AI Act Artikel 15 vår eval-strategi?", "acceptedAnswer": { "@type": "Answer", "text": "Artikel 15 kräver att högriskklassade AI-system uppnår lämplig nivå av accuracy, robusthet och cybersäkerhet genom hela livscykeln. Översätts konkret till dokumenterade eval-suites, adversarial testing, reproducerbara mätningar och versionshanterade rapporter. Fullt tillämpligt 2 augusti 2026, tillsyn i Sverige av IMY. Bygg eval-pipeline så att den producerar rapporter som kan bifogas teknisk dokumentation direkt." } }, { "@type": "Question", "name": "Vad kostar en produktionsklassad eval-pipeline?", "acceptedAnswer": { "@type": "Answer", "text": "Initial uppsättning för en single-task-agent: 80 000 till 200 000 SEK inklusive golden dataset-uppbyggnad, promptfoo- och Langfuse-integration, CI-pipeline och första 3 månaders finslipning. Löpande drift: 15 000 till 40 000 SEK per månad för weekly regression-runs, judge-kostnader och observability-hosting. Multi-agent-plattform: 300 000 till 800 000 SEK initial plus 40 000 till 100 000 SEK månad." } }, { "@type": "Question", "name": "Kan vi köra evals lokalt utan att skicka data till OpenAI eller Anthropic?", "acceptedAnswer": { "@type": "Answer", "text": "Ja. Promptfoo, Langfuse och Inspect AI kör alla self-host. Använd open-weight-modeller (Llama, Mistral, Qwen) via vLLM eller Ollama som både agent och judge. Kombination fungerar bra för GDPR-kritiska use-cases: judge lokalt, agent mot API. Lägre absolut kvalitet på judge, men eliminerar data-exfil-risk." } }, { "@type": "Question", "name": "Hur validerar vi att LLM-as-judge korrelerar med mänsklig bedömning?", "acceptedAnswer": { "@type": "Answer", "text": "Kör inter-rater agreement mellan judge och 2-3 mänskliga bedömare på ett urval av 100 samples. Använd Cohen kappa eller Krippendorff alpha. Kappa över 0,6 = god samstämmighet, över 0,8 = utmärkt. Kör om var 3:e månad eller efter modell-uppdatering. Om kappa sjunker under 0,6, justera rubrik och rerun." } }, { "@type": "Question", "name": "Vem äger eval-suiten i teamet?", "acceptedAnswer": { "@type": "Answer", "text": "Agent-teamet, aldrig ett separat QA-team. Evals är produktionskod. Alice Labs setup: agent-engineer äger eval-code, produktägare äger golden dataset lager 1, domänexpert reviewar lager 2, ML-ops äger CI och observability. Var 3:e månad kvartals-review med alla stakeholders." } } ] }, { "@context": "https://schema.org", "@type": "Dataset", "name": "AI-agent evals och testing 2026: strategi för svenska team", "description": "AI-agent evals 2026: taxonomi, golden datasets, promptfoo, Langfuse, Braintrust, LangSmith, EU AI Act Art. 15. Alice Labs 100+ implementationer Stockholm.", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi", "datePublished": "2026-09-20", "dateModified": "2026-09-20", "creator": { "@type": "Organization", "name": "Alice Labs", "url": "https://alicelabs.ai" }, "license": "https://creativecommons.org/licenses/by/4.0/", "isAccessibleForFree": true, "keywords": [ "ai agent evals", "llm evaluation svenska", "ai agent testing", "agent regression tests", "promptfoo", "langfuse", "braintrust", "langsmith", "llm as judge", "hallucination detection", "eu ai act artikel 15" ] }, { "@context": "https://schema.org", "@type": "ItemList", "name": "Related articles", "itemListElement": [ { "@type": "ListItem", "position": 1, "url": "https://alicelabs.ai/sv/insights/ai-agent-guide", "name": "AI-agenter: komplett guide för svenska företag 2026" }, { "@type": "ListItem", "position": 2, "url": "https://alicelabs.ai/sv/insights/ai-agent-handoff-patterns", "name": "AI-agent handoff-mönster 2026" }, { "@type": "ListItem", "position": 3, "url": "https://alicelabs.ai/sv/insights/ai-agent-human-in-the-loop-arkitektur", "name": "Human-in-the-loop AI-agent-arkitektur för svenska team" }, { "@type": "ListItem", "position": 4, "url": "https://alicelabs.ai/sv/insights/ai-agent-reasoning-models-o1-o3-claude-thinking", "name": "AI-agent reasoning models 2026: o3, Claude, DeepSeek R1" }, { "@type": "ListItem", "position": 5, "url": "https://alicelabs.ai/en/insights/ai-agent-observability-guide-2026", "name": "AI Agent Observability Guide 2026 (engelska)" } ] }, { "@context": "https://schema.org", "@type": "ItemList", "name": "Table of Contents", "numberOfItems": 12, "itemListOrder": "https://schema.org/ItemListOrderAscending", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "TL;DR: så bygger svenska team en eval-strategi som skalar", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#tldr" }, { "@type": "ListItem", "position": 2, "name": "Vad är AI-agent evals? Definition och skillnad mot klassisk testning", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#vad-ar-ai-agent-evals" }, { "@type": "ListItem", "position": 3, "name": "Eval-taxonomin: unit, integration, regression, shadow, A/B produktion", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#eval-taxonomi" }, { "@type": "ListItem", "position": 4, "name": "Golden datasets: Alice Labs 3-lager-metod", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#golden-datasets" }, { "@type": "ListItem", "position": 5, "name": "Verktygsstacken 2026: promptfoo, Langfuse, Braintrust, LangSmith, Inspect AI", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#verktygsstacken" }, { "@type": "ListItem", "position": 6, "name": "LLM-as-judge: mönster som fungerar och tre anti-mönster att undvika", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#llm-as-judge" }, { "@type": "ListItem", "position": 7, "name": "Hallucination-detection: citations, groundedness, faithfulness", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#hallucination-detection" }, { "@type": "ListItem", "position": 8, "name": "Cost- och latens-evals: fånga budget-regressions innan de brinner", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#cost-latens-evals" }, { "@type": "ListItem", "position": 9, "name": "EU AI Act Artikel 15: accuracy och robustness som konkreta eval-krav", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#eu-ai-act-artikel-15" }, { "@type": "ListItem", "position": 10, "name": "Weekly regression-runs: Alice Labs playbook från 100+ produktionsagenter", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#weekly-regression-runs" }, { "@type": "ListItem", "position": 11, "name": "Praktiskt kod-exempel: promptfoo plus pytest plus Langfuse på 30 minuter", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#praktisk-kod-exempel" }, { "@type": "ListItem", "position": 12, "name": "Vanliga misstag i svenska eval-projekt (och hur ni undviker dem)", "url": "https://alicelabs.ai/sv/insights/ai-agent-evals-testing-strategi#vanliga-misstag" } ] } ] }, { "@context": "https://schema.org", "@type": "BreadcrumbList", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "Hem", "item": "https://alicelabs.ai/" }, { "@type": "ListItem", "position": 2, "name": "Insikter", "item": "https://alicelabs.ai/sv/insights" }, { "@type": "ListItem", "position": 3, "name": "AI Agents", "item": "https://alicelabs.ai/sv/insights/ai-agents" }, { "@type": "ListItem", "position": 4, "name": "AI-agent evals och testing 2026: strategi för svenska team" } ] } ] ```