AI-agent benchmarks 2026: SWE-bench, TAU-bench, GAIA och WebArena förklarade

TL;DR: vad ni behöver veta om agent-benchmarks 2026

Publika agent-benchmarks är den enda gemensamma valutan mellan modell-labben, leverantörerna och er som köpare 2026. De är också systematiskt missförstådda. Kortversionen för svensk enterprise:

• Sex benchmarks räknas 2026: SWE-bench Verified, TAU-bench, GAIA, WebArena, τ-bench och AgentBench. Övriga är antingen underdiscipliner eller kontaminerade.
• State-of-the-art rör sig varannan månad. Claude Sonnet 4.5, GPT-5.1, Gemini 2.5 Pro och DeepSeek V3.5 turas om att toppa listorna. Rankingen i mars 2026 var irrelevant i september.
• Publik poäng förutsäger 40 till 60 procent av produktionsvärdet.Resten kommer från er kodbas, era verktyg, era data och er promptstruktur.
• EU AI Act Artikel 15 kräver dokumenterad robusthet för högriskagenter i Annex III. Publik benchmark räcker inte som enda evidens.

Slutsatsen är enkel: använd publika benchmarks för att sortera bort ohållbara leverantörer och som en första modellvalsgrind. Bygg sedan era egna evals för varje use-case. Alice Labs kör 30 till 100 domänspecifika evals per svensk kund innan produktion. Se AI-agenter för svenska företag för hur vi paketerar evals-arbetet i vår 12-veckors playbook.

Vad är en AI-agent-benchmark och vad skiljer den från en model-benchmark?

Sammanfattat

En AI-agent-benchmark mäter en agents förmåga att lösa fleretegs-uppgifter genom verktygsanrop i en definierad miljö. Det skiljer sig från en modellbenchmark (MMLU, HumanEval, GSM8K) som mäter en enskild språkmodell utan verktyg. Agent-benchmarks introducerar variabler för tool-use, planeringsdjup, memory och miljö-drift som modell-benchmarks inte fångar.

Modellbenchmarks (MMLU, HumanEval, GSM8K, MATH) mäter en språkmodell i isolering: en fråga in, ett svar ut, jämför mot facit. Agent-benchmarks mäter något fundamentalt annorlunda: en agent som ska planera, anropa verktyg, hantera fel-returer, iterera och slutföra ett mål över många steg.

Det innebär att fyra nya variabler måste kontrolleras:

• Verktygsyta. Vilka verktyg exponeras för agenten? Bara filläsning och shell? Full webbläsare? Databas? Skillnaden kan avgöra pass-rate helt.
• Planeringsdjup. Är uppgiften lösbar i 3 steg eller kräver den 15? Fel-ackumulering växer icke-linjärt med djup.
• Miljö-drift. Web-agent-benchmarks körs mot sandboxade kopior av sajter för att kontrollera drift. Reala sajter förändras dagligen.
• Sampling-varians. Samma agent, samma prompt, olika kör kan ge olika resultat. Rapportera pass@k för k=1, 4, 16 för att fånga tillförlitlighet.

Praktisk följd för svenska köpare: en leverantör som citerar en enskild benchmark-siffra utan k-värde eller körningsantal ger ett svagt bevis. Be alltid om pass@1 och pass@4 med minst 3 seed-körningar.

SWE-bench och SWE-bench Verified: kod-agent-standarden 2026

Sammanfattat

SWE-bench (Princeton, 2023) mäter om en agent kan lösa reala GitHub-issues genom att generera en patch som klarar dolda tester. SWE-bench Verified är en manuellt kvalitetsgranskad delmängd på 500 issues där problembeskrivning och tester är verifierade av mänskliga annoterare. State-of-the-art per september 2026: Claude Sonnet 4.5 76 procent, GPT-5.1 74 procent, Gemini 2.5 Pro 71 procent pass@1.

SWE-bench, publicerad av Princeton NLP 2023, är den mest citerade agent-benchmarken 2026. Uppgiften: givet en GitHub-issue och en snapshot av kodbasen, generera en patch som får dolda regression-tester att gå igenom. Ursprungliga SWE-bench har 2 294 issues över 12 Python-repos.

SWE-bench Verified, lanserad av OpenAI 2024, är en mänskligt verifierad delmängd på 500 issues där problembeskrivning och tester har granskats för entydighet. Det är den variant som citeras 2026, eftersom original-datat visat sig ha oklara issues där en korrekt patch ändå kan falla på ambiguösa tester.

Vidare varianter:

• SWE-bench Multimodal (2025): inkluderar issues med screenshots och UI-beskrivningar. Fortsatt svårt: bästa scores under 40 procent 2026.
• SWE-bench Live (2025): kontinuerligt uppdaterat med nya issues för att motverka träningsdata-kontaminering.
• SWE-bench Multilingual (2026): expanderar till JavaScript, TypeScript, Java, Go, Rust. Ligger typiskt 10 till 15 procentenheter under Python-scoren.

State-of-the-art september 2026 (pass@1, SWE-bench Verified):

Methodology: publika leaderboard-inlämningar rapporterade på swebench.com samt leverantörernas egna release-blogginlägg. Alltid pass@1 om inget annat anges. Scaffold anger vilken agent-loop som körde modellen; scaffold-valet påverkar typiskt 5 till 10 procentenheter.

Praktisk tolkning: SWE-bench Verified är den bästa proxy vi har för generisk kod-agent-förmåga 2026. Men den mäter Python-open-source. En agent på 76 procent i SWE-bench får typiskt 30 till 55 procent på er interna kodbas när ni testar mot era egna PR:er. Se AI coding agent guide 2026 för svenska dev-team för hur vi mappar detta till Cursor, Claude Code och GitHub Copilot Workspace.

TAU-bench: kundservice-agent-standarden från Sierra

Sammanfattat

TAU-bench, publicerad av Sierra 2024, mäter kundserviceagenter i två domäner: airline och retail. Agenten måste följa en policy-manual, anropa API-verktyg (booking, refund, exchange) och lösa kundproblem över flera turer. Skillnaden mellan pass@1 och pass@4 avslöjar policy-adherence: en agent som varierar mellan compliant och non-compliant mellan körningar är oanvändbar i produktion.

TAU-bench (Tool-Agent-User bench) publicerades av Sierra 2024 och har snabbt blivit standard för kundservice-agent-utvärdering. Två domäner ingår: airline (bokning, avbokning, ombokning, refund) och retail (retur, byte, orderfrågor).

Uppgiftsformatet är realistiskt: en simulerad användare med ett mål interagerar med agenten över 5 till 15 turer. Agenten har tillgång till en policy-manual och 8 till 12 API-verktyg. Framgång kräver policy-adherence: refund som inte matchar policy räknas som misslyckande även om användaren är nöjd.

State-of-the-art september 2026 (pass@1 airline): Claude Sonnet 4.5 67 procent, GPT-5.1 63 procent, Gemini 2.5 Pro 60 procent. Retail-domänen ligger typiskt 5 till 8 procentenheter högre då policy-ytan är enklare.

Pass@k är där insikten finns. En agent kan ha 70 procent pass@1 men bara 40 procent pass@4 (samma uppgift lyckas 4 gånger av 4). Det betyder att agenten är stokastisk i sin policy-tolkning. För svensk enterprise är detta diskvalificerande i regulerade branscher (bank, försäkring, telekom). Kräv alltid pass@4 och räkna avvikelsen. Se AI-agenter för svenska företag för hur vi paketerar policy-adherence-tester i vår evals-suite.

GAIA: generella assistent-uppgifter i tre svårighetsnivåer

Sammanfattat

GAIA (General AI Assistants), publicerad av Meta AI och Hugging Face 2023, mäter en agents förmåga att lösa vardagliga uppgifter som kräver web-sökning, dokumentläsning, kod-exekvering och multimodal förståelse. 466 uppgifter i tre svårighetsnivåer. Level 1 är i praktiken löst (över 90 procent), Level 3 är fortsatt olöst (bästa öppna resultat under 65 procent 2026).

GAIA är den enklaste benchmarken att förstå: uppgifter som en människa skulle be en personlig assistent lösa. Exempel Level 1: hitta en specifik siffra i en PDF. Exempel Level 3: kombinera information från 8 källor, kör beräkningar, jämför mot historisk data, lämna slutsvar.

2026-års landskap: Level 1 är löst. Alla topp-modeller ligger över 90 procent. Level 2 är delvis löst, 60 till 75 procent. Level 3 är fortsatt öppet: bästa publika resultat 62 procent (Claude Sonnet 4.5 med Deep Research-scaffold), följt av GPT-5.1 med o1-planning på 58 procent.

GAIA:s svaghet: den är liten (466 uppgifter, varav 300 dolda). Sampling-varians är stor och små modellförändringar kan flytta topp-3-ordningen. Använd GAIA som direktionell signal, inte som beslutskriterium.

WebArena och VisualWebArena: web-agent-standarden

Sammanfattat

WebArena (Carnegie Mellon University 2023) mäter web-agenter i en sandboxad miljö med fyra sajter: en e-handel, ett GitLab-instans, ett content management-system och en Reddit-klon. 812 uppgifter. State-of-the-art 2026 ligger på 45 till 55 procent success rate, långt under den mänskliga baselinen på 78 procent. VisualWebArena (2024) lägger till bildförståelse och är signifikant svårare.

WebArena är den strängaste web-agent-benchmarken 2026. Miljön är sandboxad så resultaten är reproducerbara. Uppgifterna är verksamhetstyngda: skapa en issue i GitLab med specifika labels och assignee, hitta en produkt i e-handeln som matchar fyra kriterier, moderera Reddit-inlägg enligt regler.

State-of-the-art september 2026:

• Claude Sonnet 4.5 med Computer Use: 54 procent
• GPT-5.1 med browser-agent-scaffold: 51 procent
• Gemini 2.5 Pro med Project Astra: 47 procent
• Open-source SoTA (agentic Llama 4 scaffold): 42 procent

Gapet till mänsklig baseline (78 procent) är fortsatt stort. Web-agenter är den hårdaste öppna kategorien 2026. Praktisk följd: för svenska use-cases där web- navigering är kritisk (RPA-ersättare, deal-scraping, portal-automation) räkna med att en publik benchmark på 50 procent översätts till 25 till 40 procent i er miljö. Bygg alltid domänspecifika evals mot era faktiska sajter.

τ-bench, AgentBench och andra benchmarks värda att känna till 2026

Sammanfattat

Utöver de fyra huvudbenchmarks finns τ-bench (multi-turn tool-use), AgentBench (Tsinghua, 8 miljöer), OSWorld (desktop-agenter), MLE-bench (ML-engineering-tasks), TheAgentCompany (kontorsuppgifter simulerade som anställd) och SWE-Lancer (agenter mot freelance-jobb). Var och en täcker en specifik nisch. Ingen är substitut för domänspecifika evals.

Landskapet av agent-benchmarks har exploderat 2025 till 2026. Här är de som är värda att känna till per september 2026:

• τ-bench (tau-bench) från Sierra: fokuserar på multi-turn tool-use med policy-adherence. Överlappar TAU-bench men lägger till pharma och telco-domäner 2026.
• AgentBench från Tsinghua och OpenAI: 8 miljöer inklusive kod, spel, web, OS, KG och Card Game. Bred täckning men fragmenterad; svår att tolka aggregerad poäng.
• OSWorld från HKU (2024): desktop-agenter som interagerar med Ubuntu, macOS eller Windows. Fortsatt mycket svårt: topp-agenter under 35 procent success rate 2026.
• MLE-bench från OpenAI (2024): agenter som ska lösa Kaggle- tävlingar autonomt. Extremt svårt: bästa agenter når medaljnivå på 15 till 25 procent av tävlingarna 2026.
• TheAgentCompany från CMU (2024): simulerar en agent som nyanställd på ett mjukvarubolag i 175 uppgifter. Bästa agenter klarar 25 till 35 procent 2026, med stor variation per uppgiftstyp.
• SWE-Lancer från OpenAI (2025): agenter mot freelance-jobb från Upwork värda 1 400 USD i median. Bästa agenter tjänar 25 till 35 procent av full-jobb-värdet 2026.

Rekommenderad läsning innan ni skriver en RFP: läs original-paperet för varje benchmark ni citerar. Metadata i abstract räcker inte.

Hur ni tolkar en benchmark-poäng utan att bli lurade

Sammanfattat

Tolka aldrig en benchmark-poäng utan kontext. Kontrollera: (1) benchmark-version och split, (2) pass@k med k större än 1, (3) scaffold och tool-yta, (4) datum och modell-version, (5) sampling-antal, (6) kontamineringsrisk. En agent på 70 procent SWE-bench Verified i mars är inte samma sak som en agent på 70 procent i september. Ranking-ordningen förändras varje kvartal.

Sex frågor att alltid ställa när ni ser en benchmark-siffra:

1. Vilken version och split? SWE-bench, SWE-bench Verified, SWE-bench Live och SWE-bench Multimodal är fyra olika benchmarks. TAU-bench airline och retail rapporteras separat.
2. Pass@k för vilket k? Pass@1 är ett prov, pass@4 är stabilitet. Enterprise-produktion kräver typiskt pass@4 > 90 procent på en välavgränsad uppgift.
3. Vilket scaffold? Samma modell med Claude Code, Aider, OpenHands eller custom-scaffold får olika resultat. Scaffold-valet påverkar 5 till 15 procentenheter.
4. Vilken modell-version? Claude Sonnet 4.5-20250929 och Claude Sonnet 4.5-20260215 är olika modeller. Datum-suffix är obligatoriskt.
5. Hur många sampling-körningar? Publika inlämningar kräver typiskt 3 seeds. En enda körning är brus.
6. Kontamineringsrisk? Datum för benchmark-release vs modell-träningsdata. Verified-varianter och held-out-splits minskar risken.

Alice Labs standardpraxis: vi accepterar aldrig en benchmark-siffra från en leverantör utan att ha replikerat den på minst en delmängd. Kostnaden är låg (100 till 1 000 USD i modell-anrop), värdet är högt.

Benchmark-vs-produktion-gapet: varför publik poäng är otillräcklig

Sammanfattat

Publik benchmark-poäng förutsäger 40 till 60 procent av produktionsvärdet enligt Alice Labs fältdata från 100+ nordiska implementationer. Gapet uppstår av fem skäl: kodbas- och domänspecifika mönster, verktygsyta som skiljer, real-world drift, användarbeteende och regulatoriska krav. Ingen publik benchmark täcker svensk personnummer-parsing, Fortnox-integration eller Sana Labs LLM-nyanser.

Alice Labs har mätt korrelationen mellan publik benchmark-poäng och intern produktionskvalitet över 100+ nordiska implementationer 2023 till 2026. Fem konsekventa gap:

• Kodbas- och domänmönster. SWE-bench är Python open-source. Er kodbas är Kotlin, TypeScript, C# eller COBOL med interna konventioner. Räkna med 20 till 30 procentenheter lägre pass-rate än publik.
• Verktygsyta. Publika benchmarks ger agenten 3 till 8 verktyg. Er produktionsagent kan ha 20 till 50. Fler verktyg är exponentiellt svårare att plocka rätt från.
• Real-world drift. Sandboxade sajter förändras aldrig. Riktiga CMS-portaler, Salesforce-instanser och Fortnox-flöden gör det dagligen.
• Användarbeteende. Simulerade användare i TAU-bench är rationella. Riktiga användare är trötta, arga, otydliga och ibland motstridiga.
• Regulatoriska krav. EU AI Act Artikel 14 (mänsklig oversight) och Artikel 12 (loggning) mäts inte alls i publika benchmarks. Er produktionsagent behöver godkänna att bli avbruten och logga varje verktygsanrop.

Slutsatsen: använd publik benchmark för leverantörsscreening och första modellval, bygg sedan domänspecifika evals som mäter er verkliga uppgift. Detta är vad Alice Labs 12-veckors playbook levererar mellan vecka 7 och 9 (evals plus red-teaming). Se hela metodiken i vår AI-agent guide för svenska företag.

EU AI Act, Artikel 15 och skyldigheten att mäta agent-robusthet

Sammanfattat

EU AI Act Artikel 15 kräver att högriskklassade AI-system har lämplig noggrannhet, robusthet och cybersäkerhet dokumenterad genom livscykeln. För autonoma agenter i Annex III-kategorier (kredit, HR, sjukvård, kritisk infrastruktur) är publik benchmark-poäng otillräcklig som enda evidens. Deployer måste kunna visa robusthetsmätning under produktionsliknande förhållanden.

EU AI Act träder fullt i kraft 2 augusti 2026. För högriskklassade AI-system (Annex III) kräver Artikel 15 att robusthet mäts och dokumenteras: noggrannhet under normala förhållanden, robusthet mot adversarial input och cybersäkerhet mot obehörig manipulation.

Praktiska konsekvenser för svenska köpare av AI-agenter i högrisk-scope:

• Publik benchmark-poäng räcker inte som enda evidens. Ni behöver interna robusthetstest som simulerar er faktiska verktygsyta och användarpopulation.
• Dokumentation måste omfatta både modell- och scaffold-nivå. Ett byte av scaffold är en förändring som utlöser förnyad mätning enligt Artikel 15.
• Deployer-krav enligt Artikel 26 innebär att ni som köpare, inte bara leverantören, är ansvariga för att robusthet är dokumenterad. Kräv detta i leverantörsavtal.
• Integritetsskyddsmyndigheten (IMY) är utpekad svensk tillsynsmyndighet. Sanktioner upp till 15 MEUR eller 3 procent av global omsättning för högriskbrott.

Alice Labs standardleverans inkluderar Artikel 15-kompatibel evals-dokumentation: robusthetsmätning, adversarial-testning och cybersäkerhets-audit per release. Se EU AI Act checklista för svenska företag för fullständig genomgång.

Alice Labs interna evals-metodik för svenska use-cases

Sammanfattat

Alice Labs bygger 30 till 100 domänspecifika evals per svensk kund, uppdelade i fem kategorier: happy path, edge case, adversarial, policy-adherence och säkerhet. Evals körs i CI vid varje modell- eller promptändring med regression-tröskel på 2 procentenheter. Metodiken har levererat 100+ produktionsagenter i Norden sedan 2023.

Publik benchmark för leverantörsscreening. Intern evals-suite för produktion. Alice Labs metodik från 100+ nordiska implementationer:

1. Discovery (vecka 1-2). Kartlägg 30 till 100 kritiska scenarier med domänexperter. Ett scenario = en input, en förväntad output, en acceptanskriterie.
2. Bygg eval-suite (vecka 3-6). Kategorisera i happy path (60 procent), edge case (20 procent), adversarial (10 procent), policy-adherence (7 procent), säkerhet (3 procent).
3. Baseline-körning (vecka 7). Kör suiten mot minst tre modeller och två scaffold-varianter. Etablera baseline per kategori.
4. Red-teaming (vecka 8-9). Prompt-injection, tool-misuse, data exfiltration, policy-bypass. Adderar 20 till 40 adversarial-tester till suiten.
5. CI-integration (vecka 10). Suiten körs automatiskt vid varje PR som ändrar modell, prompt eller tool-lista. Regression-tröskel 2 procentenheter.
6. Kvartalsvis regression (löpande). Alla evals körs mot senaste modellversioner för att upptäcka drift eller uppgraderings-möjligheter.

Kostnad: 150 000 till 400 000 SEK för att bygga initial evals-suite per use-case. Löpande CI-körningar: 500 till 5 000 SEK per körning beroende på modell. Investeringen amorteras typiskt på tre modell-uppgraderingar.