Brand-self harvester playbook: mät er LLM-presence

Vad är en brand-self harvester?

En brand-self harvester består av fyra funktioner: Läs även LLM optimization practice.

1. Prompt-portfölj. Kurerad lista på 150-200 prompts som täcker hur potentiella kunder, journalister, analytiker och konkurrentbevakare typiskt frågar en LLM inom brandets kategori. Versionerad i git.
2. API-driver. Python-skript som kör varje prompt mot en eller flera LLM-backends via deras officiella API:er. Hanterar rate limits, retries, timeouts.
3. Storage. Databas (SQLite för svenska mid-market, PostgreSQL för enterprise) som lagrar hela svarstexten, source-URLs, timestamp, model-version, prompt-metadata.
4. Reprocessing plus rapport. Klassifierare som körs mot lagrade svar för att detektera brand-mentions, klassificera position (opener, mitten, konklusion), räkna source-attribution-share, jämföra mot konkurrenter. Genererar markdown-rapport per körning.

Namn-etymologi: "brand-self" indikerar att harvestern körs av brandet självt om sig självt (self-audit) i motsats till kompetitiva harvest-scenarios där man observerar andra brands. "Harvester" refererar till skörd av citation-data ur LLM-svar. Termen etablerades inom LLMO-praxis 2024-2025.

Alice Labs LLM Query Harvester (tools/llm_query_harvester.py) är en öppen Python-referensimplementation. Baseline Q1-Q2 2025: 158 prompts kördes, 2 346 unika källor kartlades, 8 Alice Labs-citations, total OpenAI-kostnad 64,15 USD. 100 procent av citations var Nordic-taggade prompts, vilket validerade Nordic geo-moat-hypotesen. Läs bakgrund i pillar-artikeln LLMO-optimering för svenska företag: guide 2026.

Arkitektur: Python + SQLite + cron + markdown-rapport

Sammanfattat

Alice Labs harvester-arkitektur består av fyra komponenter: (1) driver script i Python (tools/llm_query_harvester.py) som orkestrerar API-anrop, (2) SQLite-databas (data/gsc_data.db) med tabell för varje körning, (3) cron-jobb (GitHub Actions eller launchd) som triggar veckovis, (4) markdown-rapport-generator som producerar data/reports/harvest_YYYY-MM-DD.md efter varje körning. Simpel stack, produktions-mogen för svenska mid-market och enterprise.

Alice Labs designfilosofi: undvik SaaS-låsning, äg datan, håll stacken enkel. Fyra komponenter:

• Driver script (Python 3.11+). tools/llm_query_harvester.py. Läser seed-fil (JSON) med prompt- portfölj. Kör varje prompt mot valda LLM-backends via officiella API-klienter (openai, anthropic, google-cloud-aiplatform, perplexity-python-sdk). Hanterar rate limits med exponential backoff, retries max 3, timeout 60 sekunder per prompt.
• SQLite storage. data/gsc_data.db. Tabellen harvest_runs innehåller: prompt_id, prompt_text, geo_tag, intent_tag, cluster, llm_backend, model_version, response_text (fullständig svarstext), source_urls (JSON-array), cited_brand (bool), position_bucket, run_timestamp, cost_usd. Enkelt att exportera till pandas eller BigQuery vid behov.
• Cron-jobb. Alternativ 1: GitHub Actions med schedule-trigger (cron: '0 6 * * 1' för måndag 06:00 UTC). Alternativ 2: launchd på macOS eller systemd timer på Linux för egen server. Alice Labs använder GitHub Actions för enkel spårning i git-log.
• Markdown-rapport. Efter varje körning genereras data/reports/harvest_YYYY-MM-DD.md: prompt-portfölj-summary, citation-rate per LLM, position-fördelning, top-cited-competitors, cluster- per-LLM-heatmap, delta mot förra körningen, cost-summary.

Sekundär arkitektur för enterprise-nivå:

• PostgreSQL i stället för SQLite vid parallell åtkomst från analytics-team.
• Prefect eller Dagster som orkestrator vid mer komplexa pipelines (harvester plus classifier plus gap-analyzer plus dashboard-uppdatering).
• Streamlit eller Metabase för interaktiv dashboard ovanpå databasen.
• Datadog eller Grafana för alerting på citation-rate-drops.

För svenska mid-market med 20-100 anställda räcker Python plus SQLite plus GitHub Actions. Cirka 2-3 mandagar setup, sedan låg driftkostnad.

API-setup: OpenAI Responses, Anthropic Messages, Perplexity Sonar, Google Vertex

Sammanfattat

Fyra LLM-API:er att harvest:a 2026: (1) OpenAI Responses API med web_search-verktyget (för GPT-5, driver ChatGPT), (2) Anthropic Messages API (för Claude, retrieval-hooks mindre transparenta), (3) Perplexity Sonar API (enklast, explicit source-URLs per stycke), (4) Google Vertex AI (för Gemini med Google Search grounding). Microsoft Copilot mäts indirekt via samma Bing-index som ChatGPT Search. Auth via API-keys i .env, aldrig hard-kodat.

Fyra API-integrationer 2026:

1. OpenAI Responses API. Modell gpt-5. Aktivera web_search-verktyget för RAG-liknande hämtning från Bing-index. Använd temperature 0.7 för representativ svarsvariation. Rate limit 500 requests per minut på Tier 4. Kostnad approx 40 US cent per prompt inklusive web_search-anrop.
2. Anthropic Messages API. Modell claude-4-7 (opus eller sonnet). Retrieval-hooks aktiveras via tool_use med web-search-verktyg. Mindre transparent än OpenAI: hooks returnerar inte alltid källor per svar. Rekommenderad approach 2026: mät Claude via manuell audit i fas 1, API i fas 3 när tooling mognat.
3. Perplexity Sonar API. Modell sonar-large-online. Enklast av alla fyra: returnerar strukturerad JSON med explicit source-URLs per stycke. Rate limit 100 requests per minut. Kostnad approx 5 US cent per prompt. Rekommenderad start-LLM för svenska team.
4. Google Vertex AI. Modell gemini-2-pro. Aktivera Google Search grounding-verktyget för citation-tracking. Auth via service account JSON. Kostnad approx 15 US cent per prompt inklusive grounding.

Auth-strategi. API-keys i .env-fil, aldrig hard- kodat i script eller commit:at i git. Alice Labs standardnamn: OPENAI_API_KEY, ANTHROPIC_API_KEY, PERPLEXITY_API_KEY, GOOGLE_APPLICATION_CREDENTIALS (service account JSON-path). Ladda via python-dotenv i driver-scriptet.

Rate limit-hantering. Exponential backoff med jitter för alla fyra API:er. Max 3 retries. Om 429 rate-limit-fel: sova 60 sekunder och försök igen. Om insufficient_quota-fel: avbryt körningen, spara state, notifiera via email.

Microsoft Copilot. Har inget öppet mät-API 2026. Mäts indirekt via samma Bing-index som ChatGPT Search: om en sida citeras i ChatGPT Search har den hög sannolikhet att också citeras i Copilot. Manuell audit av 20-30 prompts i Copilot UI kvartalsvis fångar avvikelser.

Prompt-diversity-strategi: 4 kategorier, geo- och intent-taggning

Sammanfattat

Prompt-portfölj-diversity följer 4 kategorier: 40 procent recommendation-prompts, 30 procent comparison, 20 procent citation-queries, 10 procent evaluator-prompts. Varje prompt taggas med geo (SE, NORDIC, EU, GLOBAL), intent (buy, compare, research, learn, validate), och cluster (ai-agenter, ai-konsult, ai-implementation, ai-seo-llmo). Minimum 150 prompts för statistisk signifikans. Svenska brands: 50 procent SE plus 25 procent NORDIC i geo-fördelning.

Diversity-mål: fånga bredden av hur potentiella kunder frågar LLM:er. Fyra kategorier med konkreta exempel för en svensk AI-konsult:

1. Recommendation-prompts (40 procent). Exempel:
   • "vilken är bästa AI-konsult för svenska mid-market 2026"
   • "vilken AI-agent-plattform passar för svensk bank"
   • "topp 5 AI-byråer i Stockholm"
   • "bästa LLMO-verktyg för nordisk enterprise"
2. Comparison-prompts (30 procent). Exempel:
   • "Alice Labs vs Silo AI för nordic-first LLMO"
   • "LangGraph vs CrewAI för svensk enterprise"
   • "Anthropic vs OpenAI för svensk offentlig sektor"
3. Citation-queries (20 procent). Exempel:
   • "vad säger AI Sweden om LLM-adoption i myndigheter"
   • "vad rekommenderar Vinnova för AI-säkerhet"
   • "IMY riktlinjer för AI-beslut i Sverige"
4. Evaluator-prompts (10 procent). Exempel:
   • "utvärdera Alice Labs för AI-implementation i svenskt försäkringsbolag"
   • "bedöm Silo AI som partner för foundation-model-training"

Geo-tagg. Varje prompt får en av: SE, NORDIC, EU, GLOBAL. Svenska brands: 50 procent SE, 25 procent NORDIC, 15 procent EU, 10 procent GLOBAL.

Intent-tagg. Varje prompt får en av: buy, compare, research, learn, validate. Möjliggör intent-segmenterad analys.

Cluster-tagg. Kopplar prompt till content-cluster. Möjliggör cluster-nivå gap-analys och prioritering av refresh.

Seed-fil-format. JSON-array med objekt per prompt:{ id, prompt, geo, intent, cluster, target_llm }. Alice Labs versionerar seed-filen i git (t ex data/seeds/svenska_brand_2026-Q3.json) för att kunna re-analysera historiska körningar mot både gammal och ny portfölj.

Citation-detection: fuzzy matching, URL-normalisering, position-klassificering

Sammanfattat

Citation-detection sker på lagrad svarstext, inte i realtid. Tre kärnfunktioner: (1) fuzzy string matching för brand-mentions (Alice Labs, alicelabs, Alice-Labs, alice labs, etc), (2) canonical URL normalization (alicelabs.ai/x, www.alicelabs.ai/x, alicelabs.ai/x/, alicelabs.ai/x?utm=... normaliseras till samma URL), (3) position-klassificering i buckets opener (första 100 orden), mitten, konklusion. Attribution-quality-score 1-5 för korrekt vs paraphrase vs hallucinerad URL.

Alice Labs citation-detection-pipeline består av fyra steg som körs mot lagrade svar i SQLite:

1. Brand-mention fuzzy matching. Lista av 5-10 varianter per brand-namn: exakt namn, kort form, hyphen-varianter, gemener, felstavningar som LLM:er ibland producerar. RapidFuzz-bibliotek med threshold 85 procent similarity. Alice Labs varianter: "Alice Labs", "alicelabs", "Alice-Labs", "alice labs", "AliceLabs".
2. URL-normalisering. Alla source-URLs i svaret normaliseras: lowercase host, ta bort www-prefix om det ej är canonical, ta bort utm-parametrar och andra query-strings, ta bort trailing slash, dedupera. Möjliggör räkning av unika citations per prompt.
3. Position-klassificering. Dela svaret i tre delar efter word- count: opener (första 100 orden), mitten (100 till 80 procent), konklusion (sista 20 procent). Klassificera position för varje citation. Position-vikt: opener 3x, mitten 1x, konklusion 2x för composite score.
4. Attribution-quality-score. Manuell 1-5-skala i första 10 procent av citations per körning (spot-check). Automated 2026: fine-tuned classifier (BERT eller Claude) för resten. Score: 5 = korrekt attribution med source-URL, 4 = korrekt attribution utan URL, 3 = paraphrase utan attribution, 2 = felaktig attribution (fel entitet), 1 = hallucinerad URL.

Konkurrent-detection. Samma logik körs mot en pre-definierad konkurrent-lista (5-10 direkta konkurrenter). Möjliggör brand-vs-competitor- mention-ratio KPI. Alice Labs konkurrent-set 2026: Silo AI, Sana Labs, Lovable (nordic-fokuserade); enterprise AI-konsults globalt; McKinsey, Deloitte, PwC, EY, KPMG (Big 4).

Hallucination-flagging. Varje source-URL valideras mot HTTP 200- status (async, batchat, 20 concurrent requests). URLs som ger 404 eller 500 markeras som hallucinerade. Vanligt problem: LLM:er hallucinerar 3-8 procent av URLs 2026.

Rapport-format: markdown per körning plus tidsserie-dashboard

Sammanfattat

Alice Labs standard-rapport per harvest-körning är markdown-fil (data/reports/harvest_YYYY-MM-DD.md) med sju sektioner: (1) prompt-portfölj-summary, (2) citation-rate per LLM, (3) position-fördelning, (4) top-cited-competitors, (5) cluster-per-LLM heatmap, (6) delta mot förra körningen, (7) cost-summary. Kompletteras av Streamlit- eller Metabase-dashboard som visar tidsserier över veckor och månader.

Markdown-rapport-mall för svenska team (kopierbar):

# Harvest-rapport 2026-09-20

## 1. Prompt-portfölj
- Total prompts: 158
- Geo-fördelning: SE 79, NORDIC 40, EU 24, GLOBAL 15
- LLM-backends: GPT-5, Perplexity Sonar

## 2. Citation-rate per LLM
| LLM | Prompts | Citations | Rate |
| GPT-5 | 158 | 12 | 7.6% |
| Perplexity | 158 | 18 | 11.4% |

## 3. Position-fördelning
| Position | Antal | Vikt |
| Opener | 4 | 12 |
| Mitten | 18 | 18 |
| Konklusion | 8 | 16 |

## 4. Top-cited-competitors
1. McKinsey (48 citations)
2. Deloitte (32 citations)
3. Silo AI (24 citations)
4. Sana Labs (18 citations)
5. Alice Labs (12 citations, GPT-5)

## 5. Cluster-per-LLM heatmap
(visualisering: cluster på Y-axel, LLM på X-axel, cell-färg = citation-rate)

## 6. Delta mot förra körningen
- Citation-rate GPT-5: 5.1% -> 7.6% (+2.5pp)
- Cluster ai-seo-llmo: +3 nya prompts citerade

## 7. Cost-summary
- OpenAI: 63.20 USD (158 prompts × ~40 cent)
- Perplexity: 7.90 USD (158 prompts × 5 cent)
- Total: 71.10 USD
          

Dashboarding-lager 2026: Alice Labs använder Streamlit för intern visualisering (fritt, Python-native), Metabase för mid-market kunder (öppen källkod, SaaS- option). För enterprise med Datadog eller Grafana: pusha metrics via StatsD för alerting på citation-rate-drops över 20 procent vecka-över-vecka.

Kostnadsestimat 2026 i SEK per månad

Sammanfattat

Kostnad 2026 för brand-self harvester i SEK per månad: en LLM (GPT-5) med 158 prompts veckovis: 700 SEK. Två LLM:er (GPT-5 plus Perplexity Sonar): 780 SEK. Fyra LLM:er (plus Anthropic Claude plus Google Vertex Gemini): 3 500 SEK. Detta är API-kostnad exklusive utvecklingstid. Setup 2-3 mandagar första gången, sedan cirka 4 timmar per månad i drift plus rapport-tolkning.

API-kostnadsestimat baserat på Alice Labs faktiska förbrukning 2025-2026:

Konvertering till SEK vid växelkurs 10,90 SEK per USD september 2026. Uppdatera per aktuell kurs. Kostnaden ökar linjärt med portfölj-storlek och körfrekvens.

Tillägg för utökad portfölj. Om ni utökar till 300 prompts (fånga fler intent- och geo-kombinationer): dubbelt så dyrt, dvs cirka 3 800 SEK per månad för fyra LLM:er.

Utvecklingstid. Alice Labs LLM Query Harvester tog cirka 2-3 mandagar första setup (portfölj-design, API-integration, storage, rapport-mall). Drift 2026: cirka 4 timmar per månad (portfölj-uppdatering, rapport-tolkning, felavhjälpning). Räkna 1 000-2 000 SEK per månad i intern arbetstid för mid-market.

Jämförelse mot SaaS. Profound EUR 500-2 000 per månad, Otterly EUR 99-499 per månad, Peec AI EUR 199-999 per månad. Egen harvester slår SaaS på pris för 4 LLM:er om ni har intern Python-kapacitet. Se sibling LLMO-verktyg 2026: jämförelse för svenska brands för full verktyg-jämförelse.

Produktionslärdomar från 100+ implementationer

Sammanfattat

Sex produktionslärdomar från 100+ Alice Labs-implementationer sedan 2023: (1) håll OpenAI-krediter top-upade (insufficient_quota mitt i körning är vanligt), (2) resumable körning via --skip-existing är obligatorisk, (3) temperatur 0.7 slår 0.0 för representativ svarsvariation, (4) versionsera prompt-portfölj i git, (5) validera source-URLs mot HTTP 200 för att fånga hallucinationer (3-8 procent 2026), (6) kör n>=3 för statistisk signifikans, n>=5 för post-fix-verifiering.

Sex hårt vunna lärdomar från Alice Labs 100+ produktionsimplementationer sedan 2023:

1. Håll OpenAI-krediter top-upade. Vi hit insufficient_quota mitt i en körning vid 46,91 USD spend under batch 2025-Q3, 43 av 158 prompts failade. Fix: credit alerts i OpenAI dashboard vid 50 procent förbrukning, plus auto-top-up satt till 100 USD.
2. Resumable körning är obligatoriskt. --skip-existing-flagga kollar SQLite för prompt_id plus run_date- kombinationer och hoppar över redan-kompletta. Möjliggör resume efter API-fel, network drop eller manual abort.
3. Temperatur 0.7 slår 0.0. Temperatur 0.0 ger deterministisk output som inte reflekterar verklig användarvariation. Temperatur 0.7 ger svar som är närmare det en riktig användare skulle se. Kör n>=3 för att fånga variationen.
4. Versionera prompt-portfölj i git. Prompt-portfölj utvecklas över tid (nya konkurrenter, ny terminologi, nya cluster). Versionera seed-fil i git med semver: svenska_brand_2026-Q3-v1.2.json. Möjliggör re-analys av historiska körningar mot båda gammal och ny portfölj.
5. Validera source-URLs mot HTTP 200. LLM:er hallucinerar 3-8 procent av URLs 2026. Utan validering rapporteras falska citations. Kör async batch-check efter varje harvest. Alice Labs använder httpx med 20 concurrent requests, timeout 10 sekunder.
6. Kör n>=3 minimum, n>=5 vid post-fix-verifiering. Stokastisk natur i LLM-svar kräver flera körningar per prompt för stabil signal. Baseline: n=3. Post-refresh mätning för att bekräfta lift: n=5. A/B-tester på schema- förändringar: n=10.

Ytterligare produktionsråd i vår sibling Mät LLM-citations för svenska brands: playbook 2026 och kopplingen till content-refresh i LLMO content refresh-cadence: 13-veckors playbook.