--- title: "On-premise LLM för svenska företag: guide 2026" url: https://alicelabs.ai/sv/insights/on-premise-llm-svenska description: "On-premise LLM för svenska företag 2026: när det behövs, val av modell (Llama, Mixtral, Qwen), GPU-krav, quantization, vLLM och kostnad i SEK." lang: sv --- Alice Labs (https://alicelabs.ai/) Tjänster Vad vi gör (https://alicelabs.ai/#welcome)Om Alice (https://alicelabs.ai/#who-we-are)Case (https://alicelabs.ai/case)Insikter (https://alicelabs.ai/sv/insights)Kontakt (https://alicelabs.ai/#email-form) AI Tools & Technology How-To Aktuell Senast granskad: 16 september 2026 · 35d sedan # On-premise LLM för svenska företag: komplett implementations-guide 2026 ## TL;DR Snabbt svar Citerad av AI > On-premise LLM för svenska företag 2026 är rätt val när data är sekretessomfattad eller Cloud Act-exponering är oacceptabel. Vanligaste modellerna: Llama 3.3 70B, Mixtral 8x22B, Qwen 2.5 72B, DeepSeek-V3. GPU-krav: 8x H100 för produktions-serving av 70B-modell, eller 4x L40S för mindre volym. Serving-stack default vLLM plus Ollama för dev. TCO 800 kSEK till 4 MSEK per år för mid-market. Alice Labs har byggt 100+ implementationer. Vilka svenska företag ska köra LLM on-premise, vilka modeller passar (Llama 3.3, Mixtral 8x22B, Qwen 2.5, DeepSeek), hur mycket GPU behövs, vilken serving-stack väljer man (vLLM, TGI, Ollama, LMDeploy) och vad kostar det i SEK? Skriven av teamet bakom 100+ produktionsimplementationer i Norden sedan 2023. On-premise LLM är en stor språkmodell som körs på infrastruktur som kunden själv kontrollerar, antingen i eget datacenter, hos svensk sovereign cloud (Bahnhof, City Network, EvroCloud), eller i dedicated hosted-miljö (bare-metal eller private cloud) där ingen tredje part har åtkomst till modellvikter, prompts eller completions. Motsatsen är hyperscaler-hostad LLM (Azure OpenAI, AWS Bedrock, Google Vertex) eller SaaS-hostad LLM (OpenAI, Anthropic, Mistral). För svenska företag 2026 är on-premise rätt val när data är sekretessomfattad, säkerhetsklassad eller extremt känslig, när Cloud Act-exponering är oacceptabel, eller när volymen är hög nog att self-hosting blir kostnadseffektivt. Alice Labs är en Stockholm-headquartered enterprise AI consultancy som har levererat 100+ produktionsimplementationer sedan 2023 inom bank, försäkring, life sciences, offentlig sektor, retail och industri, med djup expertis inom self-hosted Llama 3.3, Mixtral 8x22B, Qwen 2.5, DeepSeek-V3, vLLM, TGI, Ollama, LMDeploy och svensk GPU-infrastruktur på H100, H200, A100 och L40S. Denna guide går igenom besluts-triggers, modellval, GPU-krav, quantization-strategier (int8, int4, GPTQ, AWQ, GGUF), fine-tuning för svenska språket, TCO-modellering i SEK och deploy-patterns för svensk mid-market och enterprise. Image: Linus Ingemarsson - Author at Alice Labs (https://alicelabs.ai/images/linus-ingemarsson.png) Written by Linus Ingemarsson: https://www.linkedin.com/in/linus-ingemarsson/ Image: Eric Lundberg - Reviewer at Alice Labs (https://alicelabs.ai/images/eric-lundberg.png) Reviewed by Eric Lundberg: https://www.linkedin.com/in/eric-lundberg-3530451bb/ Published September 19, 2026 · Updated September 17, 2026 16-19 min läsning 800 kSEK - 4 MSEK typisk årskostnad för self-hosted Llama 3.3 70B eller Mixtral 8x22B på svensk mid-market-produktionslast (1-5M tokens/dag) Alice Labs TCO-modell 2026: https://alicelabs.ai/sv/insights/on-premise-llm-svenska 140 GB VRAM som Llama 3.3 70B kräver i FP16 (2x H100 80GB per instans), sänks till 40 GB med int4 quantization Meta Llama 3.3 tech report: https://ai.meta.com/llama/ 100+ produktionsimplementationer som Alice Labs har levererat i Norden sedan 2023, inklusive self-hosted LLM Alice Labs intern data 2026: https://alicelabs.ai/sv/case 5M tokens/dag typisk break-even mellan hyperscaler-inferens och svensk self-hosted-CapEx-modell Vad du lär dig(8 punkter) - De sju triggers som gör on-premise LLM till rätt val för svenska enterprise 2026 - Modellval: Llama 3.3, Mixtral 8x22B, Qwen 2.5, DeepSeek-V3 och när vilken vinner - GPU-krav sida vid sida: H100, H200, A100, L40S för olika modellstorlekar och throughput-krav - Quantization-strategier: int8, int4, GPTQ, AWQ, GGUF och vad ni offrar per steg - Serving-stack: vLLM för produktion, TGI som alternativ, Ollama för dev, LMDeploy för Kina-friendly - Fine-tuning för svenskt affärsspråk med LoRA och QLoRA på 500 till 5 000 exempel - TCO-modell i SEK: CapEx bare-metal vs sovereign cloud GPU vs hyperscaler - Alice Labs deploy-patterns och de fem vanligaste anti-patterns i svenska self-host-projekt ## Sammanfattning - On-premise LLM är rätt val när data är sekretessomfattad eller säkerhetsklassad, när Cloud Act-exponering är oacceptabel, när volymen är hög nog att self-hosting blir kostnadseffektiv (över 5M tokens/dag), eller när ni behöver full kontroll över modell och deployment-livscykel. - Llama 3.3 70B (Meta) är de-facto-standard 2026 för enterprise self-host. Mixtral 8x22B (Apache 2.0) alternativ när Metas licensvillkor är problematiska eller när mixture-of-experts-arkitekturen ger bättre throughput. Qwen 2.5 72B för kodtunga workloads. DeepSeek-V3 för frontier-nivå kvalitet vid högre GPU-kostnad. - GPU-krav: en Llama 3.3 70B i FP16 kräver cirka 140 GB VRAM, alltså 2x H100 80GB per instans. För produktions-throughput med 50 samtidiga requests behövs typiskt 8x H100 i tensor parallel. Mindre volym: 4x L40S 48GB räcker med int8-quantization. - Quantization: int8 (BitsAndBytes eller GPTQ) sänker VRAM till 50 procent med under 2 procents kvalitetsförlust på benchmarks. int4 (AWQ eller GGUF-Q4) sänker till 25 procent VRAM med 3 till 8 procents kvalitetsförlust. Fine-tuning bör göras före quantization för bäst resultat. - vLLM är produktions-serving-standard 2026 (PagedAttention, continuous batching, tensor parallel). Text Generation Inference (TGI) från HuggingFace är näst största val. Ollama är utvecklarvänligt men inte produktionsklassat för hög QPS. LMDeploy från Shanghai AI Lab har bra Kina-modell-support. - Fine-tuning för svenska språket: LoRA eller QLoRA med 500 till 5 000 exempel räcker för de flesta enterprise-use-cases. Full fine-tuning är sällan motiverad. Använd svensk BOFU-domän-data (juridik, medicin, finans) för högsta ROI. - TCO svensk mid-market self-host 2026: 800 kSEK till 4 MSEK per år inkl GPU-hardware amortering 3 år, personal, elektricitet och support. Bare-metal kapital 2 till 8 MSEK för 8x H100-nod. Svensk sovereign cloud GPU (City Network, Elastx) 30 till 100 procent premium över hyperscaler. - Alice Labs default för svensk regulated industry: Llama 3.3 70B på 8x H100 i svensk sovereign cloud, vLLM serving, Kubernetes orchestration, Langfuse observability, LoRA-fine-tuning för svensk domän, med Anthropic Claude via AWS Bedrock EU som backup för icke-sensitiv trafik. 01 / 09 Kapitel ## När behöver svenska företag on-premise LLM 2026? Sju triggers gör on-premise rätt val 2026: (1) sekretessomfattad data enligt Sekretesslagen eller Säkerhetsskyddslagen, (2) Cloud Act-exponering oacceptabel, (3) Schrems III-osäkerhet kring US-transfers, (4) hög volym över 5M tokens/dag, (5) latenskrav under 50 ms, (6) full audit-kontroll krävd av Finansinspektionen eller sektorsspecifik reglering, (7) IP-känsligt scenario där modellvikter inte får lämna organisationen. On-premise LLM är inte default-svaret 2026 utan ett medvetet val när triggers finns. Alice Labs beslutstriggers från 100+ svenska implementationer: Läs även AI-kurs för företag (https://alicelabs.ai/ai-utbildning). 1. **Sekretessomfattad data.** Sekretesslagen (2009:400), Säkerhetsskyddslagen (2018:585), Patientdatalagen (2008:355) för känslig hälsodata, eller Finansinspektionens föreskrifter för icke-outsourcable data. 2. **Cloud Act-exponering oacceptabel.** Bank, försäkring, life sciences och offentlig sektor där risken för amerikansk myndighetsbegäran är strategiskt oacceptabel oavsett tekniska garantier. 3. **Schrems III-osäkerhet.** För organisationer som vill vara robusta mot det scenariot att Data Privacy Framework 2.0 invalideras av EU-domstolen 2026-2027. 4. **Hög volym.** Över 5 miljoner tokens per dag flyttas break-even från pay-as-you-go till self-host i termer av ren token-kostnad, förutsatt att teamet finns. 5. **Hårt latenskrav.** Under 50 ms TTFT för voice, edge-agenter eller realtidsintegration i industriella styrsystem. 6. **Full audit-kontroll krävd.** När regulator kräver möjlighet att auditera hela inferens-pipeline, inklusive modellvikter, quantization, deterministic sampling och alla systemloggar. 7. **IP-känslig träningsdata eller fine-tuning.** När den fine-tunade modellen i sig är konkurrensfördel som inte får lämna organisationen. Om ingen av dessa triggers gäller: välj hyperscaler-hostad eller EU-hostad LLM. On-premise innebär signifikant operationell tyngd som inte är motiverad utan en tydlig drivkraft. Se vår systerguide Enterprise LLM och datasuveränitet i Sverige 2026 (https://alicelabs.ai/sv/insights/enterprise-llm-datasuveranitet-sverige) för fullständig beslutsmatris per bransch. 02 / 09 Kapitel ## Modellval 2026: Llama 3.3, Mixtral 8x22B, Qwen 2.5, DeepSeek-V3 Sammanfattat Fyra open-weights-modeller dominerar svensk self-host 2026. Llama 3.3 70B (Meta Community License) är default. Mixtral 8x22B (Apache 2.0) för sparse MoE-throughput och permissiv licens. Qwen 2.5 72B (Apache 2.0) för kodtunga workloads och multi-language. DeepSeek-V3 671B (custom license) för frontier-nivå kvalitet till bråkdel av OpenAI-kostnad. Val drivs av licens, use-case och GPU-budget. Fyra öppna modeller är produktionsstandard för svensk enterprise self-host 2026: | Modell | Parametrar | Aktiva per token | Licens | Kontext | Svensk språkkvalitet | | --- | --- | --- | --- | --- | --- | | Llama 3.3 70B Instruct | 70B | 70B | Meta Community License | 128k | Bra (produktionsklass) | | Mixtral 8x22B Instruct | 141B | 39B | Apache 2.0 | 64k | Mycket bra (fransk trainer) | | Qwen 2.5 72B Instruct | 72B | 72B | Apache 2.0 | 128k | Bra (multi-language-fokus) | | DeepSeek-V3 | 671B | 37B | DeepSeek License | 128k | Bra (mindre svensk träningsdata) | | DeepSeek-R1 (reasoning) | 671B | 37B | MIT | 128k | Bra på reasoning, svag på svensk finess | | Llama 3.3 8B (edge) | 8B | 8B | Meta Community License | 128k | OK för enklare uppgifter | **Rekommendation per use-case:** - **General enterprise-chat + RAG:** Llama 3.3 70B som default. Bäst balanserad, störst community, stark svensk kvalitet efter LoRA. - **Hög throughput:** Mixtral 8x22B. Sparse MoE ger 3-4x throughput per GPU jämfört med Llama 70B för samma kvalitet på många benchmarks. - **Kod-heavy (code review, code generation):** Qwen 2.5 Coder 32B eller 72B slår Llama och Mixtral tydligt. - **Frontier-nivå reasoning:** DeepSeek-V3 eller R1. Matchar GPT-4o och Claude 3.5 Sonnet på många benchmarks. Kräver större GPU-fleet (671B parametrar). - **Edge / on-device:** Llama 3.3 8B, Mistral Small 3, Phi-4. Runs på enskild L40S eller till och med RTX 5090. Alice Labs default för svensk regulated industry 2026: Llama 3.3 70B med LoRA-fine-tuning för svensk domän, med Qwen 2.5 Coder som specialiserad coding-modell och en Llama 3.3 8B som edge-fallback. 03 / 09 Kapitel ## GPU-krav: H100, H200, A100, L40S för olika modellstorlekar Sammanfattat Llama 3.3 70B FP16 kräver 140 GB VRAM = 2x H100 80GB per instans, 8x H100 för produktions-throughput. Mixtral 8x22B FP16 kräver 280 GB = 4x H100. Med int8-quantization halveras behovet: 70B fits på 1x H100 eller 2x L40S. DeepSeek-V3 kräver 8x H200 för FP8. A100 är fortfarande kostnadseffektivt för utveckling. L40S är budget-alternativ för lägre throughput. GPU-planning är den enskilt viktigaste teknisk-ekonomiska frågan för svensk self-host. VRAM-behov per modell (FP16, ingen quantization, inga context-buffers): | Modell | FP16 VRAM | int8 VRAM | int4 VRAM | Minsta GPU-setup för produktion | | --- | --- | --- | --- | --- | | Llama 3.3 8B | 16 GB | 8 GB | 4 GB | 1x L40S 48GB | | Llama 3.3 70B | 140 GB | 70 GB | 40 GB | 2x H100 80GB eller 4x L40S 48GB | | Mixtral 8x22B | 280 GB | 140 GB | 80 GB | 4x H100 80GB | | Qwen 2.5 72B | 144 GB | 72 GB | 40 GB | 2x H100 80GB | | DeepSeek-V3 671B (FP8) | ~700 GB | n/a | ~250 GB | 8x H200 141GB | **Produktions-throughput.** VRAM för modellvikter är minimum. Continuous batching med vLLM konsumerar ytterligare 20 till 60 GB per instans för KV-cache beroende på context length och batch size. Praktisk konfiguration för Llama 3.3 70B: - **Dev/staging:** 2x H100 80GB, tensor parallel 2, batch size 8, ~15 samtidiga requests. - **Produktion (mid-market):** 8x H100 80GB i 1 nod, tensor parallel 8, batch size 64, ~200 samtidiga requests. - **Produktion (enterprise):** 4x noder om 8x H100 (32 GPU:er), pipeline parallel över noder plus tensor parallel inom nod, ~1000 samtidiga requests. **NVIDIA H100 vs H200 vs A100 vs L40S:** - **H100 80GB SXM5.** Produktionsstandard 2026. 3 TB/s memory bandwidth, FP8 support. Cirka 350 000 SEK per GPU vid volyminköp. - **H200 141GB.** H100:s efterträdare. 141 GB VRAM och 4,8 TB/s bandwidth möjliggör större modeller (DeepSeek-V3) per nod. Cirka 450 000 SEK per GPU. - **A100 80GB.** Föregående generation. 2 TB/s bandwidth. Fortfarande kostnadseffektivt för dev/staging. Cirka 200 000 SEK second-hand 2026. - **L40S 48GB.** Budget-alternativ. 864 GB/s bandwidth. Bäst för inference av mindre modeller (upp till 70B med int8). Cirka 90 000 SEK per GPU. Image: Linus Ingemarsson (https://alicelabs.ai/images/linus-ingemarsson.png) Image: Eric Lundberg (https://alicelabs.ai/images/eric-lundberg.png) Alice Labs praktiker-team ## Prata med teamet bakom 100+ AI-implementationer 30 minuters discovery-samtal med en senior Alice Labs-konsult. Ingen slide-deck, ingen försäljningspitch — bara ett scoping-samtal. Boka Discovery Call 04 / 09 Kapitel ## Quantization: int8, int4, GPTQ, AWQ, GGUF Sammanfattat Quantization sänker VRAM-behov och ökar throughput mot marginell kvalitetsförlust. int8 (BitsAndBytes eller GPTQ) halverar VRAM med under 2 procents förlust på benchmarks. int4 (AWQ eller GGUF-Q4) sänker till 25 procent VRAM med 3 till 8 procents förlust. FP8 (Marlin) på H100/H200 kombinerar bra kvalitet med hastighet. Fine-tuning bör göras före quantization för bäst resultat. Quantization är gapet mellan teoretiskt VRAM-behov och praktisk produktions-realitet. Fyra format dominerar 2026: - **int8 (BitsAndBytes, GPTQ).** Halverar VRAM. Under 2 procents kvalitetsförlust på MMLU-Pro för de flesta 70B-modeller. Standard-tradeoff för produktions-serving. - **int4 (AWQ, GGUF-Q4).** Sänker VRAM till 25 procent av FP16. 3 till 8 procents kvalitetsförlust beroende på benchmark. Rätt val för edge, mindre GPU-budget eller kostnadskänslig batch-inferens. - **FP8 (Marlin, TransformerEngine).** Native FP8 på H100 och H200. Nästan ingen kvalitetsförlust och 2x throughput jämfört med FP16. Kräver H100/H200 (inte A100 eller L40S). - **GPTQ vs AWQ.** GPTQ är äldre standard, bra kompatibilitet. AWQ (Activation-aware Weight Quantization) är nyare och ger typiskt 1 till 3 procent bättre kvalitet än GPTQ vid samma bit-width. AWQ är default 2026. - **GGUF (Ollama, llama.cpp).** CPU-inference-format. Rätt val för edge-deploy där GPU inte finns eller är oöverkomlig. GGUF-Q4 kör Llama 3.3 8B i acceptabel hastighet på moderna CPU:er. Praktisk regel från Alice Labs: fine-tuna först på FP16, sedan quantize med AWQ till int4 eller int8 för produktions-serving. Att fine-tuna på redan-quantized-modell ger typiskt 5 till 15 procent sämre kvalitet. 05 / 09 Kapitel ## Serving-stack: vLLM, TGI, Ollama, LMDeploy Sammanfattat vLLM (UC Berkeley) är produktions-serving-standard 2026 med PagedAttention, continuous batching, tensor parallel, prefix caching. Text Generation Inference (TGI, HuggingFace) är näst största val, bra observability. Ollama är utvecklarvänligt (llama.cpp-baserat) men inte produktionsklassat för hög QPS. LMDeploy från Shanghai AI Lab har bra Kina-modell-support. NVIDIA Triton med TensorRT-LLM för max-latens-kritiska scenarier. Fem serving-stacks dominerar 2026: - **vLLM.** Alice Labs default. PagedAttention plus continuous batching ger 5 till 24x throughput jämfört med naive HuggingFace serving. Tensor parallel inom nod. Prefix caching för RAG-workloads. OpenAI-compatible API. - **Text Generation Inference (TGI, HuggingFace).** Nästan lika snabbt som vLLM. Bra Prometheus-observability inbyggd. HuggingFace-native integration. Val när teamet är djupt in i HuggingFace-eco. - **Ollama.** Utvecklarvänligt CLI, llama.cpp-baserat. Rätt val för lokal utveckling och proof-of-concept. Inte produktionsklassat för hög QPS men excellent för dev-loops och små interna verktyg. - **LMDeploy (Shanghai AI Lab).** Bra Kina-modell-support (Qwen, DeepSeek). Konkurrenskraftig throughput. Mindre community än vLLM. - **NVIDIA Triton med TensorRT-LLM.** Max prestanda för latens-kritiska scenarier. Kräver NVIDIA-specifik kompilering. Val för voice-agenter och realtid där varje ms räknas. Alice Labs stack för svensk produktion: vLLM 0.7+ på Kubernetes med KServe, prefix caching aktiverat, Prometheus plus Grafana för metrics, Langfuse för LLM-observability, Istio för service mesh, Cilium för network policy. Alice Labs praktiker-team ## Överväger ni self-hosted LLM för er verksamhet? Vi har byggt 100+. Alice Labs är en Stockholm-baserad AI-konsult och har levererat 100+ produktionsimplementationer i Norden sedan 2023, inklusive self-hosted Llama, Mixtral, Qwen och DeepSeek på svensk GPU-infrastruktur. Boka self-host-arkitekturmöte 06 / 09 Kapitel ## Fine-tuning för svenskt affärsspråk: LoRA, QLoRA, DPO Sammanfattat LoRA (Low-Rank Adaptation) tränar små adapter-matriser istället för hela modellen. QLoRA gör samma sak på 4-bit-quantized bas. 500 till 5 000 träningsexempel räcker för de flesta svenska enterprise-use-cases. DPO (Direct Preference Optimization) adderas efter LoRA för preferens-alignment. Träning tar timmar (LoRA) till dagar (full fine-tuning) på 4-8 H100. Ekonomi: LoRA ger 90 procent av full fine-tuning-kvalitet till 5 procent av kostnaden. Fine-tuning-strategi 2026: 1. **Steg 1: LoRA-adaptation.** 500 till 5 000 domän-exempel. Träning tar 4 till 24 timmar på 4x H100. Alpha 16-32, rank 8-16, target modules q_proj, k_proj, v_proj, o_proj. Ger 90 procent av full fine-tuning-kvalitet till 5 procent av kostnaden. 2. **Steg 2: DPO för preferens-alignment.** Om ni har par av (bra_svar, dåligt_svar). 1 000 till 10 000 par. Kör efter LoRA. Ger tonalitet och format-consistency som SFT ensamt inte når. 3. **Steg 3 (frivilligt): Full fine-tuning.** Endast om LoRA + DPO inte räcker. Kräver 8x H100 i 3 till 14 dagar. Kostar tio till hundra gånger LoRA. Data-strategier för svenskt affärsspråk: - **Domän-specifika exempel:** juridiska texter för legal, medicinska journaler för sjukvård, finansiella rapporter för bank. - **Ton- och stil-mall:** 100 till 500 exempel som visar ert varumärkes röst. - **Instruktionsformat:** använd samma chat-template som basmodellen (Llama 3.1 template för Llama 3.3). - **Data-hygien:** ta bort dubbletter, kontrollera PII, verifiera korrekthet i minst 10 procent av exemplen manuellt. 07 / 09 Kapitel ## Deployment: svensk sovereign cloud vs bare-metal vs hyperscaler-tenant Sammanfattat Tre deploy-alternativ: (1) svensk sovereign cloud GPU (City Network, Elastx, Glesys) för sovereign kombinerad med snabb time-to-value, premium 30-100%. (2) Bare-metal i eget datacenter för max kontroll och lägst löpande kostnad efter CapEx-amortering. (3) Hyperscaler dedicated (Azure ND-series i Sweden Central, AWS EC2 P5 i Frankfurt) som mellanting. Val drivs av data-känslighet, tidshorisont och intern kompetens. Tre deploy-alternativ dominerar 2026: 1. **Svensk sovereign cloud GPU.** City Network, Elastx, Glesys, GleSYS och Iver (tidigare EvroCloud) erbjuder H100- och L40S-instanser i svensk jurisdiktion. Premium 30 till 100 procent över hyperscaler-listpris. Rätt val för sekretessomfattad data där sovereignty är kärnkrav. 2. **Bare-metal i eget datacenter.** Max kontroll, lägst löpande kostnad efter CapEx-amortering (3 år). Kräver egen personal för fysisk drift, kylning, elektricitet, säkerhet. Kapitalinvestering: 2 till 8 MSEK för 8x H100-nod inkl. nätverk, kylning, PDU. 3. **Hyperscaler dedicated (Azure ND, AWS P5, GCP A3).** ND H100 v5 i Sweden Central. P5.48xlarge i Frankfurt. A3 i europe-west4. Snabbast time-to-value, högst rörlig kostnad. Rätt val för prototypfas och low-volume produktion. **Alice Labs beslutsmodell:** - **Prototypfas (månad 1-3):** Hyperscaler dedicated H100. Snabbast till working prototype. - **Pilot (månad 3-9):** Svensk sovereign cloud GPU. Sovereignty klart, utan CapEx-lock-in. - **Produktion (månad 9+):** Beslut CapEx vs OpEx baserat på 3-års-TCO och intern kompetens. Bare-metal för organisationer som redan har HPC-team. Sovereign cloud för lean-team. 08 / 09 Kapitel ## TCO-modellering i SEK: CapEx bare-metal vs OpEx cloud Sammanfattat Bare-metal 8x H100-nod svensk mid-market: 3-4 MSEK CapEx plus 400-800 kSEK/år drift (personal, el, support). 3-års-TCO: 4,5-6,5 MSEK. Svensk sovereign cloud 8x H100-tenant: 1,2-1,8 MSEK/år. 3-års-TCO: 3,6-5,4 MSEK. Hyperscaler dedicated H100: 1,5-2,5 MSEK/år. 3-års-TCO: 4,5-7,5 MSEK. Break-even bare-metal vs sovereign cloud: månad 24-30 för mid-market. Alice Labs TCO-modell 2026 för 8x H100-produktionsdeployment (Llama 3.3 70B, ~200 samtidiga requests, 5-10M tokens/dag): | Deploy-modell | CapEx år 0 (SEK) | Löpande år 1-3 (SEK/år) | 3-års-TCO (SEK) | Break-even mot hyperscaler | | --- | --- | --- | --- | --- | | Bare-metal eget datacenter | 3 000 000 - 4 000 000 | 400 000 - 800 000 | 4 500 000 - 6 500 000 | Månad 30-40 | | Svensk sovereign cloud GPU | 0 | 1 200 000 - 1 800 000 | 3 600 000 - 5 400 000 | Månad 12-18 | | Hyperscaler dedicated (ND H100 Sweden Central) | 0 | 1 500 000 - 2 500 000 | 4 500 000 - 7 500 000 | Referens | | Hyperscaler on-demand (Azure ND ondemand) | 0 | 2 500 000 - 4 000 000 | 7 500 000 - 12 000 000 | Referens (baseline) | | Pay-as-you-go LLM API (Azure OpenAI GPT-4o) | 0 | 1 400 000 - 3 600 000 | 4 200 000 - 10 800 000 | Beroende av volym | Antaganden: Llama 3.3 70B, int8 quantization, vLLM serving, ~200 samtidiga requests, 5-10M tokens/dag. Personal och supporttid ingår i löpande. Bare-metal CapEx amorteras över 3 år. Pay-as-you-go referens: 8M tokens/dag GPT-4o Sweden Central. Praktiska slutsatser för svenska CFO:er 2026: - **Under 2M tokens/dag:** pay-as-you-go LLM API alltid billigast. Ingen self-host-kalkyl motiverad. - **2-5M tokens/dag:** pay-as-you-go med Provisioned Throughput reservation eller sovereign cloud GPU. Beroende av sovereignty-krav. - **Över 5M tokens/dag:** sovereign cloud eller bare-metal. Break-even nås typiskt månad 12-30. - **Över 20M tokens/dag:** bare-metal ger tydligt lägst 3-års-TCO. Alice Labs praktiker-team ## Redo att bygga on-premise LLM i produktion? Alice Labs 12-veckors playbook från 100+ nordiska produktionsdeployments. Modellval, GPU-planering, quantization, serving-stack, fine-tuning, evals och rollout. Kostnadsfritt första möte. Boka on-premise LLM-konsultation 09 / 09 Kapitel ## Alice Labs fem vanligaste anti-patterns i svenska self-host-projekt Sammanfattat Fem vanligaste self-host-anti-patterns 2026: (1) välja on-premise utan tydlig sovereignty- eller volym-trigger, (2) underskatta MLOps-personalbehov (minst 2 heltider), (3) hoppa quantization och köra FP16 i produktion trots ingen kvalitetsvinst, (4) välja Ollama för produktion (utvecklarverktyg, ej production-grade), (5) fine-tuna på quantized bas istället för FP16. Från Alice Labs 100+ svenska implementationer, fem anti-patterns vi ser gång på gång: 1. **Self-host utan trigger.** Vanligaste misstaget. Team väljer on-premise av felaktig anledning ("vi vill vara oberoende") utan tydlig sovereignty-, volym- eller latens-trigger. Resultat: 3x kostnad jämfört med hyperscaler och kvartalslång försening. 2. **Underskatta MLOps-personalbehov.** Produktions-self-host kräver minst 2 heltider (senior MLOps-ingenjör och ML-plattforms-ingenjör). Utan detta blir driftstiden lidande och incidenter droppar. 3. **Hoppa quantization.** FP16-serving i produktion utan quantization använder 2x GPU-resurser för 0-2 procents extra kvalitet. Nästan alltid fel val ekonomiskt. 4. **Välja Ollama för produktion.** Ollama är fantastiskt för utveckling men saknar continuous batching och robust concurrency. Använd vLLM eller TGI för produktion. 5. **Fine-tuna på quantized bas.** Kvalitetsförlust 5-15 procent jämfört med fine-tuning på FP16 följt av quantization. Fine-tuna alltid först på FP16. Boka en self-host-arkitekturgenomgång via AI-implementation för svensk mid-market (https://alicelabs.ai/sv/ai-implementation). ## About the Authors & Reviewers Written by Image: Linus Ingemarsson - VD & Medgrundare, Alice Labs at Alice Labs (https://alicelabs.ai/images/linus-ingemarsson.png) Linus Ingemarsson (https://www.linkedin.com/in/linus-ingemarsson/) VD & Medgrundare, Alice Labs CEO & Co-Founder at Alice Labs. Author of 7 research reports on AI adoption, governance and labor markets cited across EU, OECD and US benchmarks. - 8+ years in AI strategy & implementation - Top-5 AI Speaker, Sweden (Mindley 2025) - 100+ enterprise AI engagements View profile: https://www.linkedin.com/in/linus-ingemarsson/ Linus Ingemarsson on LinkedIn: https://www.linkedin.com/in/linus-ingemarsson/ Email Linus Ingemarsson: linus@alicelabs.ai Reviewed by September 17, 2026 Image: Eric Lundberg - Medgrundare, Alice Labs at Alice Labs (https://alicelabs.ai/images/eric-lundberg.png) Eric Lundberg (https://www.linkedin.com/in/eric-lundberg-3530451bb/) Medgrundare, Alice Labs Co-Founder at Alice Labs. Builds AI automation, agent workflows and integration systems that hold up in real business operations. - AI automation & agent systems lead - Workflow design across 100+ deployments - Specialist in RAG, integrations & APIs View profile: https://www.linkedin.com/in/eric-lundberg-3530451bb/ Eric Lundberg on LinkedIn: https://www.linkedin.com/in/eric-lundberg-3530451bb/ Email Eric Lundberg: eric@alicelabs.ai Reviewed for technical accuracy, methodology and source integrity. · All claims trace to public sources cited in-line. ## Vanliga frågor ### När behöver vi köra LLM on-premise som svenskt företag 2026? När data är sekretessomfattad enligt Sekretesslagen/Säkerhetsskyddslagen, när Cloud Act-exponering är oacceptabel, när volymen är hög (över 5M tokens/dag), när latens-krav är under 50 ms, när Finansinspektionen eller sektorsspecifik reglering kräver full audit-kontroll, eller när fine-tunade modeller innehåller känslig IP. Om ingen av dessa triggers gäller: välj hyperscaler eller EU-hostad LLM. ### Vilken open-source-modell ska vi köra: Llama, Mixtral, Qwen eller DeepSeek? Default 2026: Llama 3.3 70B för general enterprise-chat och RAG. Mixtral 8x22B när Apache 2.0-licens behövs eller för hög throughput. Qwen 2.5 72B för kodtunga workloads och multi-language. DeepSeek-V3 för frontier-nivå kvalitet vid högre GPU-kostnad. Alice Labs default: Llama 3.3 70B med LoRA för svensk domän. ### Hur mycket GPU behövs för att köra Llama 3.3 70B i produktion? FP16 kräver 140 GB VRAM = 2x H100 80GB per instans. För produktions-throughput med 200 samtidiga requests: 8x H100 i en nod med vLLM tensor parallel. Med int8-quantization räcker 1x H100 eller 2x L40S per instans. För mindre volym: 4x L40S 48GB. Praktiskt: mid-market 5-10M tokens/dag = 8x H100. ### Vad är skillnaden mellan int8 och int4 quantization? int8 halverar VRAM med under 2 procents kvalitetsförlust på benchmarks. int4 sänker till 25 procent av FP16 med 3 till 8 procents förlust. int8 är default för produktion, int4 för edge eller mycket kostnadskänsliga scenarier. FP8 på H100/H200 kombinerar nästan noll förlust med 2x throughput jämfört med FP16. ### vLLM eller TGI eller Ollama för produktion? vLLM är Alice Labs default: PagedAttention plus continuous batching plus tensor parallel plus prefix caching. TGI (HuggingFace) är näst största val med bra observability inbyggt. Ollama är utvecklarvänligt men INTE produktionsklassat för hög QPS. LMDeploy för Kina-modeller. Triton med TensorRT-LLM för max latens. ### Hur fine-tunar vi Llama för svenskt affärsspråk? LoRA med 500 till 5 000 domän-exempel räcker för de flesta enterprise-use-cases. Träning 4 till 24 timmar på 4x H100. Alpha 16-32, rank 8-16. DPO efter LoRA för preferens-alignment om ni har par av bra/dåliga svar. Full fine-tuning sällan motiverad. Fine-tuna alltid på FP16 innan quantization för bäst kvalitet. ### Vad kostar self-hosted LLM i svensk mid-market per år? Bare-metal 8x H100-nod: 3-4 MSEK CapEx plus 400-800 kSEK/år drift = 4,5-6,5 MSEK 3-års-TCO. Svensk sovereign cloud 8x H100-tenant: 1,2-1,8 MSEK/år = 3,6-5,4 MSEK 3-års-TCO. Hyperscaler dedicated H100: 1,5-2,5 MSEK/år = 4,5-7,5 MSEK. Alla siffror för Llama 3.3 70B, ~200 samtidiga requests, 5-10M tokens/dag. ### Kan vi hosta LLM hos svenska sovereign cloud-leverantörer? Ja. City Network (Karlskrona), Elastx (Stockholm), Glesys (Falkenberg) och Iver (tidigare EvroCloud) erbjuder H100- och L40S-instanser med svensk jurisdiktion. Bahnhof kan hosta private cloud. Premium 30 till 100 procent över hyperscaler-listpris. Rätt val för sekretessomfattad data där sovereignty är kärnkrav. ### Hur skalar vi self-hosted LLM för hög throughput? Horisontell skalning: flera 8x H100-noder med load balancer, prefix caching för RAG-workloads, KV-cache-sharing där möjligt. vLLM stöder tensor parallel inom nod plus pipeline parallel över noder. Autoscaling via Kubernetes HPA baserat på queue depth och GPU utilization. Alice Labs använder Kubernetes plus KServe plus Istio som standard. ### Hur observerar och monitorerar vi self-hosted LLM i produktion? Fyra mätdimensioner: (1) throughput/latency via Prometheus plus Grafana, (2) LLM-observability via Langfuse eller Braintrust (traces, cost per user, eval-scores), (3) GPU utilization via DCGM Exporter, (4) safety-metrics via egen eval-pipeline i CI. Diagnostic Settings till central log-collector med minst 400 dagars retention för regulated industries. ### Vilka MLOps-verktyg använder Alice Labs för self-hosted LLM? Kubernetes plus KServe för orchestration, vLLM 0.7+ för serving, Argo Workflows för fine-tuning-jobb, MLflow för experiment-tracking, Langfuse för LLM-observability, Prometheus plus Grafana för metrics, Istio för service mesh, Cilium för network policy, Trivy för container-security-scan. Terraform plus ArgoCD för GitOps. ### Vem är Alice Labs och vad har ni levererat inom self-hosted LLM? Alice Labs är en Stockholm-baserad AI-konsult grundad 2023 av Linus Ingemarsson (VD och medgrundare) och Eric Lundberg (medgrundare). Vi har levererat 100+ produktionsimplementationer sedan 2023 inom bank, försäkring, life sciences, offentlig sektor, retail och industri, med djup expertis inom self-hosted Llama, Mixtral, Qwen, DeepSeek, vLLM, TGI och svensk GPU-infrastruktur. Föregående i AI Tools & Technology ### Bästa svenska AI-verktyg 2026: 12 svenska leverantörer https://alicelabs.ai/sv/insights/on-premise-llm-svenska Nästa i AI Tools & Technology ### Enterprise LLM och datasuveränitet i Sverige 2026 https://alicelabs.ai/sv/insights/on-premise-llm-svenska ## Vidare läsning - Meta — Llama 3.3 model card (https://ai.meta.com/llama/)· ai.meta.com - Mistral AI — Mixtral 8x22B (https://mistral.ai/news/mixtral-8x22b/)· mistral.ai - Qwen — Qwen 2.5 (https://qwenlm.github.io/)· qwenlm.github.io - DeepSeek — model documentation (https://www.deepseek.com/)· deepseek.com - vLLM documentation (https://docs.vllm.ai/)· docs.vllm.ai - HuggingFace — Text Generation Inference (https://huggingface.co/docs/text-generation-inference)· huggingface.co - Ollama (https://ollama.com/)· ollama.com - NVIDIA H100 datasheet (https://www.nvidia.com/en-us/data-center/h100/)· nvidia.com - Vinnova — svensk AI-infrastruktur (https://www.vinnova.se/)· vinnova.se - AI Sweden (https://www.ai.se/)· ai.se - IMY — Integritetsskyddsmyndigheten (https://www.imy.se/)· imy.se ## Relaterade tjänster AI-agenter för svenska företag Money page: enterprise AI-agent-tjänster: https://alicelabs.ai/sv/ai-agenter AI-implementation för svensk mid-market Alice Labs implementations-tjänster: https://alicelabs.ai/sv/ai-implementation AI-konsult AI-konsulting för svenska företag: https://alicelabs.ai/sv/ai-konsult AI-strategi Strategirådgivning för AI-transformation: https://alicelabs.ai/sv/ai-strategi AI-agenter (variant anchor) Alice Labs agent-tjänster: https://alicelabs.ai/sv/ai-agenter AI-konsult Stockholm Alice Labs AI-konsult för svensk enterprise och mid-market.: https://alicelabs.ai/ai-konsult svenska AI-utbildningar Alice Labs AI-utbildning för svenska team.: https://alicelabs.ai/ai-utbildning ## Relaterade artiklar deepdive ### Enterprise LLM och datasuveränitet i Sverige 2026 Datasuveränitets-jämförelse för OpenAI, Anthropic, Microsoft, Google, AWS och EU-alternativ. https://alicelabs.ai/sv/insights/enterprise-llm-datasuveranitet-sverige deepdive ### Azure OpenAI i Sverige Central: guide 2026 Teknisk deep-dive på Azure OpenAI Sweden Central. https://alicelabs.ai/sv/insights/azure-openai-sverige-region listicle ### Bästa svenska AI-verktyg 2026 12 svenska AI-leverantörer utvärderade. https://alicelabs.ai/sv/insights/svenska-ai-verktyg-2026 pillar ### AI-agenter: Komplett guide för svenska företag 2026 SV pillar för AI-agenter från grunden till produktion. https://alicelabs.ai/sv/insights/ai-agent-guide ## Källor 1. Llama 3.3 model card and technical report (https://ai.meta.com/llama/)Meta AI · Meta “Llama 3.3 70B Instruct: 128k context, 140 GB FP16 VRAM. Meta Community License tillåter kommersiell användning under 700M monthly active users.” (hämtad 2026-09-19) 2. Mixtral 8x22B documentation (https://mistral.ai/news/mixtral-8x22b/)Mistral AI · Mistral “Mixtral 8x22B sparse MoE: 141B total, 39B active per token. Apache 2.0 licens. 64k context.” (hämtad 2026-09-19) 3. Qwen 2.5 documentation (https://qwenlm.github.io/)Alibaba · Qwen Team “Qwen 2.5 72B Instruct: 128k context, Apache 2.0 licens. Stark kod-kvalitet med Qwen 2.5 Coder-variant.” (hämtad 2026-09-19) 4. DeepSeek-V3 and R1 technical reports (https://www.deepseek.com/)DeepSeek · DeepSeek “DeepSeek-V3: 671B parametrar, 37B aktiva per token. DeepSeek-R1: reasoning-optimerad, MIT-licens.” (hämtad 2026-09-19) 5. vLLM documentation (https://docs.vllm.ai/)vLLM Project · vLLM “vLLM 0.7+: PagedAttention, continuous batching, tensor parallel, prefix caching. OpenAI-compatible API.” (hämtad 2026-09-19) 6. Text Generation Inference (https://huggingface.co/docs/text-generation-inference)HuggingFace · HuggingFace “TGI: production LLM-serving med Prometheus-observability och HuggingFace-native integration.” (hämtad 2026-09-19) 7. Ollama documentation (https://ollama.com/)Ollama · Ollama “Ollama: llama.cpp-baserat, utvecklarvänligt CLI. Rätt för dev och proof-of-concept, inte produktion.” (hämtad 2026-09-19) 8. H100 Tensor Core GPU datasheet (https://www.nvidia.com/en-us/data-center/h100/)NVIDIA · NVIDIA “H100 80GB SXM5: 3 TB/s memory bandwidth, FP8 support, produktionsstandard för LLM-serving 2026.” (hämtad 2026-09-19) 9. H200 datasheet (https://www.nvidia.com/en-us/data-center/h200/)NVIDIA · NVIDIA “H200 141GB: 4,8 TB/s bandwidth, möjliggör större modeller (DeepSeek-V3) per nod.” (hämtad 2026-09-19) 10. vLLM: Efficient Memory Management for Large Language Model Serving with PagedAttention (https://arxiv.org/abs/2309.06180)UC Berkeley Sky Computing Lab · UC Berkeley “PagedAttention paper: 5-24x throughput jämfört med naive HuggingFace serving via memory-efficient KV-cache management.” (hämtad 2026-09-19) 11. QLoRA: Efficient Finetuning of Quantized LLMs (https://arxiv.org/abs/2305.14314)Tim Dettmers et al. · University of Washington “QLoRA: 4-bit-quantized bas plus LoRA-adapters ger 99 procent av full fine-tuning-kvalitet till bråkdel av GPU-krav.” (hämtad 2026-09-19) 12. AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration (https://arxiv.org/abs/2306.00978)Ji Lin et al. · MIT “AWQ: 1-3 procent bättre kvalitet än GPTQ vid samma bit-width. Default int4-quantization-metod 2026.” (hämtad 2026-09-19) 13. Vinnova AI-infrastruktursatsningar (https://www.vinnova.se/)Vinnova · Vinnova “Vinnova stödjer svenska satsningar på AI-infrastruktur inklusive GPU-kapacitet på KTH, Chalmers och LiU.” (hämtad 2026-09-19) 14. AI Sweden compute-tillgångar (https://www.ai.se/)AI Sweden · AI Sweden “AI Sweden koordinerar tillgång till svensk GPU-infrastruktur inklusive Berzelius vid NSC Linköping.” (hämtad 2026-09-19) 15. Alice Labs self-hosted LLM implementationer i Norden (100+ sedan 2023) (https://alicelabs.ai/sv/case)Alice Labs · Alice Labs “100+ produktionsimplementationer sedan 2023. Standardstack self-host: Llama 3.3 70B, LoRA för svensk domän, vLLM serving, Kubernetes plus KServe, Langfuse observability.” (hämtad 2026-09-19) Nästa planerade granskning: 2026-12-15 Alice Labs praktiker-team Boka on-premise LLM-konsultation Dela Share on LinkedIn (https://www.linkedin.com/sharing/share-offsite/?url=https%3A%2F%2Falicelabs.ai%2Fsv%2Finsights%2Fon-premise-llm-svenska)Share on X (https://twitter.com/intent/tweet?url=https%3A%2F%2Falicelabs.ai%2Fsv%2Finsights%2Fon-premise-llm-svenska&text=On-premise%20LLM%20f%C3%B6r%20svenska%20f%C3%B6retag%3A%20guide%202026) ## Hör av dig! Labbet svarar oftast inom 24 timmar. Behöver du hjälp med AI? Kontakta oss (https://alicelabs.ai/en/ai-consulting-services#contact-form) ## Structured data ```json [ { "@context": "https://schema.org", "@graph": [ { "@type": "Organization", "@id": "https://alicelabs.ai/#organization", "name": "Alice Labs", "alternateName": [ "Alice Labs AB", "AliceLabs" ], "legalName": "Alice Labs AB", "identifier": "559443-5470", "foundingLocation": { "@type": "Place", "name": "Stockholm, Sweden" }, "url": "https://alicelabs.ai", "logo": { "@type": "ImageObject", "@id": "https://alicelabs.ai/#logo", "url": "https://alicelabs.ai/images/alice-logo.png", "contentUrl": "https://alicelabs.ai/images/alice-logo.png", "width": 2000, "height": 2027, "caption": "Alice Labs" }, "image": { "@id": "https://alicelabs.ai/#logo" }, "description": "Alice Labs är en svensk AI-byrå som hjälper företag implementera AI - från strategi till skalning.", "slogan": "From AI strategy to measurable results.", "foundingDate": "2023", "email": "hej@alicelabs.ai", "telephone": "+46734157476", "address": { "@type": "PostalAddress", "streetAddress": "Hammarbybacken 27", "addressLocality": "Stockholm", "postalCode": "120 30", "addressCountry": "SE" }, "contactPoint": [ { "@type": "ContactPoint", "contactType": "customer service", "email": "hej@alicelabs.ai", "telephone": "+46734157476", "areaServed": [ "SE", "EU" ], "availableLanguage": [ "Swedish", "English" ] } ], "areaServed": [ { "@type": "Country", "name": "Sweden" }, { "@type": "Place", "name": "Europe" } ], "knowsAbout": [ "AI strategy", "AI implementation", "AI agents", "AI automation", "Generative AI", "AI governance", "AI training", "Machine learning", "Large language models", "RAG", "AI consulting", "Digital transformation", "AI search optimization", "LLMO", "AI for enterprise" ], "founder": [ { "@id": "https://alicelabs.ai/#linus" }, { "@id": "https://alicelabs.ai/#eric" } ], "sameAs": [ "https://www.linkedin.com/company/alicelabsai", "https://www.trustpilot.com/review/alicelabs.ai", "https://www.wikidata.org/wiki/Q140369570" ] }, { "@type": "Person", "@id": "https://alicelabs.ai/#linus", "name": "Linus Ingemarsson", "givenName": "Linus", "familyName": "Ingemarsson", "jobTitle": "Co-Founder", "description": "Co-founder of Alice Labs. Architects AI agent systems and automation in production for clients across financial services, media, and the public sector.", "url": "https://alicelabs.ai/en/linus-ingemarsson", "sameAs": [ "https://www.linkedin.com/in/linus-ingemarsson/", "https://www.wikidata.org/wiki/Q140369914" ], "knowsAbout": [ "AI agents", "agent orchestration", "AI implementation", "LangGraph", "RAG systems", "AI strategy", "enterprise AI", "AI search optimization", "LLMO", "Nordic AI ecosystem" ], "worksFor": { "@id": "https://alicelabs.ai/#organization" } }, { "@type": "Person", "@id": "https://alicelabs.ai/#eric", "name": "Eric Lundberg", "givenName": "Eric", "familyName": "Lundberg", "jobTitle": "Co-Founder", "description": "Co-founder of Alice Labs. Designs AI automation systems and agent workflows that remove repetitive work and make day-to-day operations more reliable.", "url": "https://alicelabs.ai/en/eric-lundberg", "sameAs": [ "https://www.linkedin.com/in/eric-lundberg-3530451bb/", "https://www.wikidata.org/wiki/Q140369978" ], "knowsAbout": [ "AI automation", "agent workflows", "AI integrations", "process automation", "knowledge systems", "AI engineering", "enterprise AI", "Nordic AI ecosystem" ], "worksFor": { "@id": "https://alicelabs.ai/#organization" } }, { "@type": "Person", "@id": "https://alicelabs.ai/#alice", "name": "Alice Holmgren", "givenName": "Alice", "familyName": "Holmgren", "jobTitle": "CEO", "description": "CEO of Alice Labs. Leads strategy and growth across the Nordic AI consulting market.", "url": "https://alicelabs.ai/en/alice-holmgren", "knowsAbout": [ "AI strategy", "AI consulting leadership", "business development", "Nordic AI ecosystem", "enterprise AI adoption", "AI program management" ], "worksFor": { "@id": "https://alicelabs.ai/#organization" } }, { "@type": [ "LocalBusiness", "ProfessionalService" ], "@id": "https://alicelabs.ai/#localbusiness", "name": "Alice Labs", "description": "AI-konsult i Stockholm. Vi hjälper företag implementera AI - från strategi till skalning. Boka möte för en kostnadsfri AI-genomgång.", "url": "https://alicelabs.ai", "logo": { "@id": "https://alicelabs.ai/#logo" }, "image": { "@id": "https://alicelabs.ai/#logo" }, "telephone": "+46734157476", "email": "hej@alicelabs.ai", "priceRange": "$$$", "currenciesAccepted": "SEK, EUR, USD", "paymentAccepted": "Invoice", "address": { "@type": "PostalAddress", "streetAddress": "Hammarbybacken 27", "addressLocality": "Stockholm", "postalCode": "120 30", "addressRegion": "Stockholms län", "addressCountry": "SE" }, "geo": { "@type": "GeoCoordinates", "latitude": 59.3018, "longitude": 18.1003 }, "areaServed": [ { "@type": "City", "name": "Stockholm" }, { "@type": "City", "name": "Göteborg" }, { "@type": "City", "name": "Malmö" }, { "@type": "City", "name": "Uppsala" }, { "@type": "Country", "name": "Sweden" } ], "openingHoursSpecification": [ { "@type": "OpeningHoursSpecification", "dayOfWeek": [ "Monday", "Tuesday", "Wednesday", "Thursday", "Friday" ], "opens": "08:00", "closes": "18:00" } ], "hasOfferCatalog": { "@type": "OfferCatalog", "name": "AI-tjänster", "itemListElement": [ { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-konsult" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-strategi" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-implementation" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-utbildning" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-agenter" } }, { "@type": "Offer", "itemOffered": { "@type": "Service", "name": "AI-automation" } } ] }, "knowsAbout": [ "AI-konsult", "AI-strategi", "AI-implementation", "AI-utbildning", "AI-agenter", "AI-automation", "Generative AI", "Machine learning", "RAG", "Large language models", "AI governance" ], "parentOrganization": { "@id": "https://alicelabs.ai/#organization" }, "sameAs": [ "https://www.linkedin.com/company/alicelabsai" ] }, { "@type": "WebSite", "@id": "https://alicelabs.ai/#website", "url": "https://alicelabs.ai", "name": "Alice Labs", "alternateName": [ "Alice Labs AB" ], "description": "AI consulting, implementation and training for businesses.", "publisher": { "@id": "https://alicelabs.ai/#organization" }, "inLanguage": [ "sv-SE", "en-US" ], "potentialAction": { "@type": "SearchAction", "target": { "@type": "EntryPoint", "urlTemplate": "https://alicelabs.ai/?q={search_term_string}" }, "query-input": "required name=search_term_string" } } ] }, { "@context": "https://schema.org", "@graph": [ { "@type": "HowTo", "@id": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#article", "headline": "On-premise LLM för svenska företag: komplett implementations-guide 2026", "description": "On-premise LLM för svenska företag 2026: när det behövs, val av modell (Llama, Mixtral, Qwen), GPU-krav, quantization, vLLM och kostnad i SEK.", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska", "datePublished": "2026-09-19", "dateModified": "2026-09-17", "expires": "2026-12-15", "author": { "@id": "https://alicelabs.ai/#linus" }, "reviewedBy": { "@id": "https://alicelabs.ai/#eric" }, "dateReviewed": "2026-09-16", "publisher": { "@type": "Organization", "name": "Alice Labs", "url": "https://alicelabs.ai", "logo": { "@type": "ImageObject", "url": "https://alicelabs.ai/images/alice-logo.png" } }, "image": { "@type": "ImageObject", "@id": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#hero-image", "url": "https://alicelabs.ai/images/og/og-home.jpg", "contentUrl": "https://alicelabs.ai/images/og/og-home.jpg", "width": 1600, "height": 900, "caption": "On-premise LLM för svenska företag: guide 2026", "creator": { "@id": "https://alicelabs.ai/#organization" }, "representativeOfPage": true, "license": "https://alicelabs.ai/terms" }, "mainEntityOfPage": { "@type": "WebPage", "@id": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska" }, "inLanguage": "sv", "articleSection": "ai-tools", "keywords": "on premise llm sverige, self hosted llm svenska, lokal llm företag, llama on premise svenska, mixtral sverige, self hosted qwen, vllm sverige, gpu h100 llm, ollama enterprise, self hosted llm gdpr", "about": [ { "@type": "Thing", "name": "När behöver svenska företag on-premise LLM 2026?", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#nar-on-premise" }, { "@type": "Thing", "name": "Modellval 2026: Llama 3.3, Mixtral 8x22B, Qwen 2.5, DeepSeek-V3", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#modellval-2026" }, { "@type": "Thing", "name": "GPU-krav: H100, H200, A100, L40S för olika modellstorlekar", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#gpu-krav" }, { "@type": "Thing", "name": "Quantization: int8, int4, GPTQ, AWQ, GGUF", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#quantization" }, { "@type": "Thing", "name": "Serving-stack: vLLM, TGI, Ollama, LMDeploy", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#serving-stack" }, { "@type": "Thing", "name": "Fine-tuning för svenskt affärsspråk: LoRA, QLoRA, DPO", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#fine-tuning-svenska" }, { "@type": "Thing", "name": "Deployment: svensk sovereign cloud vs bare-metal vs hyperscaler-tenant", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#deployment-svensk-infra" }, { "@type": "Thing", "name": "TCO-modellering i SEK: CapEx bare-metal vs OpEx cloud", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#tco-sek" }, { "@type": "Thing", "name": "Alice Labs fem vanligaste anti-patterns i svenska self-host-projekt", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#anti-patterns" } ], "mentions": [ { "@type": "Organization", "name": "Alice Labs", "url": "https://alicelabs.ai" }, { "@type": "Organization", "name": "Meta", "url": "https://ai.meta.com" }, { "@type": "Organization", "name": "Mistral AI", "url": "https://mistral.ai" }, { "@type": "Organization", "name": "Alibaba", "url": "https://www.alibaba.com" }, { "@type": "Organization", "name": "DeepSeek", "url": "https://www.deepseek.com" }, { "@type": "Organization", "name": "NVIDIA", "url": "https://www.nvidia.com" }, { "@type": "Organization", "name": "HuggingFace", "url": "https://huggingface.co" }, { "@type": "Organization", "name": "UC Berkeley Sky Computing Lab", "url": "https://sky.cs.berkeley.edu" }, { "@type": "Organization", "name": "City Network", "url": "https://www.citynetwork.se" }, { "@type": "Organization", "name": "Elastx", "url": "https://elastx.se" }, { "@type": "Organization", "name": "Glesys", "url": "https://glesys.se" }, { "@type": "Organization", "name": "Iver", "url": "https://www.iver.se" }, { "@type": "Organization", "name": "Bahnhof", "url": "https://www.bahnhof.se" }, { "@type": "Organization", "name": "Vinnova", "url": "https://www.vinnova.se" }, { "@type": "Organization", "name": "AI Sweden", "url": "https://www.ai.se" }, { "@type": "Organization", "name": "KTH", "url": "https://www.kth.se" }, { "@type": "Organization", "name": "Chalmers", "url": "https://www.chalmers.se" }, { "@type": "Organization", "name": "Linköpings universitet", "url": "https://liu.se" }, { "@type": "Organization", "name": "Integritetsskyddsmyndigheten", "url": "https://www.imy.se" }, { "@type": "Product", "name": "Llama 3.3", "url": "https://ai.meta.com/llama/" }, { "@type": "Product", "name": "Mixtral 8x22B", "url": "https://mistral.ai/news/mixtral-8x22b/" }, { "@type": "Product", "name": "Qwen 2.5", "url": "https://qwenlm.github.io/" }, { "@type": "Product", "name": "DeepSeek-V3", "url": "https://www.deepseek.com/" }, { "@type": "Product", "name": "vLLM", "url": "https://docs.vllm.ai/" }, { "@type": "Product", "name": "Text Generation Inference", "url": "https://huggingface.co/docs/text-generation-inference" }, { "@type": "Product", "name": "Ollama", "url": "https://ollama.com/" }, { "@type": "Product", "name": "LMDeploy", "url": "https://github.com/InternLM/lmdeploy" }, { "@type": "Product", "name": "NVIDIA H100", "url": "https://www.nvidia.com/en-us/data-center/h100/" }, { "@type": "Product", "name": "NVIDIA H200", "url": "https://www.nvidia.com/en-us/data-center/h200/" }, { "@type": "Product", "name": "NVIDIA L40S", "url": "https://www.nvidia.com/en-us/data-center/l40s/" }, { "@type": "Product", "name": "Kubernetes", "url": "https://kubernetes.io" }, { "@type": "Product", "name": "KServe", "url": "https://kserve.github.io/website/" }, { "@type": "Product", "name": "Langfuse", "url": "https://langfuse.com" }, { "@type": "Place", "name": "Stockholm", "url": "https://www.wikidata.org/wiki/Q1754" }, { "@type": "Person", "name": "Linus Ingemarsson", "url": "https://www.linkedin.com/in/linus-ingemarsson/" }, { "@type": "Person", "name": "Eric Lundberg", "url": "https://www.linkedin.com/in/eric-lundberg-3530451bb/" } ], "hasPart": [ { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "När behöver svenska företag on-premise LLM 2026?", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#nar-on-premise", "description": "Sju triggers gör on-premise rätt val 2026: (1) sekretessomfattad data enligt Sekretesslagen eller Säkerhetsskyddslagen, (2) Cloud Act-exponering oacceptabel, (3) Schrems III-osäkerhet kring US-transfers, (4) hög volym över 5M tokens/dag, (5) latenskrav under 50 ms, (6) full audit-kontroll krävd av Finansinspektionen eller sektorsspecifik reglering, (7) IP-känsligt scenario där modellvikter inte får lämna organisationen." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Modellval 2026: Llama 3.3, Mixtral 8x22B, Qwen 2.5, DeepSeek-V3", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#modellval-2026", "description": "Fyra open-weights-modeller dominerar svensk self-host 2026. Llama 3.3 70B (Meta Community License) är default. Mixtral 8x22B (Apache 2.0) för sparse MoE-throughput och permissiv licens. Qwen 2.5 72B (Apache 2.0) för kodtunga workloads och multi-language. DeepSeek-V3 671B (custom license) för frontier-nivå kvalitet till bråkdel av OpenAI-kostnad. Val drivs av licens, use-case och GPU-budget." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "GPU-krav: H100, H200, A100, L40S för olika modellstorlekar", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#gpu-krav", "description": "Llama 3.3 70B FP16 kräver 140 GB VRAM = 2x H100 80GB per instans, 8x H100 för produktions-throughput. Mixtral 8x22B FP16 kräver 280 GB = 4x H100. Med int8-quantization halveras behovet: 70B fits på 1x H100 eller 2x L40S. DeepSeek-V3 kräver 8x H200 för FP8. A100 är fortfarande kostnadseffektivt för utveckling. L40S är budget-alternativ för lägre throughput." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Quantization: int8, int4, GPTQ, AWQ, GGUF", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#quantization", "description": "Quantization sänker VRAM-behov och ökar throughput mot marginell kvalitetsförlust. int8 (BitsAndBytes eller GPTQ) halverar VRAM med under 2 procents förlust på benchmarks. int4 (AWQ eller GGUF-Q4) sänker till 25 procent VRAM med 3 till 8 procents förlust. FP8 (Marlin) på H100/H200 kombinerar bra kvalitet med hastighet. Fine-tuning bör göras före quantization för bäst resultat." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Serving-stack: vLLM, TGI, Ollama, LMDeploy", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#serving-stack", "description": "vLLM (UC Berkeley) är produktions-serving-standard 2026 med PagedAttention, continuous batching, tensor parallel, prefix caching. Text Generation Inference (TGI, HuggingFace) är näst största val, bra observability. Ollama är utvecklarvänligt (llama.cpp-baserat) men inte produktionsklassat för hög QPS. LMDeploy från Shanghai AI Lab har bra Kina-modell-support. NVIDIA Triton med TensorRT-LLM för max-latens-kritiska scenarier." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Fine-tuning för svenskt affärsspråk: LoRA, QLoRA, DPO", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#fine-tuning-svenska", "description": "LoRA (Low-Rank Adaptation) tränar små adapter-matriser istället för hela modellen. QLoRA gör samma sak på 4-bit-quantized bas. 500 till 5 000 träningsexempel räcker för de flesta svenska enterprise-use-cases. DPO (Direct Preference Optimization) adderas efter LoRA för preferens-alignment. Träning tar timmar (LoRA) till dagar (full fine-tuning) på 4-8 H100. Ekonomi: LoRA ger 90 procent av full fine-tuning-kvalitet till 5 procent av kostnaden." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Deployment: svensk sovereign cloud vs bare-metal vs hyperscaler-tenant", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#deployment-svensk-infra", "description": "Tre deploy-alternativ: (1) svensk sovereign cloud GPU (City Network, Elastx, Glesys) för sovereign kombinerad med snabb time-to-value, premium 30-100%. (2) Bare-metal i eget datacenter för max kontroll och lägst löpande kostnad efter CapEx-amortering. (3) Hyperscaler dedicated (Azure ND-series i Sweden Central, AWS EC2 P5 i Frankfurt) som mellanting. Val drivs av data-känslighet, tidshorisont och intern kompetens." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "TCO-modellering i SEK: CapEx bare-metal vs OpEx cloud", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#tco-sek", "description": "Bare-metal 8x H100-nod svensk mid-market: 3-4 MSEK CapEx plus 400-800 kSEK/år drift (personal, el, support). 3-års-TCO: 4,5-6,5 MSEK. Svensk sovereign cloud 8x H100-tenant: 1,2-1,8 MSEK/år. 3-års-TCO: 3,6-5,4 MSEK. Hyperscaler dedicated H100: 1,5-2,5 MSEK/år. 3-års-TCO: 4,5-7,5 MSEK. Break-even bare-metal vs sovereign cloud: månad 24-30 för mid-market." }, { "@type": "WebPageElement", "isAccessibleForFree": true, "name": "Alice Labs fem vanligaste anti-patterns i svenska self-host-projekt", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#anti-patterns", "description": "Fem vanligaste self-host-anti-patterns 2026: (1) välja on-premise utan tydlig sovereignty- eller volym-trigger, (2) underskatta MLOps-personalbehov (minst 2 heltider), (3) hoppa quantization och köra FP16 i produktion trots ingen kvalitetsvinst, (4) välja Ollama för produktion (utvecklarverktyg, ej production-grade), (5) fine-tuna på quantized bas istället för FP16." } ], "speakable": { "@type": "SpeakableSpecification", "cssSelector": [ "[data-speakable='true']", "[data-snippet='true']", "[data-section-answer='true']", ".quick-answer", "h1" ] } }, { "@type": "BreadcrumbList", "@id": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#breadcrumb", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "Hem", "item": "https://alicelabs.ai/sv" }, { "@type": "ListItem", "position": 2, "name": "Insights", "item": "https://alicelabs.ai/sv/insights" }, { "@type": "ListItem", "position": 3, "name": "ai-tools", "item": "https://alicelabs.ai/sv/insights/ai-tools" }, { "@type": "ListItem", "position": 4, "name": "On-premise LLM för svenska företag: guide 2026", "item": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska" } ] }, { "@type": "Person", "@id": "https://alicelabs.ai/#eric", "name": "Eric Lundberg", "jobTitle": "Co-Founder", "worksFor": { "@id": "https://alicelabs.ai/#organization" }, "knowsAbout": [ { "@type": "DefinedTerm", "name": "AI automation", "url": "https://www.wikidata.org/wiki/Q1322483" }, { "@type": "DefinedTerm", "name": "Workflow automation", "url": "https://www.wikidata.org/wiki/Q120427660" }, { "@type": "DefinedTerm", "name": "Retrieval-Augmented Generation", "url": "https://www.wikidata.org/wiki/Q117761563" }, { "@type": "DefinedTerm", "name": "Enterprise AI implementation" } ], "sameAs": [ "https://www.linkedin.com/in/eric-lundberg-3530451bb/", "https://www.wikidata.org/wiki/Q140369978" ] }, { "@type": "Person", "@id": "https://alicelabs.ai/#linus", "name": "Linus Ingemarsson", "jobTitle": "CEO & Co-Founder", "worksFor": { "@id": "https://alicelabs.ai/#organization" }, "knowsAbout": [ { "@type": "DefinedTerm", "name": "AI agent orchestration", "url": "https://www.wikidata.org/wiki/Q98678395" }, { "@type": "DefinedTerm", "name": "AI strategy" }, { "@type": "DefinedTerm", "name": "AI search optimization (LLMO)" }, { "@type": "DefinedTerm", "name": "Enterprise AI strategy" }, { "@type": "DefinedTerm", "name": "AI consulting leadership" } ], "sameAs": [ "https://www.linkedin.com/in/linus-ingemarsson/", "https://www.wikidata.org/wiki/Q140369914" ] }, { "@type": "FAQPage", "mainEntity": [ { "@type": "Question", "name": "När behöver vi köra LLM on-premise som svenskt företag 2026?", "acceptedAnswer": { "@type": "Answer", "text": "När data är sekretessomfattad enligt Sekretesslagen/Säkerhetsskyddslagen, när Cloud Act-exponering är oacceptabel, när volymen är hög (över 5M tokens/dag), när latens-krav är under 50 ms, när Finansinspektionen eller sektorsspecifik reglering kräver full audit-kontroll, eller när fine-tunade modeller innehåller känslig IP. Om ingen av dessa triggers gäller: välj hyperscaler eller EU-hostad LLM." } }, { "@type": "Question", "name": "Vilken open-source-modell ska vi köra: Llama, Mixtral, Qwen eller DeepSeek?", "acceptedAnswer": { "@type": "Answer", "text": "Default 2026: Llama 3.3 70B för general enterprise-chat och RAG. Mixtral 8x22B när Apache 2.0-licens behövs eller för hög throughput. Qwen 2.5 72B för kodtunga workloads och multi-language. DeepSeek-V3 för frontier-nivå kvalitet vid högre GPU-kostnad. Alice Labs default: Llama 3.3 70B med LoRA för svensk domän." } }, { "@type": "Question", "name": "Hur mycket GPU behövs för att köra Llama 3.3 70B i produktion?", "acceptedAnswer": { "@type": "Answer", "text": "FP16 kräver 140 GB VRAM = 2x H100 80GB per instans. För produktions-throughput med 200 samtidiga requests: 8x H100 i en nod med vLLM tensor parallel. Med int8-quantization räcker 1x H100 eller 2x L40S per instans. För mindre volym: 4x L40S 48GB. Praktiskt: mid-market 5-10M tokens/dag = 8x H100." } }, { "@type": "Question", "name": "Vad är skillnaden mellan int8 och int4 quantization?", "acceptedAnswer": { "@type": "Answer", "text": "int8 halverar VRAM med under 2 procents kvalitetsförlust på benchmarks. int4 sänker till 25 procent av FP16 med 3 till 8 procents förlust. int8 är default för produktion, int4 för edge eller mycket kostnadskänsliga scenarier. FP8 på H100/H200 kombinerar nästan noll förlust med 2x throughput jämfört med FP16." } }, { "@type": "Question", "name": "vLLM eller TGI eller Ollama för produktion?", "acceptedAnswer": { "@type": "Answer", "text": "vLLM är Alice Labs default: PagedAttention plus continuous batching plus tensor parallel plus prefix caching. TGI (HuggingFace) är näst största val med bra observability inbyggt. Ollama är utvecklarvänligt men INTE produktionsklassat för hög QPS. LMDeploy för Kina-modeller. Triton med TensorRT-LLM för max latens." } }, { "@type": "Question", "name": "Hur fine-tunar vi Llama för svenskt affärsspråk?", "acceptedAnswer": { "@type": "Answer", "text": "LoRA med 500 till 5 000 domän-exempel räcker för de flesta enterprise-use-cases. Träning 4 till 24 timmar på 4x H100. Alpha 16-32, rank 8-16. DPO efter LoRA för preferens-alignment om ni har par av bra/dåliga svar. Full fine-tuning sällan motiverad. Fine-tuna alltid på FP16 innan quantization för bäst kvalitet." } }, { "@type": "Question", "name": "Vad kostar self-hosted LLM i svensk mid-market per år?", "acceptedAnswer": { "@type": "Answer", "text": "Bare-metal 8x H100-nod: 3-4 MSEK CapEx plus 400-800 kSEK/år drift = 4,5-6,5 MSEK 3-års-TCO. Svensk sovereign cloud 8x H100-tenant: 1,2-1,8 MSEK/år = 3,6-5,4 MSEK 3-års-TCO. Hyperscaler dedicated H100: 1,5-2,5 MSEK/år = 4,5-7,5 MSEK. Alla siffror för Llama 3.3 70B, ~200 samtidiga requests, 5-10M tokens/dag." } }, { "@type": "Question", "name": "Kan vi hosta LLM hos svenska sovereign cloud-leverantörer?", "acceptedAnswer": { "@type": "Answer", "text": "Ja. City Network (Karlskrona), Elastx (Stockholm), Glesys (Falkenberg) och Iver (tidigare EvroCloud) erbjuder H100- och L40S-instanser med svensk jurisdiktion. Bahnhof kan hosta private cloud. Premium 30 till 100 procent över hyperscaler-listpris. Rätt val för sekretessomfattad data där sovereignty är kärnkrav." } }, { "@type": "Question", "name": "Hur skalar vi self-hosted LLM för hög throughput?", "acceptedAnswer": { "@type": "Answer", "text": "Horisontell skalning: flera 8x H100-noder med load balancer, prefix caching för RAG-workloads, KV-cache-sharing där möjligt. vLLM stöder tensor parallel inom nod plus pipeline parallel över noder. Autoscaling via Kubernetes HPA baserat på queue depth och GPU utilization. Alice Labs använder Kubernetes plus KServe plus Istio som standard." } }, { "@type": "Question", "name": "Hur observerar och monitorerar vi self-hosted LLM i produktion?", "acceptedAnswer": { "@type": "Answer", "text": "Fyra mätdimensioner: (1) throughput/latency via Prometheus plus Grafana, (2) LLM-observability via Langfuse eller Braintrust (traces, cost per user, eval-scores), (3) GPU utilization via DCGM Exporter, (4) safety-metrics via egen eval-pipeline i CI. Diagnostic Settings till central log-collector med minst 400 dagars retention för regulated industries." } }, { "@type": "Question", "name": "Vilka MLOps-verktyg använder Alice Labs för self-hosted LLM?", "acceptedAnswer": { "@type": "Answer", "text": "Kubernetes plus KServe för orchestration, vLLM 0.7+ för serving, Argo Workflows för fine-tuning-jobb, MLflow för experiment-tracking, Langfuse för LLM-observability, Prometheus plus Grafana för metrics, Istio för service mesh, Cilium för network policy, Trivy för container-security-scan. Terraform plus ArgoCD för GitOps." } }, { "@type": "Question", "name": "Vem är Alice Labs och vad har ni levererat inom self-hosted LLM?", "acceptedAnswer": { "@type": "Answer", "text": "Alice Labs är en Stockholm-baserad AI-konsult grundad 2023 av Linus Ingemarsson (VD och medgrundare) och Eric Lundberg (medgrundare). Vi har levererat 100+ produktionsimplementationer sedan 2023 inom bank, försäkring, life sciences, offentlig sektor, retail och industri, med djup expertis inom self-hosted Llama, Mixtral, Qwen, DeepSeek, vLLM, TGI och svensk GPU-infrastruktur." } } ] }, { "@context": "https://schema.org", "@type": "Dataset", "name": "On-premise LLM för svenska företag: komplett implementations-guide 2026", "description": "On-premise LLM för svenska företag 2026: när det behövs, val av modell (Llama, Mixtral, Qwen), GPU-krav, quantization, vLLM och kostnad i SEK.", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska", "datePublished": "2026-09-19", "dateModified": "2026-09-17", "creator": { "@type": "Organization", "name": "Alice Labs", "url": "https://alicelabs.ai" }, "license": "https://creativecommons.org/licenses/by/4.0/", "isAccessibleForFree": true, "keywords": [ "on premise llm sverige", "self hosted llm svenska", "lokal llm företag", "llama on premise svenska", "mixtral sverige", "self hosted qwen", "vllm sverige", "gpu h100 llm", "ollama enterprise", "self hosted llm gdpr" ] }, { "@context": "https://schema.org", "@type": "ItemList", "name": "Related articles", "itemListElement": [ { "@type": "ListItem", "position": 1, "url": "https://alicelabs.ai/sv/insights/enterprise-llm-datasuveranitet-sverige", "name": "Enterprise LLM och datasuveränitet i Sverige 2026" }, { "@type": "ListItem", "position": 2, "url": "https://alicelabs.ai/sv/insights/azure-openai-sverige-region", "name": "Azure OpenAI i Sverige Central: guide 2026" }, { "@type": "ListItem", "position": 3, "url": "https://alicelabs.ai/sv/insights/svenska-ai-verktyg-2026", "name": "Bästa svenska AI-verktyg 2026" }, { "@type": "ListItem", "position": 4, "url": "https://alicelabs.ai/sv/insights/ai-agent-guide", "name": "AI-agenter: Komplett guide för svenska företag 2026" } ] }, { "@context": "https://schema.org", "@type": "ItemList", "name": "Table of Contents", "numberOfItems": 9, "itemListOrder": "https://schema.org/ItemListOrderAscending", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "När behöver svenska företag on-premise LLM 2026?", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#nar-on-premise" }, { "@type": "ListItem", "position": 2, "name": "Modellval 2026: Llama 3.3, Mixtral 8x22B, Qwen 2.5, DeepSeek-V3", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#modellval-2026" }, { "@type": "ListItem", "position": 3, "name": "GPU-krav: H100, H200, A100, L40S för olika modellstorlekar", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#gpu-krav" }, { "@type": "ListItem", "position": 4, "name": "Quantization: int8, int4, GPTQ, AWQ, GGUF", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#quantization" }, { "@type": "ListItem", "position": 5, "name": "Serving-stack: vLLM, TGI, Ollama, LMDeploy", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#serving-stack" }, { "@type": "ListItem", "position": 6, "name": "Fine-tuning för svenskt affärsspråk: LoRA, QLoRA, DPO", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#fine-tuning-svenska" }, { "@type": "ListItem", "position": 7, "name": "Deployment: svensk sovereign cloud vs bare-metal vs hyperscaler-tenant", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#deployment-svensk-infra" }, { "@type": "ListItem", "position": 8, "name": "TCO-modellering i SEK: CapEx bare-metal vs OpEx cloud", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#tco-sek" }, { "@type": "ListItem", "position": 9, "name": "Alice Labs fem vanligaste anti-patterns i svenska self-host-projekt", "url": "https://alicelabs.ai/sv/insights/on-premise-llm-svenska#anti-patterns" } ] } ] }, { "@context": "https://schema.org", "@type": "BreadcrumbList", "itemListElement": [ { "@type": "ListItem", "position": 1, "name": "Hem", "item": "https://alicelabs.ai/" }, { "@type": "ListItem", "position": 2, "name": "Insikter", "item": "https://alicelabs.ai/sv/insights" }, { "@type": "ListItem", "position": 3, "name": "AI Tools & Technology", "item": "https://alicelabs.ai/sv/insights/ai-tools" }, { "@type": "ListItem", "position": 4, "name": "On-premise LLM för svenska företag: komplett implementations-guide 2026" } ] } ] ```