Mäta AI-effekt: baslinje, mätpunkter och attribution

Sexton erfarna utvecklare fick arbeta med AI-verktyg i en randomiserad studie hos forskningsorganisationen METR under 2025. Efteråt uppskattade de att verktygen gjort dem ungefär 20 procent snabbare. Mätningen visade motsatsen: de hade blivit 19 procent långsammare.

Studien är liten, gäller ett specialfall och METR har själva markerat resultatet som en ögonblicksbild, med senare uppföljningar som pekar åt andra hållet. Men den illustrerar det problem den här artikeln handlar om bättre än någon framgångssiffra: upplevd effekt och uppmätt effekt är två olika saker, och de kan peka åt varsitt håll.

De flesta företag mäter aldrig. AI Swedens genomgång av svenska AI-satsningar konstaterar att en majoritet av organisationerna inte utvärderar sina initiativ löpande. Man inför, man tycker att det känns bättre, och vid årsskiftet försöker någon rekonstruera vad det gav. Vi har skrivit om hur en ROI-kalkyl byggs före beslutet. Det här är fortsättningen: hur ni tar reda på om kalkylen höll.

Att mäta AI-effekt är att jämföra flödets utfall efter driftsättning mot en baslinje mätt före, på ett fåtal förutbestämda mätpunkter, så att förändringen kan skiljas från allt annat som påverkar verksamheten samtidigt.

Varför är baslinjen det viktigaste beslutet?

Allt börjar med en obekväm sanning: efter driftsättningen är det för sent. Finns ingen mätning av hur flödet presterade före, finns inget att jämföra mot, och varje effektsiffra blir en uppskattning byggd på minnen. Mät därför det befintliga flödet i fyra till åtta veckor innan lösningen slås på: handläggningstid per ärende, volym, andel fel eller omarbetningar, och kostnad.

Baslinjemätningen brukar dessutom överraska i sig. Flöden som "alla vet" tar en kvart visar sig ta fyrtio minuter med avbrott inräknade, och volymerna skiljer sig från magkänslan. Det är samma insikt som driver processkartläggning inför AI: verkligheten avviker från bilden av den, och det är verkligheten ni ska förbättra.

Utan baslinje före driftsättning går AI-effekt inte att mäta, bara att tycka. Fyra till åtta veckors mätning av det befintliga flödet är priset för ett svar som håller.

Vilka mätpunkter räcker?

Färre än man tror, och hellre få som följs än många som glöms. Vi rekommenderar fyra kategorier, med en eller två mätpunkter i varje.

• Tid: handläggningstid per ärende eller genomloppstid för flödet. Den vanligaste och oftast största effekten.
• Kvalitet: felandel, omarbetningar, avvikelser mot facit där sådant finns. Fångar om snabbheten köpts till priset av slarv.
• Volym och kapacitet: hur mycket flödet hanterar med samma bemanning. Relevant när effekten tas ut i tillväxt i stället för sparad tid.
• Användning: hur stor andel av de tänkta användarna som faktiskt använder lösningen varje vecka. En lysande lösning som ingen använder ger noll effekt, och den här siffran avslöjar det inom en månad.

Den akademiska forskningen visar hur olika utfallet kan vara mellan grupper, vilket är ett skäl att bryta ner mätningen. I den stora fältstudien av Brynjolfsson, Li och Raymond, publicerad i Quarterly Journal of Economics 2025, ökade AI-stöd produktiviteten hos drygt 5 000 kundtjänstmedarbetare med i snitt 14 procent, men nästan hela lyftet kom hos de minst erfarna, medan de skickligaste knappt påverkades. Ett genomsnitt kan alltså dölja att lösningen hjälper en grupp och stör en annan.

Hur hanterar ni attributionsproblemet?

Så till den svåraste frågan: hur vet ni att det var AI:n? Under samma period som lösningen driftsattes kanske ni också bytte en medarbetare, ändrade en rutin eller gick in i lågsäsong. Förändringen i siffrorna är summan av alltihop.

Fullständig säkerhet kräver experiment, och det är sällan praktiskt i ett SME. Men tre enkla grepp tar er förvånansvärt långt. Driftsätt stegvis, för en ärendetyp eller ett team i taget, så att de andra fungerar som jämförelse under tiden. Håll mätperioderna jämförbara: jämför september mot september hellre än mot juli om säsongen spelar roll. Och skriv logg över allt annat som ändras i flödet under mätperioden, så att avvikelser kan förklaras i stället för bortförklaras. Ett typiskt upplägg för ett bolag med två handläggarteam: det ena teamet får lösningen i september, det andra i november, och mellanperioden ger er en naturlig jämförelse utan att någon behöver avstå länge. Google DORA:s utvecklarundersökning 2025 sammanfattar varför disciplinen behövs: nio av tio använder AI dagligen och de flesta upplever sig snabbare, men bara en fjärdedel litar helt på resultatet. Upplevelsen räcker inte som beslutsunderlag.

Ett praktiskt råd till sist: utse en ägare för mätningen innan driftsättningen, med ett stående datum i kalendern var fjärde vecka. Mätningar utan ägare dör efter två månader, av välvilja och tidsbrist snarare än beslut. Uppföljningen hör naturligt hemma i samma rutin som förvaltningen av lösningen, och för piloter gäller samma logik med kortare cykler: där är mätpunkterna själva exitkriterierna.

Vad gör ni med resultatet?

Räkna med tre möjliga utfall, och bestäm i förväg vad de leder till. Effekten är belagd: skala till fler ärendetyper eller team, och använd siffrorna i nästa budgetrunda. Effekten är svag men användningen hög: justera lösningen, ofta är det en flaskhals bredvid AI:n som begränsar. Användningen är låg: sluta felsöka tekniken och börja fråga människorna, för där sitter svaret.

Det minst användbara utfallet är ett medelvärde utan förklaring. Det mest användbara är en mening av typen "handläggningstiden för ärendetyp A föll 32 procent mot baslinjen, kvaliteten är oförändrad, och två av tre team använder verktyget varje dag". Den meningen går att agera på.

Vill ni veta vad er AI-satsning faktiskt gett?

Vi hjälper er sätta baslinje, välja mätpunkter och bygga uppföljningen in i vardagen, som en del av vår AI-strategi eller som fristående genomlysning av en lösning ni redan driftsatt. Boka ett samtal så tittar vi på era siffror. Kontoret ligger i Stockholm, men de flesta uppdragen sköts digitalt med företag runt om i landet.