Forskare från Microsoft Azure och University of Texas at Austin har mätt vad som faktiskt händer inuti ett agentbaserat AI-system. Resultatet: en enda arbetsuppgift blåstes upp till över 580 anrop till språkmodellen och 552 verktygsstarter. Dagens AI-servrar, byggda för att mata grafikkort med stora modellberäkningar, är inte konstruerade för det mönstret. Det här spelar roll för dig som funderar på att låta AI-agenter sköta bokföringsflöden, kundtjänst eller offerthantering i ditt bolag, eftersom kostnaden och svarstiden inte alls beter sig som du kanske räknat med.
Skillnaden mot en vanlig chattbot är strukturell, inte gradvis
En vanlig AI-tjänst tar emot en fråga, kör en beräkning på grafikprocessorn och skickar tillbaka ett svar. En agent gör något helt annat. Den planerar, anropar modellen, startar ett verktyg, läser resultatet, planerar om, anropar modellen igen. Och igen.
Forskarna använde produktionsdata från Microsofts molnplattform Azure tillsammans med experiment på öppna agentramverk. Det de såg var att exekveringen studsade hundratals gånger mellan processor och grafikprocessor under ett och samma uppdrag. Orkestreringen, alltså logiken som håller ihop stegen, körs på CPU:n. Själva modellinferensen körs på GPU:n. Varje gång arbetet byter plats uppstår väntan.
580 anrop till språkmodellen och 552 verktygsstarter, från en enda arbetsbelastning.
Konkret innebär det att den dyra hårdvaran står och rullar tummarna. Grafikkorten väntar på att processorn ska bli klar med samordningen och sedan träffas de av en våg av beräkningar på en gång. Ojämn belastning på båda sidor. Värdprocessorn hamnar på den kritiska vägen, vilket är precis motsatsen till hur AI-servrar har marknadsförts de senaste åren.
Agora-arkitekturen frigjorde en tredjedel av GPU-kapaciteten
Forskarna föreslår en annan modell, kallad Agora, som fördelar resurser dynamiskt efter hur arbetsbelastningen faktiskt ser ut i stunden i stället för att låsa dem i förväg. Siffrorna från deras tester: CPU-utnyttjandet steg med omkring 30 procent och genereringskapaciteten ökade 82 procent. Ungefär en tredjedel av GPU-resurserna frigjordes. Forskningsrapporten beskriver metoden i detalj.
Det är stora tal men de säger något enkelt: mycket av dagens kapacitetsbrist handlar inte om att det saknas grafikkort, den handlar om att korten används fel.
Latenskravet under 500 millisekunder är det som knäcker affärsnyttan
För branscher där svarstid är en del av produkten ligger tröskeln runt en halv sekund. Multiagent-flöden hamnar regelmässigt över den gränsen, eftersom varje extra steg i kedjan lägger på fördröjning.
Har du en AI-agent som ska svara en kund i chatten medan personen sitter kvar eller ett system som ska godkänna en transaktion i realtid, blir det här mätbart. Fem sekunders svarstid får kunden att lämna sidan. För ett bolag inom tillverkning eller handel med tidskritiska processer är det skillnaden mellan en funktion som används och en som tyst kopplas bort efter tre veckor.
Prognoserna pekar mot att tre fjärdedelar av all företagsdata år 2027 skapas och behandlas i nätverkskanten, alltså nära användaren i stället för i ett centralt datacenter. Drivkraften är just latens, tillsammans med datasuveränitet och energibegränsningar. Det svenska perspektivet på det sista är inte trivialt: elpriser och nätanslutning har redan blivit en planeringsfaktor för den som bygger serverkapacitet i landet.
En svensk småföretagare behöver inte köpa servrar men bör ställa tre frågor till leverantören
Ingenting akut. Du behöver inte köpa servrar.
Men om du står inför att teckna ett avtal för agentbaserad AI eller om en leverantör lovar dig ett automatiserat flöde med flera steg, finns tre saker värda att fråga om. Hur prissätts anropen? Ett flöde som ser ut som en fråga i användargränssnittet kan vara femhundra anrop i backend och betalar du per token blir kalkylen en annan än demot antydde. Vilken svarstid garanteras i skarpt läge, inte i pilotmiljön? Och var körs beräkningen rent geografiskt, vilket har betydelse både för fördröjning och för hur du hanterar personuppgifter.
Kostnadsbilden för AI-agenter är alltså inte stabil ännu. Den ligger i händerna på hur snabbt molnleverantörerna bygger om sin infrastruktur. Går forskningen från Azure och University of Texas at Austin vägen in i produktion kan samma hårdvara leverera betydligt mer, vilket normalt sett pressar priserna nedåt. Det talar för att skriva korta avtal snarare än treåriga bindningstider på AI-tjänster just den här perioden.
För dig som bygger verksamheten kring AI från grunden är slutsatsen mer direkt: infrastrukturen under dina verktyg är fortfarande under omkonstruktion. Räkna med att det du bygger i dag behöver justeras. Och lägg in kostnaden för det i din likviditetsbudget innan den överraskar dig i ett kvartal när kassan är tunn.
FAQ
Betyder det här att AI-agenter är för dyra för småföretag?
Nej men prismodellen är svårare att förutse än för vanliga AI-verktyg. Be leverantören visa faktiskt antal anrop per genomförd uppgift, inte bara ett månadspris.
Behöver jag egen hårdvara för att köra AI-agenter?
För de allra flesta mindre bolag är svaret nej. Frågan om serverarkitektur är i praktiken molnleverantörernas problem men den påverkar dig indirekt genom pris och svarstider.
Varför blir det så många anrop av en enda uppgift?
En agent arbetar iterativt. Den formulerar en plan, testar ett steg, läser resultatet och omprövar. Varje sådant varv innebär minst ett nytt anrop till språkmodellen och komplexa uppgifter innehåller hundratals varv. Det som ser ut som ett kommando för användaren är alltså en lång kedja av småbeslut i systemet.
Magnus Bergström
Magnus Bergström är nyhetsredaktör på alltomforetagande.se. Ekonomijournalist med journalistexamen från JMG vid Göteborgs universitet. Tolv års erfarenhet av rapportering från svenska SME-bolag, kapitalmarknad och konjunkturläget, bland annat åtta år på en ledande ekonomidagstidning. Bevakar löpande skatteregler, bidragsändringar, politiska beslut och branschtrender som påverkar svenska företag.
