Klumme · Cloudless agenter
Vi bygger AI-agenter, der kører på en maskine hos jer — ikke i en cloudtjeneste. Det er ikke en teknisk finte. Det er et andet svar på spørgsmålet om, hvem der egentlig har adgang til jeres data.
Af Lasse Veirum Larsen, HumAIn Labs · Hobro
De fleste AI-løsninger, man møder i dag, er en tynd app foran en fjern tjeneste. Man skriver noget, det bliver sendt af sted, en model svarer, og svaret kommer tilbage. Det virker upåklageligt — indtil forbindelsen forsvinder, abonnementet skifter pris, eller nogen spørger, præcis hvor data ligger henne.
Vi har valgt den anden vej. Agenterne kører på en maskine, der står i huset. Modellen ligger som en fil på disken. Dokumenterne, værktøjerne, logfilerne og beslutningerne bliver samme sted. Der går intet kald ud over netværket, fordi der ikke er noget at kalde: alt det, agenten skal bruge, har den allerede lokalt.
En sprogmodel af den størrelse, der kan ligge på et almindeligt grafikkort eller en lille arbejdsstation — typisk mellem otte og halvfjerds milliarder parametre — kombineret med det, der gør en model til en agent: et sæt værktøjer, en arbejdsgang, en log, og nogle steder i flowet hvor et menneske skal sige god for næste skridt.
Det er den samme arkitektur som i skyen. Det er bare placeringen, der er anderledes. Et typisk setup hos en kunde fylder en maskine under skrivebordet, trækker omkring 200–400 watt under last, og kan arbejde videre, når telefonen ikke har dækning, fabrikkens net er nede, eller nogen roder med routeren i weekenden.
Vi bruger selv det, vi sælger. Vores egen drift kører på lokale modeller: agenter der læser og sorterer dokumenter, skriver referater, holder styr på opgaver, overvåger arbejdsgange og spørger om lov, når en handling er følsom.
Vi starter ikke med en teknologi, men med en opgave. Forløbet plejer at se sådan ud:
Det er ikke magi, og det er ikke gratis. En lokal model er ikke den største model. Meget bred verdensviden og de sværeste sprogopgaver klarer de store cloudmodeller stadig bedre, og der findes opgaver, hvor det er den rigtige løsning at sende data af sted. Lokalt kræver hardware med nok hukommelse, og det kræver nogen, der vedligeholder den.
Vi siger det, når det er tilfældet. En agent, der kører lokalt, er ikke automatisk sikker — den er kun sikker, hvis nogen har sat grænser for, hvad den må røre, og kontrolleret at grænserne holder. Det arbejde er ikke noget, man køber sig fra med en model.
Cloudless betyder ikke gammeldags. Det betyder, at AI'en kan være i drift uden at data forlader huset, og uden at nogen kan lukke for den med en prisstigning eller en udfaldet API. Spørgsmålet er ikke længere, om AI'en må se jeres data. Det er, om den behøver at tage dem med sig.
Vil du se det køre i stedet for at læse om det? Vi stiller gerne en maskine op hos jer og løser en rigtig opgave på den.
Fortæl os om rutinen — vi siger til, hvis den ikke egner sig.