Kunstig intelligens på din egen computer: Sådan kører du AI lokalt

De fleste kender AI-assistenter som tjenester i browseren: Du skriver, teksten sendes til et datacenter, og svaret kommer tilbage. Men der findes et voksende udvalg af såkaldte open-weight-sprogmodeller, som du kan downloade og køre helt på din egen maskine. Ingen abonnement, ingen internetforbindelse og ingen data, der forlader huset.

Hvorfor køre AI lokalt?

• Privatliv. Dokumenter, kundedata og personlige noter bliver på din egen disk.
• Offline. Modellen virker i toget, i sommerhuset og når nettet er nede.
• Ingen løbende udgift. Når hardwaren er betalt, koster det kun strøm.
• Frihed til at eksperimentere. Du kan prøve forskellige modeller, justere dem og bygge dem ind i egne værktøjer.

Prisen er, at de modeller, en almindelig computer kan trække, er mindre end de største cloudmodeller. De er gode til opsummering, omskrivning, simpel kode og spørgsmål om dine egne dokumenter – men de ræsonnerer typisk ikke lige så skarpt på svære opgaver.

Hukommelse er alt

Den vigtigste faktor er ikke processoren, men hvor meget hukommelse grafikkortet (eller systemet) har. Hele modellen skal ligge i hukommelsen, mens den kører.

Modeller beskrives med deres antal parametre, fx 8B (8 milliarder). Med kvantisering pakkes hver parameter ned til omkring 4 bit, så modellen fylder langt mindre uden at miste meget kvalitet. En tommelfingerregel:

Modelstørrelse	Ca. hukommelse ved 4-bit	Typisk hardware
3–4B	3–4 GB	De fleste nyere bærbare
7–9B	5–7 GB	Grafikkort med 8 GB, Mac med 16 GB
12–14B	8–10 GB	Grafikkort med 12–16 GB
27–32B	18–22 GB	Grafikkort med 24 GB, Mac med 32 GB+
70B	40–45 GB	Mac med 64 GB+ eller flere grafikkort

Læg et par gigabyte oveni til samtalens "hukommelse" (konteksten), som vokser, jo længere dokumenter du arbejder med.

Mac eller pc?

Mac med Apple Silicon har en særlig fordel: Processor og grafikdel deler den samme hukommelse. En Mac med 32 eller 64 GB kan derfor køre modeller, som ellers ville kræve et meget dyrt grafikkort.

Pc med Nvidia-grafikkort er typisk hurtigere pr. krone, så længe modellen kan være i grafikkortets hukommelse. Ryger den ud over kanten, falder hastigheden dramatisk.

Programmerne

Du behøver ikke være programmør. Tre populære værktøjer:

• LM Studio – et grafisk program til Windows, Mac og Linux. Søg efter en model, klik download, og chat løs. Det nemmeste sted at starte.
• Ollama – kører i baggrunden og styres fra terminalen eller af andre programmer. Populært blandt udviklere, fordi mange værktøjer kan tale med det.
• llama.cpp – motoren under motorhjelmen i mange andre programmer. Til dig, der vil have fuld kontrol.

Med Ollama installeret er det fx så enkelt som:

ollama run llama3.1:8b

Hvilken model skal du vælge?

Udvalget skifter hurtigt, men de store familier kommer fra bl.a. Meta (Llama), Mistral, Google (Gemma) og Alibaba (Qwen). Gode råd:

1. Start småt. Prøv en model omkring 7–9B. Er den for langsom, går du ned; er den hurtig, kan du prøve en større.
2. Tjek sproget. Ikke alle modeller er lige gode til dansk. Test med dine egne typiske opgaver.
3. Læs licensen. "Open-weight" betyder ikke altid fri brug. Nogle licenser har begrænsninger for kommerciel anvendelse.

Strøm og varme

En lokal model trækker hårdt på grafikkortet eller chippen, mens den svarer. En stationær pc med et kraftigt grafikkort kan bruge flere hundrede watt under belastning, mens en Mac typisk bruger langt mindre. Til lejlighedsvis brug er det ubetydeligt, men kører du modellen døgnet rundt som en lille server, kan det mærkes på elregningen – se også vores artikel om strømforbrug i hjemmet.

Konklusion

Lokal AI er gået fra nørdeprojekt til noget, de fleste med en nyere computer kan prøve på en eftermiddag. Det erstatter ikke de største cloudmodeller til de sværeste opgaver, men til private dokumenter, skriveopgaver og eksperimenter er det et stærkt værktøj – og det er dit eget.