Alternativer • Lokal LLM • RAG • Agenter

Hva kan du bruke i stedet for ChatGPT?

Når du har slettet ChatGPT er neste steg å velge en løsning som matcher behovet ditt: skybaserte modeller (som Claude), lokal LLM med LM Studio/Ollama, eller en hybrid. Under finner du en “meny” av oppsett og beste praksis.

Hvis du ikke har slettet ennå Gå rett til lokal LLM

Skybaserte alternativer: når det fortsatt gir mening

Claude (Anthropic)

Et vanlig alternativ for tekst og analyse. Passer ofte godt når du ønsker høy kvalitet uten lokalt oppsett.

ChatGPT (men med strengere rutiner)

Noen velger ikke å slette, men å stramme inn: unngå sensitive data, bruk prosjekt‑/team‑policy, og vurder hybrid.

Hybrid‑strategi

Hold interne dokumenter og data lokalt (RAG lokalt), og bruk sky for generelle spørsmål eller språk‑polish.

Lokalt: LM Studio (GUI + lokalt API)

LM Studio er et populært valg når du vil ha et grafisk grensesnitt: finn modell, last ned, og start en lokal server. Mange apper kan peke på et OpenAI‑kompatibelt API på din egen maskin.

  • Velg en modell som matcher CPU/GPU/VRAM.
  • Start “Local Server” for integrasjon i verktøy.
  • Test med små prompts og lag en enkel prompt‑mal.
Praktisk

Start med mindre modeller for stabil fart:

  • 7–8B for generell assistent
  • Egen kode‑modell hvis du primært programmerer
  • Evaluer med en fast testsuite (samme spørsmål hver gang)

Lokalt: Ollama (CLI + lokalt API)

Rask start

Kjør en modell i terminalen:

ollama run llama3

Enkelt API

Bruk lokalt API i apper og scripts (standard port 11434).

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Lag et kort svar på norsk."
}'

Guider på norsk

Dybdeguider: modellvalg, ytelse, RAG og agent‑oppsett på Ollama.no.

RAG på egne data: svar basert på dine dokumenter

RAG (Retrieval‑Augmented Generation) betyr at du henter relevant kontekst fra dine dokumenter før modellen svarer. For mange er dette den viktigste grunnen til å kjøre lokalt: kontekst og data kan bli værende hos deg.

  • Indekser dokumenter (PDF/Markdown/Notion‑eksport osv.).
  • Hent topp‑treff og send som kontekst.
  • Krev kildehenvisning og begrens “hallusinasjon”.
Beste praksis
  • Logg kilder og prompt‑maler.
  • Hold kontekst kort og relevant (chunking).
  • Evaluer med kjente spørsmål og forventede svar.

KI‑agenter: fra chat til arbeidsflyt

En agent er en LLM som får verktøy og oppgaver: lese filer, søke, kalle API‑er, skrive utkast, eller oppdatere systemer. Nøkkelen er kontroll: minst mulige rettigheter, tydelig logging og avgrensede handlinger.

  • Definér hva agenten kan og ikke kan gjøre.
  • Bruk “allow‑list” for verktøy og domener.
  • Legg inn menneskelig godkjenning for risikable steg.
Start enkelt

Bygg én liten agent først:

  • Oppgave: skriv sammendrag av en mappe med notater.
  • Verktøy: les filer, skriv rapport, ingen nett‑tilgang.
  • Output: fast format (Markdown/JSON).

Lokalt kreativt: ComfyUI for bilder og workflows

Hvis du også vil “slutte med sky” for bildemodeller, er ComfyUI et vanlig valg for lokale workflows (Stable Diffusion‑økosystemet, noder, pipelines, kontrollnet osv.).

Norsk hub og guider: ComfyUI.no.

Tips
  • Hold modeller og checkpoints organisert.
  • Lag gjenbrukbare “workflow‑maler”.
  • Logg prompt/seed for reproduksjon.
Tilbake til slettesjekklisten Les FAQ