Varför vill man använda lokal AI?
Del 2 – så funkar lokal AI
AI kan vara ett väldigt praktiskt verktyg både för arbete och hobbyprojekt, men att använda sig av onlinebaserade AI-tjänster kan medföra både kostnader och säkerhetsproblematik som man kan vilja undvika.
Alternativet till det är vad som kallas för lokal AI och i den här guiden kommer vi att ge en enkel överblick av vad det är för något. Det här är inte en guide för dig som är en van användare av lokal AI som vill fördjupa sig, utan en instegsguide för dig som vill få ett grundläggande grepp om vad det är för något.
Vi börjar med att summera skillnaderna mellan lokal AI och onlinetjänster. Om du är helt ny till AI rekommenderar vi att läsa vår guide om vad AI är för något, där går vi igenom grunderna och de vanligaste termerna och koncepten som du vill känna till för att bättre förstå vad det handlar om. Efter att du läst den här delen kan du gå vidare till vår guide om hårdvara för lokal AI.
Vad är lokal AI?
Om vi börjar med grunderna så är lokal AI sådan som körs direkt på din egen hårdvara, så som en dator eller mobil. Det finns både lokal AI som är helt frikopplad från omvärlden, att informationen aldrig lämnar din hårdvara, och lokal AI som är gjord för att vara uppkopplad, om du exempelvis har en chattbott som ska kunna söka på webben.
Lokal AI kommer i många former, exempelvis finns det AI inbyggt i många operativsystem och i många teknikprylar som man använder. Exempelvis hörlurar.
Men för att komma åt ”riktig” lokal AI så vill du ladda hem en AI-modell. Med en sådan kan du i teorin göra samma saker som du kan göra med en tjänst som ChatGPT, så som att skapa bilder, skriva och granska kod, läsa in stora mängder information eller att ha en egen AI-assistent därhemma. Möjligheterna är verkligen enorma, allt beror på vilken modell du använder och vad din hårdvara är kapabel till att köra.
För- och nackdelar med lokal AI
Men varför vill man använda lokal AI när det finns kraftfulla AI-tjänster lättillgängliga på internet? Det finns många anledningar att använda lokal AI, men också begränsningar som är bra att känna till. Här är några av de viktigaste sakerna att veta om lokal AI:
Fördelar:
👍 Det kan vara säkrare
👍 Du väljer själv AI-modell
👍 Du kan anpassa öppna AI-modeller
👍 Du bestämmer över din data
👍 Du är inte i händerna på ett företag
👍 Du behöver inte betala per token eller ha ett abonnemang
👍 De fungerar utan internet (om de inte är gjorda för att använda internet)
Nackdelar:
👎 Högre instegskostnad
👎 Kräver mer av dig
👎 I regel mycket längre beräkningstider
👎 De största modellerna är för stora för hemmabruk
👎 Informationen är inte automatiskt dagsaktuell
Lokal AI i jämförelse med AI i molnet
Med lokal AI kan du alltså hämta hem kontrollen över din data och sköta allt helt lokalt på din egen hårdvara utan omvärldens inblandning.
För ett företag kan lokal AI vara kritisk ur säkerhetssynpunkt, man vill inte att andra företag ska ha tillgång till hemlig information, men för en hemanvändare handlar det mer om integritet och att sova gott om natten. Om du exempelvis vill använda en AI för att hantera din mediaserver som innehåller familjebilder, då känns det skönare att veta att bilderna aldrig lämnar hemmet.
Något annat som du också hämtar hem är kontroll över kostnaderna. Många AI-tjänster är kostnadsfria att använda till en början, men om du vill använda dem mycket eller få tillgång till mer avancerade funktioner så kommer du behöva betala. Valutan som används inom AI kallas för token, vilket är små bitar information som AI använder sig av, och man betalar i regel baserat på hur många tokens man använder. Med lokal AI betalar du inte för tokens, du betalar för hårdvaran och elen. Med andra ord får du en högre instegskostnad, men över tid kan det betala tillbaka sig.
Den stora begränsningen med lokal AI är dock just hårdvaran. AI-boomen har lett till att priserna på grafikkort, RAM och andra komponenter ökat markant, vilket i förlängningen lett till att hårdvara som klarar av mer avancerad AI blivit mycket dyrare. I den här guiden går vi igenom hårdvara för AI, men i kort så behöver du ett modernt grafikkort med gott om grafikminne för att köra stora modeller lokalt.
Men det fina med lokal AI är att det finns gott om modeller även i mindre storlekar, som är gjorda för enklare hårdvara, och i många fall möjlighet att modifiera eller träna modeller efter eget behag. De är inte i närheten lika kraftfulla som modellerna onlinetjänsterna erbjuder, men med lite fantasi och kreativitet kan man ändå hitta många nyttiga modeller som kan hjälpa till med lite allt möjligt. Till och med PewDiePie har släppt en egen AI-modell, Odysseus AI heter den.
Vår rekommendation är att söka på modeller för den typen av hårdvara som du har, för att se vad det finns som passar. Utbudet är stort och det växer ständigt, så det finns goda chanser att du hittar en AI-modell som passar det du ska göra.
Exempel på vad man kan göra med lokal AI
Här är några olika förslag på vad du kan använda lokal AI till och språkmodeller som fungerar till det.
Lokal röstassistent till det smarta hemmet
För dig som uppskattar smidigheten av att kunna be en röstassistent att släcka lamporna så kan lokal AI vara ett sätt att komma bort från att ens röstdata når internet. Det enklaste sättet att göra detta är att låta en lokal AI-modell tolka din röst och styra exempelvis en Home Assistant, som i sin tur styr dina smarta enheter. Det krävs lite mer jobb i jämförelse med en färdig lösning så klart, men fördelarna väger snabbt över nackdelarna om man är villig att sätta sig in i det.
Exempel på modeller: Ollama | Qwen | Whisper
Visualisering med AI
Förutom att skapa överdrivet söta kattbilder med AI så kan bildgenerering också användas till mer praktiska saker som visualisering och konceptbilder. Om du exempelvis ska bygga nytt, renovera, eller möblera om kan AI snabbt hjälpa en att visualisera slutresultatet. Det kanske inte blir exakt så bra som om du gjort det själv, men det är ett enkelt sätt att måla upp ett scenario och att testa en mood-board.
Exempel på modeller: Stable Diffusion | FLUX
Modellering för 3D-skrivare med AI
Det är svårt att få en lokal AI att helt och hållet realisera allt man drömmer om att kunna 3D-printa, men det kan vara ett väldigt smidigt verktyg för att modellera enklare saker eller att ge en bra grund att själv arbeta vidare på i CAD. Om du är helt ny till 3D-skrivande kan detta vara ett riktigt nyttigt verktyg för att åtminstone komma igång, och för dig som är en vanare användare kan det snabba på processen och göra det enklare att brainstorma sig fram till olika lösningar.
Exempel på modeller: TRELLIS | Qwen och OpenSCAD | Ollama och OpenSCAD | lokal AI till Blender
Transkribera med AI
Om du jobbar hemifrån och vill spela in möten, eller om du är av typen som gillar att prata in i en diktafon eller mikrofon snarare än att skriva ner dina tankar, så är AI ett mycket effektivt verktyg för transkribering.
Exempel på modeller: Whisper | Buzz (Whisper) | Qwen
Personlig AI-assistent
En numera klassisk chattbot att ställa frågor till är faktiskt inte så svårt att få till därhemma, det finns många modeller att välja på och flera av dem är anpassade för i sammanhanget enkel hårdvara. Om du kör helt lokalt så får du bara tänka på att du inte kan fråga om aktuella ämnen, modellen har bra den informationen som den hade när den skapades. Det går ofta att ansluta dem till internet via en API, för att på så sätt få dagsaktuell information, men då öppnar man också upp för omvärlden.
Exempel på modeller: Qwen | gpt-oss | DeepSeek | Gemma | Mistral
AI-agent
Förlängningen av detta är att skapa en lokal AI-agent som också kan hjälpa dig planera och utföra uppgifter. Det är mer avancerat och kräver mer av dig, men det är görbart och något vi rekommenderar att läsa mer om skulle du vara intresserad.
Exempel på verktyg: n8n | Ollama
Fler frågor om AI
Om du vill ha ytterligare rådgivning om exempelvis köp av dator för AI så är du varmt välkommen att höra av dig till oss via vår kundservice eller företagsförsäljning. Där får du personlig hjälp av våra kunniga medarbetare, som är människor. Det känns på sin plats att förtydliga det i dessa tider.
Brasklapp om AI
Avslutningsvis vill vi verkligen betona att utvecklingen inom AI går extremt fort fram och att information som en dag är sann, eller en modell som en dag är bäst, snabbt kan förändras. Därför rekommenderar vi att alltid uppsöka information när du väl ska göra ditt val och inte ta en sägning som given. På gott och ont går världen fort just nu och vi förstår att det är svårt att hänga med. Och då är du som sagt alltid välkommen att höra av dig till oss, vi försöker att göra tekniken mänsklig med vår rådgivning och finns där om du behöver oss.
