Komma igång med lokal AI – hårdvaran

Del 3 – hårdvara för lokal AI

Det här är en nybörjarguide för dig som vill komma igång med lokal AI hemma, med fokus på vad du behöver för prylar för att köra stora språkmodeller, LLM:s, direkt på din egen hårdvara.

Om du undrar varför du skulle vilja göra det har vi en guide om för- och nackdelar med lokal AI, samt en nybörjarguide om AI i allmänhet. Du hittar dem i menyn här ovanför. Det är bra att läsa dem innan den här guiden, för att bättre förstå koncepten och termerna.

Att köra en LLM lokalt på datorn skiljer markant mot att accelerera specifika AI-funktioner som är inbyggda i exempelvis Windows. För den typen av funktioner räcker det i regel med en dator som har en inbyggd NPU, neural processing unit, vilket majoriteten av moderna kretsar till datorer och andra enheter har. Här fokuserar vi alltså istället på stora språkmodeller i stil med hur ChatGPT fungerar.

Modellerna avgör kraven

Innan vi går in på vad de olika komponenterna är till för och vad du vill ha för prylar så vill vi först förtydliga att prestandakraven för lokal AI varierar kraftigt beroende på vad du vill göra. Vilken hårdvara du behöver bestäms nämligen av vilken typ av AI-modeller du vill använda, och hur stora du vill att de ska vara.

En enkel AI-modell gjord för en väldigt specifik uppgift kan vara väldigt liten och fungera fint även på enklare hårdvara, medan en avancerad modell gjord för att exempelvis generera detaljerad video eller skriva komplex kod kräver mycket mer. Både i att de är större, och behöver mer minne och lagring, och att det behövs högre beräkningskraft och minnesbandbredd för att köra dem med realistiska väntetider.

AI är brett, komplext och i ständigt snabb utveckling, så vi rekommenderar att läsa på om specifika AI-modeller och deras respektive prestandakrav när det väl är dags för dig att köpa hårdvara. Här kommer vi gå igenom grunderna och ge dig en förståelse om vad hårdvaran används till och varför de olika komponenterna är olika viktiga för AI.

Lokal AI-prestanda förenklat

Om man tänker att en AI-modell, en språkmodell (LLM) för en chattbott är ett bibliotek så bestämmer storleken (vikten) på modellen hur stort biblioteket kan vara. Varje parameter kan då ses som en bok som modellen kan använda för att läsa på om hur man utför en uppgift eller svarar på en fråga. Ju fler böcker den kan läsa, desto bättre kan den ta fram ett bra resultat. Är biblioteket litet så finns det inte böcker om allt, så då blir svaren på frågorna inte lika precisa.

Mängden grafikminne, även kallat VRAM, är det som avgör hur stort biblioteket man får plats med och hur många böcker man kan ha. Vanligt internminne kan man se som ett lager som ligger i närheten. Det är inte effektivt att gå och hämta böcker där, men det behövs som backup och det går ändå att gå dit när det behövs.

AI-prestandan berättar i sin tur hur många som arbetar på biblioteket och hur snabbt de kan jobba. Har man miljarder böcker att gå igenom vill man gärna ha snabba arbetare att läsa dem, det räcker inte bara med att ha ett stort bibliotek. Grafikprocessorns beräkningskapacitet är det som avgör detta, medan minneshastigheten avgör hur snabbt man kan hämta böcker från hyllorna till bibliotekets arbetsyta.

En stor LLM som kan husera enorma mängder information, eller parametrar om man så vill, behöver alltså mer plats, medan ett mer nischat bibliotek som fokuserar på en enda grej kan få plats på mindre yta. Det är därför små LLM-modeller går att köra på enklare hårdvara, medan mer heltäckande modeller behöver kraftfullare hårdvara, och varför man får bättre resultat med en stor modell än med en liten.

Om två lika stora modeller ger olika kvalitet på resultatet beror det enkelt förklarat på att den ena har bättre struktur på biblioteket, vilket är en av sakerna som förbättrats när en AI-modell får en ny version.

Hårdvara för lokal AI

Grafikdelen och grafikminnet är alltså det som är viktigast för AI-prestandan och vilka typer av AI-modeller som du kan köra lokalt. Men även om de är allra viktigast behövs också andra komponenter för helheten. Här är de olika delarnas syften, sett ur ett lokal AI-perspektiv.

CPU används mestadels för den bakomliggande logiken och för operativsystem

RAM huserar övriga processers minneskrav samt förflyttning till och avlastning för VRAM

NPU accelererar inbyggda AI-funktioner eller avlastar GPU och CPU med specifika uppgifter

SSD huserar modellens grundstenar, en lokal modell kan vara uppåt 100 GB*

GPU gör de huvudsakliga AI-beräkningarna

VRAM huserar själva AI-modellen, man vill ha hela i grafikminnet för bäst prestanda

Hur vet man hur stor en AI-modell är?

AI-modellers storlek räknas i miljarder aktiva parametrar, utskrivet med engelskans billions. Exempelvis så betyder 8B att modellen har åtta miljarder parametrar, vilket du kan se som punkter med information i ett stort spindelnät.

En liten modell gjord för en specifik uppgift kan ha färre än en miljard parametrar, medan en riktigt stor modell gjord för komplexa uppgifter har uppåt hundra miljarder parametrar. Så kallade frontier-modeller, de stora drakarnas största AI-modeller, är redan uppe i flera biljoner parametrar och det ökar snabbt.

En normalstor modell för exempelvis en egen chattbott därhemma kan vara runt 8B, medan en mer komplex modell gjord för exempelvis generativ AI eller kodgenerering kan vara uppåt 32B eller mer. De allra mest komplexa modellerna är för stora för hemmabruk, det går exempelvis inte att matcha Claude med lokal AI på gamingburken än.

De flesta AI-modellerna kommer i flera olika varianter, anpassade för olika typer av hårdvara. När en modell har effektiviserats, och i förlängningen anpassats för hemmabruk, så säger man att man har sänkt vikten på AI-modellen.

Det betyder att man har sänkt hur precist man lagrar parametrarna, hur många bitar data som används för varje viktning. Högt så kallat bit-djup innebär att man har mer data för viktningarna, vilket betyder att AI-modellen har mer information att gå på. Exempelvis kan en modell på 8B ta upp 16 GB VRAM om den har högt bit-djup (full precision med FP16), men bara 5 GB VRAM om den har lågt bit-djup (Q4).

En AI-modell med lågt bit-djup har inte lika hög precision som en modell med högt bit-djup. Det kan exempelvis påverka hur ofta den har fel när man ställer en fråga till den eller hur skicklig den är på kodgenerering och beräkningar. Med det sagt är det inte en stor skillnad, för hemanvändning och hobbyprojekt är det nästan alltid bättre att använda lågt bit-djup med en bra modell än högre bit-djup med en mer begränsad modell, men det är bra att känna till att den (oundvikliga) felfrekvensen kan öka.