Nvidia RTX PRO 4500 Blackwell

Fick tag i detta kort för 32k (kommer väl snart vara ett minne blott). Det är väldigt bra för att köra lokala modeller som Qwen 3.6 35B A3B: 3 concurrent med vllm (hastigheten här är fantastisk) eller 27B: 4 concurrent även där med vllm. (något långsammare med dense model) Alla llama.cpp branches (turboquant m.m) har oftast direkt stöd för nVidia. Du kan alltså köra turboQ på alla modeller som stöder det, och även köra offload på modeller som har stöd. Varför köper man detta kort? Jag hade inte köpt detta kort ifall dessa modeller inte klarade att göra delar av mitt jobb enklare, där jag kör mycket enklare jobb som ska göras ofta dock inte är så enkla att scripta de dynamiska elementen. Ska du köra tyngre jobb med mer än en modell åt gången, då tittar du på en DGX (har bättre parallel prestanda) eller ett 5 eller 6k kort.