Het zou ideaal zijn om AI-modellen offline te laten draaien, maar daarvoor is doorgaans krachtige en dure hardware nodig. Dit is echter niet altijd het geval: het model DeepSeek R1 biedt een praktische oplossing voor apparaten met beperkte mogelijkheden en is bovendien zeer eenvoudig te installeren.
Snelle links
Wat betekent het om een AI-chatbot lokaal te laten draaien?
Wanneer u online AI-chatbots zoals ChatGPT gebruikt, worden uw verzoeken verwerkt op de servers van OpenAI. Dit betekent dat uw apparaat het zware werk niet hoeft te doen. Om met AI-chatbots te communiceren, hebt u een constante internetverbinding nodig. Bovendien hebt u nooit volledige controle over uw gegevens. Grote taalmodellen die AI-chatbots aansturen, zoals ChatGPT, Gemini, Claude, etc., stellen zeer hoge operationele eisen vanwege hun afhankelijkheid van GPU's met een grote videomemorycapaciteit (VRAM). Om deze reden zijn de meeste AI-modellen cloudgebaseerd.
De lokale AI-chatbot wordt rechtstreeks op uw apparaat geïnstalleerd, net als andere software. Dit betekent dat u geen constante internetverbinding nodig hebt om de AI-chatbot te gebruiken en dat u op elk gewenst moment een verzoek kunt sturen. DeepSeek-R1 is een groot model in de oorspronkelijke taal dat op veel apparaten kan worden geïnstalleerd. Het gedistilleerde 7B-model (zeven miljard parameters) is een kleinere, geoptimaliseerde versie die goed werkt op apparaten uit het middensegment, waardoor ik AI-reacties kan genereren zonder cloudverwerking. Simpel gezegd betekent dit snellere reacties, meer privacy en volledige controle over mijn gegevens.
Hoe DeepSeek-R1 op een laptop te installeren
Het is relatief eenvoudig om DeepSeek-R1 op uw apparaat uit te voeren, maar houd er rekening mee dat u een minder krachtige versie van de webgebaseerde AI-chatbot van Diepzoeken. De AI-chatbot van DeepSeek gebruikt ongeveer 671 miljard parameters, terwijl deze DeepSeek-R1 Over ongeveer 7 miljard parameters.
U kunt DeepSeek-R1 downloaden en gebruiken op uw computer door de volgende stappen te volgen:
- Ga naar Ollama-website En download de nieuwste versie. Installeer het vervolgens op uw apparaat, net als elke andere app.
- Open Terminal en typ de volgende opdracht:
ollama ren deepseek-r1:7b
Hiermee downloadt u het DeepSeek-R1 7B-model naar uw computer, zodat u vragen in Terminal kunt invoeren en antwoorden kunt ontvangen. Als u prestatieproblemen of crashes ervaart, probeer dan een minder veeleisend model te gebruiken door 7b ب 1.5b In de bovenstaande volgorde.
Hoewel het model prima werkt in Terminal, kunt u, als u een gebruikersinterface met alle functies en de juiste tekstopmaak wilt zoals ChatGPT, ook een app gebruiken zoals Gespreksvak.
DeepSeek lokaal uitvoeren is niet ideaal, maar het werkt
Zoals eerder vermeld, zullen de reacties niet zo goed (of snel!) zijn als bij de online chatbot van DeepSeek, omdat deze een krachtiger model gebruikt en alles in de cloud verwerkt. Maar laten we eens kijken hoe de kleinere modellen presteren.
Wiskundige problemen oplossen
Om de prestaties van het 7 miljard-factorenmodel te testen, gaf ik het een vergelijking en vroeg ik het de integraal ervan op te lossen. Ik was erg tevreden over de prestaties, vooral omdat eenvoudige modellen vaak moeite hebben met wiskunde. Dit experiment toont aan dat grote taalmodellen calculusproblemen aankunnen, wat veelbelovend is voor vakgebieden als natuurkunde en techniek.
Dit is niet het meest complexe probleem, maar het is juist dit wat het lokaal uitvoeren van een groot taalmodel zo nuttig maakt. Het gaat erom dat u een direct beschikbare tool hebt waarmee u eenvoudige vragen direct kunt afhandelen, in plaats van dat u voor alles afhankelijk bent van de cloud. Deze aanpak verbetert de reactiesnelheid en vermindert de afhankelijkheid van internetverbinding, wat essentieel is bij interactieve AI-toepassingen.
Fouten in de code corrigeren
Een van de beste manieren om het DeepSeek-R1-model lokaal uit te voeren, is om te helpen bij AI-projecten. Het is erg handig, vooral als ik code schrijf in het vliegtuig, waar geen internetverbinding is en ik voor het debuggen sterk afhankelijk ben van grote taalmodellen. Om de effectiviteit te testen, heb ik deze code aangeleverd met een eenvoudige, opzettelijke fout erin.
De code werd probleemloos verwerkt, maar ik moet wel vermelden dat ik het programma draaide op een MacBook Air M1 met slechts 8 GB aan unified memory. (Unified memory is geheugen dat wordt gedeeld tussen de CPU, GPU en andere onderdelen van een system-on-a-chip.)
Toen de IDE openstond en er meerdere browsertabbladen openstonden, ging de prestatie van mijn MacBook flink achteruit. Ik moest alles geforceerd sluiten om hem weer aan de praat te krijgen. Als u 16 GB RAM of een GPU uit het middensegment hebt, zult u deze problemen waarschijnlijk niet tegenkomen.
Ik heb het ook getest met grotere codebases, maar het blijft in een lus hangen. Ik zou het daarom niet aanraden om het volledig te gebruiken als vervanging voor krachtigere modellen. Het is echter nog steeds handig voor het snel maken van kleine codefragmenten.
Los de puzzels op
Ik was ook benieuwd hoe goed het model omging met puzzels en logisch redeneren, dus heb ik het getest met een probleem: Monty-zaal, wat ik eenvoudig heb opgelost, maar ik ben DeepSeek om nog een andere reden echt gaan waarderen.
Zoals u in de afbeelding kunt zien, krijgt u niet alleen het antwoord, maar wordt u ook door het hele denkproces geleid, waarbij wordt uitgelegd hoe u tot de oplossing bent gekomen. Dit laat zien dat het systeem over het probleem nadenkt en niet alleen een uit het hoofd geleerd antwoord uit de trainingsgegevens oproept. Dit geeft aan dat DeepSeek informatie kan verwerken en oplossingen kan afleiden op een manier die menselijk denken nabootst. Dit is een belangrijke stap in de ontwikkeling van AI-modellen.
Zoekopdrachten
Een van de grootste nadelen van het lokaal uitvoeren van een groot taalmodel is kennisdiscontinuïteit. Omdat hij geen toegang heeft tot internet, kan het lastig zijn om betrouwbare informatie over recente gebeurtenissen te vinden. Deze beperking was duidelijk zichtbaar tijdens mijn tests, maar werd erger toen ik vroeg om een korte samenvatting van de originele iPhone. Ik kreeg een onnauwkeurig en onbedoeld grappig antwoord.
Het is duidelijk dat de eerste iPhone niet met iOS 5 werd uitgebracht en dat de nog niet bestaande "iPhone 3" er ook nog niet is. Hij had bijna alles fout. Ik heb het getest met een paar andere basisvragen, maar de onnauwkeurigheid bleef bestaan.
بعد DeepSeek-datalekIk voelde me gerustgesteld omdat ik wist dat ik dit model lokaal kon uitvoeren, zonder dat ik me zorgen hoefde te maken dat mijn gegevens in gevaar zouden komen. Hoewel het niet perfect is, is het een groot voordeel om een offline AI-assistent te hebben. Ik zou graag meer modellen als deze geïntegreerd zien in consumentenapparaten zoals smartphones, vooral na Mijn teleurstelling over Apple Intelligence.
