DeepSeek R1-model lokaal uitvoeren: een uitgebreide handleiding voor Windows, macOS, Android en iOS

Samenvatting:

    • Als u zich zorgen maakt over uw privacy, kunt u het DeepSeek R1-model lokaal uitvoeren op uw Windows-, macOS-, Android- of iOS-computer.
    • U kunt LM Studio installeren om het speciaal aangepaste DeepSeek R1 7B-model te draaien, maar uw apparaat moet dan wel over 8 GB RAM beschikken.
    • Anders kunt u Ollama installeren en beginnen met de DeepSeek R1-gedistilleerde modellen. Er is zelfs een klein model met 1.5 miljard parameters beschikbaar.
    • U kunt DeepSeek R1 native op Android en iOS uitvoeren met behulp van de gratis PocketPal AI-app.

Het DeepSeek R1-model van een Chinees team heeft voor opschudding gezorgd in de AI-industrie. Het presteerde beter dan ChatGPT en stond bovenaan de lijst van de Amerikaanse App Store. Bovendien heeft DeepSeek de Amerikaanse techmarkt veroverd met zijn vlaggenschipmodel R1, dat volgens het bedrijf vergelijkbaar is met ChatGPT. Hoewel DeepSeek R1 gratis toegankelijk is via de officiële website, maken veel gebruikers zich zorgen over hun privacy, omdat de gegevens in China worden opgeslagen. Als u DeepSeek R1 lokaal op uw pc of macOS wilt uitvoeren, kunt u dat eenvoudig doen met LM Studio en Ollama. Hier is een stapsgewijze handleiding om aan de slag te gaan.

Lokale operationele vereisten voor DeepSeek R1

Om het DeepSeek R1-model native op een pc, macOS- of Linux-systeem te kunnen uitvoeren, moet uw apparaat minimaal 8 GB RAM hebben. Met 8 GB geheugen kunt u het kleine DeepSeek R1-model met 1.5 miljard parameters behoorlijk efficiënt uitvoeren, met uitvoersnelheden van ongeveer 13 symbolen per seconde. U kunt ook een model met 7 miljard parameters uitvoeren, maar dat verbruikt ongeveer 4 GB geheugen, waardoor uw systeem mogelijk iets minder snel reageert.

Als u meer geheugen tot uw beschikking hebt, kunt u ook modellen met 14 miljard, 32 miljard en 70 miljard parameters uitvoeren, maar u hebt dan wel een snellere CPU en GPU nodig. Momenteel maakt de meeste software geen gebruik van een Neural Processing Unit (NPU) om native AI-modellen uit te voeren. In plaats daarvan is het vooral afhankelijk van de CPU, en in sommige gevallen (zoals bij geavanceerde Nvidia GPU's) wordt de GPU gebruikt voor inferentie.

Voor Android-telefoons en iPhones wordt minimaal 6 GB RAM aanbevolen om het DeepSeek R1-model soepel te laten draaien. Je kunt DeepSeek R1 draaien op de Snapdragon 8 Elite, of andere Snapdragon 8-serie en 7-serie chips. Verder kun je hier zien hoe de DeepSeek R1 en ChatGPT o1 modellen zich verhouden.

DeepSeek R1-model uitvoeren op pc met behulp van LM Studio

LM Studio is de eenvoudigste manier om het DeepSeek R1-model native uit te voeren op pc-, Mac- en Linux-systemen. Het beschikt over een gebruiksvriendelijke gebruikersinterface en u kunt met slechts een paar klikken compatibele AI-modellen verkennen en downloaden. Bovendien is de app volledig gratis te gebruiken.

  • Download en installeer LM Studio versie 0.3.8 of later (Vrij) op PC, Mac of Linux.
  • Start vervolgens LM Studio en ga naar het zoekvenster in het linkerdeelvenster.
  • Hier, onder het model zoeken, vindt u het model “DeepSeek R1 Distill (Qwen 7B)” (Gezicht knuffelen).
  • Klik nu op “Downloaden”. Om dit model te kunnen gebruiken, hebt u minimaal 5 GB opslagruimte en 8 GB RAM nodig.

Download deepseek r1-model met behulp van lm studio

  • Nadat u het DeepSeek R1-model hebt gedownload, gaat u naar het venster 'Chat' en laadt u het model.

Download deepseek r1-model op Windows

  • Selecteer eenvoudigweg de sjabloon en klik op de knop “Sjabloon uploaden”. Als u een fout tegenkomt, verlaagt u “GPU offload” naar 0 en gaat u verder.

Deepseek R1-model uitvoeren met behulp van LM Studio DeepSeek R1-model lokaal op de computer uitvoeren met behulp van Ollama

  • Begin met het installeren van Ollama (مجاني) op uw Windows-, macOS- of Linux-computer.
  • Start nu Terminal en voer de onderstaande opdracht uit om DeepSeek R1 lokaal uit te voeren.
  • Dit is een klein model. 1.5 miljard DeepSeek R1-destillaten Voor computers met lage specificaties vertrouwt het op Qwen. Het verbruikt slechts 1.1 GB geheugen.
ollama ren deepseek-r1:1.5b

Deepseek r1 installeren met behulp van ollama

  • Als u over een groot geheugen en krachtige hardware beschikt, kunt u modellen draaien. 7 miljard of 14 miljard of 32 miljard of 70 miljard Gedestilleerd uit DeepSeek R1. Je kunt de commando's vinden hier.
  • Hier leest u hoe u het 1 miljard-bits DeepSeek R7-model op uw computer kunt uitvoeren. Het verbruikt 4.7 GB geheugen.
ollama ren deepseek-r1:7b

Installeer deepseek r1 7b model met behulp van ollama

  • U kunt nu lokaal op uw computer met DeepSeek R1 chatten, rechtstreeks via Terminal.
  • Om te stoppen met chatten met het AI-model en af ​​te sluiten, gebruikt u de sneltoets "Ctrl + D".

Deepseek r1 7b-model uitvoeren met behulp van ollama

DeepSeek R1 lokaal uitvoeren met behulp van Open WebUI

Als u het DeepSeek R1-model lokaal wilt gebruiken met een ChatGPT-achtige gebruikersinterface, kunt u Open WebUI (GitHub) op PC of Mac. Deze app maakt gebruik van de Ollama-service om veel geweldige functies te bieden, zoals een code-analysator, voicechat, bestandsanalyse, persoonlijke instructies en nog veel meer.

Kortom, u kunt DeepSeek R1 lokaal op uw computer uitvoeren met alle functies van ChatGPT.

  • Sta eerst op Python en Pip instellen op jouw computer.
  • Open vervolgens Terminal of Opdrachtprompt en voer de onderstaande opdracht uit om Open WebUI te installeren. Deze stap duurt enkele minuten.
pip install open-webuy

Open Webui installeren via de opdrachtregel

  • Nadat u het DeepSeek-model hebt geïnstalleerd, voert u het uit via Ollama in Terminal.
  • U kunt de instructies in de bovenstaande methode volgen om Ollama uit te voeren.
ollama ren deepseek-r1:1.5b

Deepseek r1-model uitvoeren via ollama

  • Nadat u Ollama hebt uitgevoerd, voert u de onderstaande opdracht uit om de Open WebUI-server te starten.
open-webui-server

Start open webui-server

  • Tik vervolgens op http://localhost:8080 Om de lokale Open WebUI-server te openen.
  • Klik op “Start” en voer hier uw naam in.

open webui-homepage

  • Nu kunt u DeepSeek R1 gebruiken via een gebruiksvriendelijke gebruikersinterface.
  • Open WebUI selecteert automatisch het DeepSeek R1-model in de vervolgkeuzelijst.

DeepSeek R1 lokaal uitvoeren op Android-telefoons en iPhones

U kunt DeepSeek R1 snel lokaal op Android-telefoons en iPhones uitvoeren. Op Android heb ik verschillende apps getest, waaronder LM Playground, Private AI, Llamao en andere, maar PocketPal bood de beste oplossing. Om lokale AI-modellen op Android-telefoons uit te voeren - Helemaal gratis.

Het beste is dat PocketPal AI ook beschikbaar is op iOS en dat het, in tegenstelling tot Apollo AI en Private LLM, helemaal gratis is. Zo gaat u aan de slag.

  • Installeer eerst de PocketPal AI-app.
  • Start vervolgens de app en klik op ‘Ga naar Formulieren’.
  • Klik hier op de knop “+” rechtsonder.
  • Selecteer hier “Toevoegen van Hugging Face”.

Download deepseek r1-model op Android

  • Zoek naar “deepseek” en scroll naar beneden om “DeepSeek-R1-Distill-Qwen-1.5B” van bartowski te vinden.
  • Open het en download het juiste model op basis van het beschikbare geheugen van uw telefoon. Ik heb het gekwantiseerde “Q5_K_M”-model voor deze tutorial gedownload omdat het ongeveer 1.3 GB RAM verbruikt.
  • Nadat u het formulier heeft gedownload, gaat u terug en klikt u op Downloaden.

Download deepseek r1-model lokaal op Android

  • Nu kunt u lokaal chatten met het DeepSeek R1-model op uw Android-telefoon of iPhone.

Deepseek r1-model lokaal uitvoeren op Android

Dit zijn de verschillende manieren om DeepSeek R1 op pc en smartphone te installeren Chat offline met AI-model. Tijdens mijn korte tests vertoonden zowel het 1.5B- als het 7B-model veel hallucinaties en historische fouten.

U kunt deze sjablonen echter eenvoudig gebruiken voor creatief schrijven en wiskundig redeneren. Als u over krachtige hardware beschikt, raad ik u aan het model DeepSeek R1 32B te proberen. Hij is veel beter in coderen en het geven van antwoorden die op logica gebaseerd zijn.

Ga naar de bovenste knop