Nvidia heeft Chat with RXT gelanceerd, een AI-chatbot die op uw computer draait en functies biedt die vergelijkbaar zijn met wat u zult vinden tijdens het gebruik van ChatGPT, en meer! Het enige dat je nodig hebt is een Nvidia RTX grafische kaart, en je bent klaar om Nvidia's nieuwe chatbot te gaan gebruiken.
In dit artikel gaan we dieper in op de functies van Nvidia's chatbot en hoe je deze op je computer kunt gebruiken. We onderzoeken mogelijke toepassingen en kijken hoe u het meeste uit deze innovatieve technologie kunt halen. Verifiëren Hoe Poe van Quora te gebruiken om toegang te krijgen tot verschillende chatbots en LLM-modellen.
Snelle links
Wat is chatten met RTX van Nvidia?
Nvidia Chat met RTX is een kunstmatige intelligentie (AI)-model waarmee u een groot taalmodel (LLM) lokaal op uw computer kunt uitvoeren. Dus in plaats van verbinding te maken met internet om een AI-chatbot zoals ChatGPT te gebruiken, kunt u Chat met RTX offline gebruiken wanneer u maar wilt.
Chatten met RTX maakt gebruik van TensorRT-LLM, RTX-versnelling en quantum Mistral 7-B LLM om snelle prestaties en hoogwaardige reacties te bieden, vergelijkbaar met andere online AI-chatbots. Het biedt ook Retrieval Augmented Generation (RAG), waardoor de chatbot uw bestanden kan lezen en gepersonaliseerde antwoorden mogelijk maakt op basis van de gegevens die u verstrekt. Hierdoor kun je de chatbot aanpassen voor een persoonlijkere ervaring.
Chat met RTX-functies:
- lokaal: Het draait lokaal op uw computer zonder internet, waardoor u volledige controle heeft over uw gegevens en privacy.
- Aanpasbaar: Je kunt hem trainen met je eigen gegevens, zoals YouTube-video's en documenten, om een gepersonaliseerde chatervaring te creëren.
- meertalig: Ondersteunt vele talen.
- makkelijk te gebruiken: Eenvoudige en gemakkelijk te navigeren gebruikersinterface.
Wat kan Chatten met RTX doen?
- Beantwoord uw vragen: Chat met RTX kan uw vragen over verschillende onderwerpen beantwoorden, waaronder nieuws, actualiteiten, wetenschap en geschiedenis.
- Samenvattende informatie: Chat met RTX kan informatie uit YouTube-video's, documenten en andere gegevensbronnen samenvatten.
- Creëer creatieve inhoud: Chatten met RTX kan creatieve inhoud creëren, zoals gedichten, verhalen en teksten.
- Taal vertaling: Chatten met RTX kan teksten van de ene taal naar de andere vertalen.
Als u Nvidia Chat met RTX wilt proberen, kunt u dit als volgt downloaden, installeren en configureren op uw computer.
Hoe Nvidia Chat met RTX te downloaden en te installeren
Nvidia heeft het veel eenvoudiger gemaakt om het LLM-model lokaal op uw computer uit te voeren. Om Chat met RTX uit te voeren, downloadt en installeert u eenvoudig de app, net zoals u dat met elke andere app zou doen. Chat met RTX heeft echter enkele minimale specificatievereisten waaraan moet worden voldaan voor een juiste installatie en gebruik.
- RTX 30-serie of 40-serie grafische kaart.
- RAM-geheugen 16 GB.
- 100 GB beschikbare opslagruimte.
- Windows 11.
Als uw computer aan de minimale systeemvereisten voldoet, kunt u doorgaan en de applicatie installeren.
- Stap 1: Download Chat met RTX-zipbestand.
- downloaden: Chat met RTX (35 GB gratis download)
- Stap 2: Pak het zipbestand uit door met de rechtermuisknop te klikken en een hulpmiddel voor bestandsarchivering te selecteren, zoals 7Zip, of door op het bestand te dubbelklikken en te kiezen Pak alles uit.
- Stap 3: Open de uitgepakte map en dubbelklik op setup.exe. Volg de instructies op het scherm en vink alle vakjes aan tijdens het aangepaste installatieproces. Nadat u op Volgende hebt gedrukt, downloadt en installeert de installatiewizard LLM en alle afhankelijkheden.
Het zal enige tijd duren voordat de installatie van Chat met RTX is voltooid, omdat er een grote hoeveelheid gegevens wordt gedownload en geïnstalleerd. Na het installatieproces klikt u op Sluiten en u bent klaar. Nu is het tijd om de app uit te proberen.
Chat gebruiken met RTX van Nvidia
Hoewel je Chat met RTX kunt gebruiken als een gewone online chatbot, raad ik je ten zeerste aan om de RAG-functionaliteit te bekijken, waarmee je de uitvoer kunt aanpassen op basis van de bestanden waartoe je hem toegang geeft.
Stap 1: Maak een RAG-map
Om RAG on Chat met RTX te gaan gebruiken, maakt u een nieuwe map om de bestanden op te slaan die u door de AI wilt laten analyseren.
Plaats na het aanmaken de gegevensbestanden van uw voorkeur in de map. De gegevens die u opslaat, kunnen vele onderwerpen en bestandstypen bestrijken, zoals documenten, pdf's, tekst en video's. Mogelijk wilt u echter het aantal bestanden dat u in deze map plaatst beperken, zodat dit geen invloed heeft op de prestaties. Als er meer gegevens moeten worden doorzocht, duurt het chatten met RTX langer voordat antwoorden op specifieke vragen worden geretourneerd (maar dit is ook afhankelijk van de interne hardware van het apparaat).
Nu de database gereed is, kunt u Chat met RTX instellen en deze gaan gebruiken om uw vragen en verzoeken te beantwoorden.
Stap 2: Bereid de omgeving voor
Open Chat met RTX. De interface zou er uit moeten zien als de onderstaande afbeelding.
Zorg ervoor dat onder Gegevensset de optie Mappad is geselecteerd. Klik nu onderaan op het bewerkingspictogram en selecteer de map met alle bestanden die u wilt dat Chat met RTX leest. Je kunt het AI-model ook wijzigen als er andere opties beschikbaar zijn (op het moment van schrijven is alleen Mistral 7B beschikbaar).
U bent nu klaar om Chat met RTX te gebruiken.
Stap 3: Stel uw vragen op Chat met RTX!
Er zijn verschillende manieren om naar verschillende informatie te informeren via Chat met RTX. De eerste is om het te gebruiken als een gewone AI-chatbot. Ik vroeg Chat met RTX naar de voordelen van het gebruik van een lokaal LLM-model en was tevreden met zijn antwoord. Het was niet erg diepgaand, maar nauwkeurig genoeg.
Maar aangezien het Chat with RTX-model RAG-compatibel is, kun je het ook gebruiken als een door AI aangedreven persoonlijke assistent.
Hierboven gebruikte ik Chat met RTX om te informeren naar mijn planning. De gegevens kwamen uit een PDF-bestand met het schema, de kalender, evenementen, werk, enz. In dit geval haalde Chat met RTX de juiste agendagegevens uit de gegevens; U moet uw gegevensbestanden en kalenderdata up-to-date houden om dit soort functies goed te laten werken en te integreren met andere applicaties.
Er zijn veel manieren waarop u RAG in Chat met RTX in uw voordeel kunt gebruiken. U kunt het bijvoorbeeld gebruiken om juridische artikelen te lezen en een samenvatting te geven, code te genereren die relevant is voor de app die u ontwikkelt, hoogtepunten te krijgen over een video die u te druk had om te bekijken, en nog veel meer! Verifiëren Moet u een lokaal LLM-model gebruiken? Voordelen, nadelen en best practices.
Stap 4: Extra bonus
Naast de lokale gegevensmap kunt u Chat met RTX gebruiken om YouTube-video's te analyseren. Om dit te doen, wijzigt u binnen de dataset het mappad naar de YouTube-URL.
Kopieer de YouTube-URL die je wilt analyseren en plak deze onder het vervolgkeuzemenu. Vraag dan!
Chatten met RTX tijdens het analyseren van YouTube-video was erg goed en leverde nauwkeurige informatie op, dus het kan handig zijn voor snel onderzoek, analyse en meer. Verifiëren Hoe u Scikit-LLM effectief kunt inzetten voor tekstanalyse met behulp van grote taalmodellen.
Is chatten met RTX van Nvidia goed?
ChatGPT biedt RAG-functionaliteit. Sommige lokale AI-chatbots hebben veel lagere systeemvereisten. Is chatten met RTX het waard?
Het antwoord is ja! Chatten met RTX is ondanks de concurrentie de moeite waard om te gebruiken.
Een van de grootste verkoopargumenten van het gebruik van Chat met RTX is de mogelijkheid om RAG te gebruiken zonder uw bestanden naar een server van derden te sturen. Als u GPT's aanpast via online services, kunnen uw gegevens openbaar worden gemaakt. Maar omdat Chat met RTX lokaal en offline draait, zorgt het gebruik van RAG on Chat met RTX ervoor dat uw gevoelige gegevens veilig zijn en alleen toegankelijk zijn op uw computer.
Net als bij andere AI-chatbots van eigen bodem die op Mistral 7B draaien, zijn de chatprestaties met RTX beter en sneller. Hoewel een groot deel van de prestatieverbetering voortkomt uit het gebruik van hoogwaardige GPU's, zorgde het gebruik van Nvidia TensorRT-LLM en RTX-versnelling ervoor dat Mistral 7B sneller werkte op Chat met RTX in vergelijking met andere methoden voor het uitvoeren van voor chat geoptimaliseerde LLM.
Het is vermeldenswaard dat de versie van Chat met RTX die we momenteel gebruiken een bètaversie is. Latere versies van Chat met RTX zullen waarschijnlijk meer geoptimaliseerd worden en prestatieverbeteringen bieden.
Wat moet ik doen als ik geen grafische kaart uit de RTX 30- of 40-serie heb?
Chatten met RTX is een gemakkelijke, snelle en veilige manier om uw LLM-model lokaal uit te voeren zonder dat u een internetverbinding nodig heeft. Als u ook geïnteresseerd bent om LLM lokaal uit te voeren, maar geen grafische kaart uit de RTX 30- of 40-serie hebt, kunt u andere methoden proberen om LLM lokaal uit te voeren. Twee van de meest populaire zijn GPT4ALL en Text Gen WebUI. Probeer GPT4ALL als u lokaal een plug-and-play-ervaring met LLM wilt. Maar als je wat meer technisch ingesteld bent, zijn er LLM's beschikbaar Tekstgeneratie WebUI Het geeft u meer controle en flexibiliteit. Je kunt nu bekijken Voer lokaal en gratis een kopie van ChatGPT uit op Windows met GPT4All.
