Lange tijd aarzelde ik niet om een contract in ChatGPT te plakken, een vertrouwelijk rapport te uploaden om een samenvatting aan te vragen, of een klantvoorstel in een cloud AI-tool in te voeren. Toen ik op een dag eindelijk eens de gebruiksvoorwaarden las (iets wat ik al jaren gemakshalve had doorgebladerd) en me realiseerde: deze bestanden verlieten mijn apparaat en werden, in ieder geval tijdelijk, opgeslagen op de servers van iemand anders. Tot mijn verbazing besefte ik dat een voormalige collega ooit had uitgelegd waarom. Vertrouw ChatGPT niet met vertrouwelijke informatie.Deze ergernis zette me ertoe aan om naar een betere oplossing te zoeken.
Ik ontdekte AnythingLLM, een gratis en open-source desktopapplicatie waarmee je een volledig gepersonaliseerde AI-assistent kunt maken op basis van je eigen documenten – en dat allemaal op je apparaat. Het is uitgegroeid tot een van de populairste programma's. Open-source AI-toepassingen die ik dagelijks gebruikZo zag de transformatie er daadwerkelijk uit.
Snelle links
Het installeren en configureren van AnythingLLM duurt slechts een paar minuten.
Het vertelt je precies waar je gegevens naartoe gaan, nog voordat je begint.
Nadat je het installatiebestand hebt gedownload, dubbelklik je erop en de installatiewizard neemt het over. Tijdens de installatie worden automatisch de benodigde componenten gedownload: de CUDA-bibliotheken van Ollama als je een compatibele NVIDIA GPU hebt – een proces dat je zult waarderen zodra je het begrijpt. Wat zijn CUDA-cores en hoe verbeteren ze de algemene rekenkracht? FFProbe voor mediabewerking en Meeting Assistant voor audiofuncties. U hoeft hier verder niets voor te doen. Het hele proces, van het dubbelklikken op het installatieprogramma tot het zien van het hoofdconfiguratiescherm, duurde minder dan vijf minuten.
Zodra je AnythingLLM opent, is een van de eerste dingen die verschijnt een scherm met informatie over gegevensverwerking en privacy – en het is zeker de moeite waard om dat te lezen. Er staat duidelijk in dat je formulier en gesprekken alleen toegankelijk zijn op je apparaat, dat de documenttekst in dit geval privé is ingesloten met behulp van de ingebouwde AnythingLLM Embedder, en dat je vectoren lokaal worden opgeslagen via LanceDB. Als je ooit hebt gezocht naar Wat is een vectordatabase en hoe verbetert deze kunstmatige intelligentie?Je zult merken dat het volledig offline houden van dit onderdeel een grote winst is op het gebied van privacy. Er zijn geen schakelaars en de opties om je af te melden zijn diep in de instellingen verborgen. Alles blijft standaard lokaal.
Direct na het privacyoverzicht leidt AnythingLLM je door het scherm met LLM-voorkeuren. De lijst met ondersteunde providers is uitgebreid: in de cloud zijn er OpenAI, Anthropic, Azure OpenAI, Gemini, Groq en anderen. Voor volledig on-premises oplossingen zijn er onder andere Ollama, LM Studio, LocalAI, KoboldCPP, Dell Pro AI Studio, Microsoft Foundry Local en Docker Model Runner. De standaardoptie "AnythingLLM" combineert een lokale modelrunner van Ollama, wat betekent dat je modellen zoals Microsofts Phi-4 (9.1 GB) of Alibaba's Qwen3 0.6B (een kleine 600 MB) rechtstreeks vanuit de applicatie kunt downloaden, zonder extra configuratie.
Als uw computer geen dedicated grafische processor (GPU) heeft, is dat geen probleem. Door verbinding te maken met de Groq API krijgt u toegang tot snelle inferentiemodellen zoals de Llama 3 70B tegen vrijwel geen kosten, en u hebt alleen een API-sleutel nodig om het te laten werken. U kunt uw provider op elk moment wijzigen via de instellingen, dus u bent niet gebonden aan de optie die u tijdens de installatie hebt gekozen. Ik ben begonnen met de lokale provider voor het testen – de Phi-3 3.8B verraste me met hoe goed hij document-Q&A's verwerkte op een laptop uit het middensegment – en ben vervolgens overgestapt op Groq voor zwaardere taken waarbij snelheid belangrijker was.
Eenmaal ingesteld, transformeert AnythingLLM uw persoonlijke documenten in een gerichte AI-assistent.
Uw bestanden spreken weer op een duidelijkere manier.
Het dashboard verwelkomt je met een checklist om aan de slag te gaan en een zijbalk met een virtuele werkruimte genaamd 'Mijn werkruimte'. Werkruimtes vormen het kernconcept van AnythingLLM: elke werkruimte is een op zichzelf staande omgeving waar je documenten en gesprekken naast elkaar bestaan. Zie elke werkruimte als een aparte ruimte: een voor klantcontracten, een andere voor intern onderzoek en een derde voor persoonlijke notities. Documenten kunnen indien nodig tussen werkruimtes worden gedeeld, maar ze beïnvloeden elkaar niet, waardoor de focus en nauwkeurigheid van de AI-reacties behouden blijven.
Het toevoegen van documenten aan de werkruimte is eenvoudig via slepen en neerzetten. AnythingLLM kan Word-documenten, platte tekstbestanden, CSV-bestanden, spreadsheets, audiobestanden en zelfs PDF's verwerken, net zoals bij andere programma's. NotebookLM gebruikt het om van elk PDF-bestand een interactief gesprek te maken.In het uploadpaneel vind je ook een veld 'Website ophalen'. Als je een webpagina of online bron wilt ophalen, plak je de URL en wordt de inhoud automatisch opgehaald. Na het uploaden verwerkt AnythingLLM elk bestand, splitst de tekst en slaat de vectoren lokaal op. Een typisch PDF-bestand van tien pagina's is in slechts enkele seconden verwerkt.
Agenten en vooringenomen politiebevelen tillen AnythingLLM verder dan een simpele zoekbox.
Nu wordt het pas echt spannend.
AnythingLLM is uitgerust met agentfunctionaliteiten die verder gaan dan eenvoudige vraag- en antwoordsessies over documenten. Het voert typwerk uit. @tussenpersoon In de chat kun je een AI-agent activeren die taken kan uitvoeren die door tools worden aangeroepen: webzoekopdrachten, diepgaande zoekopdrachten en acties tussen apps. Aangepaste agentvaardigheden zijn beschikbaar via de AnythingLLM Community Hub, waar de bibliotheek constant wordt uitgebreid. Met de slash-opdrachtfunctie kun je promptsjablonen maken en opslaan voor terugkerende taken, zoals het samenvatten van vergaderingsnotities in een consistente opmaak, het formuleren van e-mailreacties in een specifieke toon of het telkens extraheren van specifieke velden uit geüploade documenten.
Wil je nog een stap verder gaan, dan is er een browserextensie waarmee je vanuit elke webpagina met je AnythingLLM-instantie kunt communiceren, en een GPTLocalhost-integratie die de assistent rechtstreeks in Microsoft Word brengt. Teams die gedeelde toegang nodig hebben, kunnen kiezen voor de Docker-versie, die ondersteuning biedt voor meerdere gebruikers, op rollen gebaseerde toegangsrechten en whitelisting. De desktopapplicatie is meer dan voldoende voor persoonlijk gebruik, maar het is prettig om te weten dat er ook een configuratie voor teams beschikbaar is.
Welkom bij de AI-revolutie voor jou (populatie: jij)
Door over te stappen op AnythingLLM ben ik AI niet langer gaan zien als een dienst die ik huur, maar als een tool die ik bezit. Mijn documenten blijven op mijn eigen schijf staan, mijn zoekopdrachten blijven privé en ik heb nu een digitale assistent die mijn context echt begrijpt, en niet alleen het openbare internet.
