Het gebied van natuurlijke taalverwerking (NLP) heeft de afgelopen jaren een enorme revolutie doorgemaakt, met de opkomst van grote taalmodellen (LLM's) die uitzonderlijke mogelijkheden bieden bij het begrijpen en verwerken van menselijke taal. Gemini 1.5 is een van de nieuwste modellen en biedt enorme contextuele mogelijkheden. Het Google Gemini 1.5-model wordt nu geleverd met een enorm contextvenster van XNUMX miljoen unieke pictogrammen, waardoor zijn directe concurrenten zoals ChatGPT, Claude en andere AI-aangedreven chatbots in het niet vallen.
Het contextuele venster van één miljoen tokens in Gemini 1.5 is een gamechanger, waardoor het model een dieper en nauwkeuriger begrip van taal kan krijgen. Met een grotere contextuele capaciteit kan het model meer woorden en zinsneden rond een bepaald woord of zin analyseren, waardoor de betekenis beter kan worden afgeleid. Verifiëren Google's Gemini AI arriveert: valt het meer op dan ChatGPT in de AI-wereld?
Snelle links
Wat is het contextvenster?
Bij het reageren op uw vragen, zoals het uitleggen van een concept of het samenvatten van een tekst, hebben AI-modellen beperkingen op de hoeveelheid gegevens waarmee ze rekening kunnen houden om een antwoord te genereren. De maximale tekstgrootte die in aanmerking kan worden genomen, wordt het contextvenster genoemd.
Hier is een andere manier om naar dit concept te kijken. Stel dat u zonder uw boodschappenlijstje naar de supermarkt bent gegaan om wat groenten en huishoudelijke artikelen te kopen. Het maximale aantal boodschappen dat je onthoudt tijdens het winkelen is het contextvenster. Hoe meer boodschappen u kunt onthouden, hoe groter de kans dat u uw geplande winkelplannen niet verpest. Op dezelfde manier geldt dat hoe groter het contextvenster van een AI-model is, des te waarschijnlijker het is dat het model alles onthoudt wat het nodig heeft om u de beste resultaten te bieden.
Op het moment van schrijven is het Claude 2.1-contextvenster van Anthropic met 200 tokens het grootste contextvenster van elk openbaar beschikbaar AI-model. Het wordt gevolgd door GPT-4 Turbo met een contextvenster van 128 tokens. Google Gemini 1.5 biedt een miljoen contextuele vensters, vier keer groter dan al het andere op de markt. Dit leidt tot de grote vraag: wat is er speciaal in een contextvenster met een miljoen verschillende pictogrammen? Verifiëren Wat is de ChatGPT-tokenlimiet en kun je deze omzeilen?
Waarom is het contextvenster in Gemini 1.5 zo belangrijk?
Om het gedetailleerder te zeggen: het 200 contextvenster van Claude AI betekent dat het een boek van ongeveer 150 woorden kan opnemen en er antwoorden op kan geven. Dit is echt enorm. Maar Google Gemini 1.5 kan in één keer 700000 woorden bevatten!
Wanneer je een groot blok tekst in prompts van een AI-chatbot zoals ChatGPT of Gemini invoert, probeert deze zoveel mogelijk tekst op te nemen, maar hoeveel hij kan opnemen, hangt af van het contextvenster. Dus als je een gesprek van 100 woorden voert op een model dat slechts 28 woorden aankan, en je begint het vragen te stellen waarbij volledige kennis nodig is van de volledige 100 woorden van het gesprek, dan is het gedoemd te mislukken. .
Stel je voor dat je slechts 20 minuten van een film van een uur kijkt, maar wordt gevraagd om de hele film uit te leggen. Hoe goed zullen uw resultaten zijn? Weiger te antwoorden of verzin gewoon dingen, en dat is precies wat een AI-chatbot zal doen, wat resulteert in... Hallucinaties van kunstmatige intelligentie.
Als je denkt dat je nog nooit 100 woorden in een chatbot hebt hoeven invoeren, is dat niet het enige dat telt. Het contextvenster gaat verder dan de tekst die in slechts één prompt naar het AI-model wordt gevoerd. AI-modellen houden rekening met het hele gesprek dat u voert tijdens een chatsessie om ervoor te zorgen dat hun antwoorden zo relevant mogelijk zijn.
Dus ook al geef je het model geen boek van 100 woorden, toch tellen je heen-en-weer-gesprekken en de antwoorden die het geeft allemaal op tot de berekening van het contextvenster. Vraag je je af waarom ChatGPT of Gemini van Google steeds dingen vergeet die je eerder in het gesprek hebt gezegd? Het kan zijn dat hij geen contextvensterruimte meer had en dingen begon te vergeten.
Het grotere contextvenster is vooral belangrijk voor taken die een diepgaand begrip van de context vereisen, zoals het samenvatten van lange artikelen, het beantwoorden van complexe vragen of het handhaven van een samenhangend verhaal in de gegenereerde tekst. Wil je een roman van 50 woorden schrijven met een consistent verhaal? Wil je een model dat kan 'kijken' en vragen kan beantwoorden in een video van een uur? Je hebt een groter contextvenster nodig!
Kortom, het grotere contextvenster van Gemini 1.5 kan de prestaties van zijn AI-model aanzienlijk verbeteren, hallucinaties verminderen en de nauwkeurigheid en het vermogen om instructies beter te volgen dramatisch vergroten.
Zal Gemini 1.5 de verwachtingen waarmaken?
Als alles volgens plan verloopt, zal Gemini 1.5 waarschijnlijk beter presteren dan de beste AI-modellen op de markt. Gezien de talrijke mislukkingen van Google bij het opbouwen van een stabiel AI-model is het echter belangrijk om voorzichtig te zijn. Alleen het verhogen van het contextvenster van het formulier verbetert het formulier niet automatisch.
Ik gebruik het 2.1k Claude 200-contextvenster al enkele maanden sinds de release ervan, en één ding was mij duidelijk: een groter contextvenster kan de contextgevoeligheid echt verbeteren, maar problemen met de prestaties van het onderliggende model kunnen een grotere context problematisch maken. ervoor.
Zal Google Gemini 1.5 een gamechanger zijn? Sociale media zijn momenteel gevuld met lovende recensies voor Gemini 1.5 van gebruikers met vroege toegang. De meeste vijfsterrenrecensies komen echter voort uit overhaaste of simplistische gebruiksscenario's. Een goede plek om te controleren hoe de Gemini 1.5 in het wild presteert, is in het technisch rapport Google Gemini 1.5 [PDF]. Uit het rapport blijkt dat het model zelfs tijdens ‘gecontroleerd testen’ niet in staat was alle fijne details van documenten binnen de grootte van het contextvenster op te halen.
Een contextvenster van één miljoen tokens is al een indrukwekkende technische prestatie, maar zonder de mogelijkheid om op betrouwbare wijze documentdetails op te halen, heeft een groter contextvenster van weinig praktische waarde en kan het de oorzaak worden van verminderde nauwkeurigheid en extra hallucinaties. Je kunt nu bekijken Beyond ChatGPT: een visie op de toekomst van chatbots en generatieve AI?
