Als u geïnteresseerd bent in het trainen van uw AI-model in Natural Language Processing (NLP) of computervisie, moet u meer te weten komen over Transfer Learning en hoe u vooraf getrainde modellen kunt gebruiken.
Zonder overdrachtsleren is het trainen van een efficiënt en betrouwbaar model vaak een resource-intensieve onderneming, die veel geld, tijd en expertise vereist, aangezien naar schatting een ChatGPT-ontwikkelaar miljoenen heeft uitgegeven aan het trainen van GPT-3, GPT-3.5, en GPT-4. Met de kracht van leeroverdracht kunt u uw model in korte tijd met weinig middelen trainen met de kracht van het nieuwere GPT-model. Verifiëren Manieren om ChatGPT te gebruiken als gegevensanalysator.
Snelle links
Wat is overdrachtsleren in AI?
Transfer learning is het idee om een vooraf getraind model zoals BERT of een van de verschillende GPT-modellen te nemen en het te trainen op een aangepaste dataset om te werken aan taken waarvoor het niet per se is opgeleid.
U kunt bijvoorbeeld een model nemen dat is voorgetraind om verschillende soorten katten te classificeren en dit trainen om honden te classificeren. Door middel van overdrachtsleren zou het trainen van het hondenclassificatiemodel veel minder tijd en middelen moeten kosten om net zo betrouwbaar te worden als het originele kattenclassificatiemodel.
Dit werkt omdat katten en honden veel eigenschappen delen die het vooraf getrainde model al kan identificeren. Omdat het kattenclassificatiemodel verschillende eigenschappen van katten kan identificeren, zoals het hebben van vier poten, bontjassen en prominente neuzen, kan het hondenclassificatiemodel al die training overslaan om die eigenschappen te identificeren die het van het oorspronkelijke model heeft geërfd. Na al deze geërfd te hebben neurale netwerken , verwijdert u vervolgens de laatste lagen van het getrainde model dat wordt gebruikt om de meest specifieke kenmerken van de kat te identificeren en vervangt u deze door een hondspecifieke dataset.
Welke AI-modellen kun je gebruiken om leren over te dragen?
Om transfer learning te gebruiken, heb je een vooraf getraind model nodig. Een vooraf getraind model staat bekend als een AI-model dat is getraind met als doel algemene kennis over een bepaald onderwerp of idee te verwerven. Dit soort vooraf getrainde modellen zijn speciaal ontworpen voor mensen om meer modellen te verfijnen en te creëren voor verschillende doeleinden. Enkele van de meest populaire vooraf getrainde modellen zijn voor NLP, zoals BERT en GPT, en computervisie, zoals VGG19 en Inceptionv3.
Hoewel ze gebruikelijk zijn, zijn deze eenvoudig afstembare modellen niet de enige die u kunt gebruiken om leren over te dragen. U kunt ook modellen gebruiken die zijn getraind voor meer specifieke taken dan objectherkenning of taal in het algemeen. Zolang het model neurale netwerken heeft ontwikkeld die van toepassing zijn op het model dat u probeert te trainen, kunt u elk model gebruiken om het leren over te dragen.
U kunt openbaar beschikbare, vooraf getrainde modellen krijgen van plaatsen als TensorFlow Hub, Hugging Face en de OpenAI Model Marketplace. Verifiëren Een machine learning-model maken met Microsoft Lobe.
Voordelen van het gebruik van overdrachtsleren in kunstmatige intelligentie
Leren overdragen biedt verschillende voordelen ten opzichte van het helemaal opnieuw trainen van een AI-model.
- Verkort de trainingstijd: Bij het vanaf nul trainen van een model wordt een groot deel van het trainingsproces besteed aan algemene basiskennis. Door middel van transfer learning erft uw model automatisch al deze basiskennis, waardoor de trainingstijd aanzienlijk wordt verkort.
- Minder resourcevereisten: Aangezien alle basiskennis al aanwezig is, hoeft u het model alleen maar te blijven trainen op de details van uw toepassing. Vaak is hiervoor slechts een relatief kleine dataset nodig die met minder rekenkracht kan worden verwerkt.
- Verbeterde prestatie: Tenzij u miljoenen dollars uitgeeft om uw model helemaal opnieuw op te bouwen, kunt u van een gigantisch technologiebedrijf geen model verwachten dat even goed of zo betrouwbaar is als een groot taalmodel (LLM). Met transfer learning kunt u gebruikmaken van de krachtige mogelijkheden van deze vooraf getrainde LLM's, zoals GPT, om de prestaties van uw model te verbeteren.
Het is mogelijk om een AI-model vanaf nul te trainen, maar daar heb je meer middelen voor nodig.
Hoe werkt leeroverdracht?
In principe zijn er drie fasen als het gaat om overdracht van leren.
- Kies een vooraf getraind model: Het vooraf getrainde model ondergaat een initiële training met behulp van een grote dataset van een belangrijke bron, zoals ImageNet, of een grote set scripts. Deze initiële trainingsfase stelt het model in staat om kennis op te doen van de algemene kenmerken en patronen in de dataset. De hoeveelheid tijd en middelen die u bespaart door leeroverdracht, hangt af van de overeenkomsten tussen het vooraf getrainde model en het model dat u probeert te bouwen.
- kenmerk extractie: zodra een vooraf getraind model is gekozen om af te stemmen, blijven de eerste lagen van het vooraf getrainde model (het dichtst bij de invoer) over; Dit betekent dat de gewichten constant blijven tijdens de fijnafstelling. Door deze lagen te bevriezen, blijft de algemene kennis die tijdens de pre-training is opgedaan behouden en wordt voorkomen dat deze te veel wordt beïnvloed door de dataset van de taken van het doelmodel. Voor modellen die volledig zijn getraind voor specifieke toepassingen, worden de laatste lagen van de modellen verwijderd of pas geleerd als het doelmodel is getraind in andere specifieke toepassingen.
- Scherpstellen: Nadat het vooraf getrainde model is bevroren en de bovenste lagen zijn verwijderd, wordt een nieuwe dataset ingevoerd in het leeralgoritme, dat vervolgens wordt gebruikt om het nieuwe model en de toepassingseigenschappen ervan te trainen.
Er komt meer bij kijken dan de drie fasen, maar dit diagram laat grofweg in detail zien hoe het AI-overdrachtsproces werkt, met wat fijnafstemming.
Beperkingen van overdrachtsleren in kunstmatige intelligentie
Hoewel transfer learning een waardevol concept is bij het trainen van efficiënte en betrouwbare modellen, zijn er enkele beperkingen waar u rekening mee moet houden wanneer u transfer learning gebruikt om een model te trainen.
- Taak komt niet overeenBij het kiezen van een basismodel voor leeroverdracht moet dit zo relevant mogelijk zijn voor de problemen die het nieuwe model zal oplossen. Het gebruik van een model dat katten classificeert om een model voor het classificeren van honden te maken, levert waarschijnlijk betere resultaten op dan het gebruik van een model dat katten classificeert om een model voor planten te maken. Hoe geschikter het basismodel is voor het model dat u probeert te bouwen, hoe meer tijd en middelen u bespaart tijdens het leeroverdrachtsproces.
- vooringenomenheid van datasets: Hoewel vooraf getrainde modellen vaak worden getraind op grote datasets, is er nog steeds een mogelijkheid dat ze tijdens het trainen een bepaalde vooringenomenheid hebben ontwikkeld. Het gebruik van een sterk bevooroordeeld basismodel kan er ook voor zorgen dat het model zijn vooroordelen overneemt, wat de nauwkeurigheid en betrouwbaarheid van uw model vermindert. Helaas is het moeilijk om de oorsprong van deze vooroordelen vast te stellen vanwege de black box-aard van deep learning.
- extra uitrusting: Een van de belangrijkste voordelen van transfer learning is dat je een relatief kleine dataset kunt gebruiken om het model verder te trainen. Het trainen van het model op een zeer kleine dataset kan echter leiden tot overfitting, wat de betrouwbaarheid van het model sterk vermindert wanneer het wordt gevoed met nieuwe data.
Dus hoewel transferleren een nuttige leertechniek is voor AI, zijn er beperkingen en is het geen wondermiddel. Verifiëren De redenen waarom beveiligingsproblemen voor generatieve AI erger worden.
Moet je transferleren gebruiken?
Sinds de beschikbaarheid van vooraf getrainde modellen, wordt transformationeel leren al lang gebruikt om meer gespecialiseerde modellen te maken. Er is geen echte reden om transfer learning niet te gebruiken als er al een vooraf getraind model is dat relevant is voor de problemen die uw model zal oplossen.
Hoewel het mogelijk is om een eenvoudig machine learning-model helemaal opnieuw te trainen, vereist een deep learning-model veel gegevens, tijd en vaardigheden, wat niet logisch is als je een bestaand model kunt hergebruiken dat vergelijkbaar is met het model. je van plan bent te trainen. Als je dus minder tijd en geld wilt besteden aan het trainen van een model, probeer dan je model te trainen door middel van transfer learning. U kunt nu bekijken Online directories van AI-tools om de beste AI-toepassing te ontdekken of te zoeken.
