In een wereld die steeds meer op video is gebaseerd, worden tools voor het maken en bewerken van video's steeds belangrijker. Het videobewerkingsproces is echter nog steeds complex en tijdrovend, vooral voor beginners.
Terwijl de snelheid van de AI-ontwikkeling een punt nadert dat het menselijk begrip te boven gaat, is OpenAI's Sora, die tekstprompts in video omzet, slechts de nieuwste AI-technologie die de wereld schokt en laat beseffen dat dingen sneller gebeuren dan iemand had verwacht.
OpenAI Sora is een innovatieve technologie die erop gericht is video's op een efficiënte en innovatieve manier te converteren en te bewerken. Dit model roept vragen op over de omvang van de impact ervan op de video-industrie, en zal het bijdragen aan het voor altijd veranderen van de manier waarop video wordt geproduceerd en gemonteerd? In dit artikel onderzoeken we het concept van OpenAI Sora en de potentiële mogelijkheden ervan, waarbij we bekijken hoe dit de video-industrie zal beïnvloeden en wat deze innovatie zou kunnen betekenen voor zowel gebruikers als makers. Verifiëren Beste AI-videogeneratoren (tekst naar video).
Snelle links
Wat is OpenAI Sora?
Net als andere generatieve AI-modellen zoals DALL-E en MidJourney, neemt Sora tekstaanwijzingen van u en verandert deze in een visueel medium. In tegenstelling tot de hierboven genoemde AI-aangedreven beeldgeneratoren creëert Sora echter een video vol beweging, verschillende camerahoeken, richting en al het andere dat je van een traditioneel geproduceerde video zou verwachten.
Kijkend naar de voorbeelden op Sora-websitezijn de resultaten vaak niet te onderscheiden van echte, professioneel geproduceerde video's. Alles, van high-end drone-shots tot volwaardige filmproducties van meerdere miljoenen dollars met acteurs, gecreëerd door kunstmatige intelligentie, speciale effecten en de werken.
Natuurlijk is Sora niet de eerste technologie die dit doet. Veruit de meest zichtbare leider op dit gebied is geweest BaanML, dat zijn diensten tegen betaling aan het publiek aanbiedt. Maar zelfs onder de beste omstandigheden staan de video's van Runway dichter bij de eerste generaties MidJourney-stilstaande beelden. Er is geen beeldstabilisatie, de natuurkunde klopt niet, en terwijl ik dit artikel schrijf, duurt de langste clip ongeveer 16 seconden.
De beste waarde die Sora te bieden heeft is daarentegen volledige stabiliteit, met een fysica die goed aanvoelt (in ieder geval voor onze hersenen), en clips kunnen wel een minuut lang duren. De clips zijn volledig audiovrij, maar er zijn al andere AI-systemen die dat wel kunnen Muziek genereren Geluidseffecten en spraak. Ik twijfel er dus niet aan dat deze tools kunnen worden geïntegreerd in Sora's workflow, of in het ergste geval in traditionele voice-over en foley-werk. Verifiëren De meest interessante en interessante AI-tools om uit te checken.
Het kan niet genoeg benadrukt worden wat een enorme sprong voorwaarts Sora is vergeleken met de nachtmerrieachtige AI-videobeelden van slechts een jaar vóór de Sora-demo. Zoals de uiterst verontrustende AI-video van Will Smith eet spaghetti. Ik denk dat dit een grotere schok voor het systeem is dan toen AI-beeldgeneratoren van een grapje veranderden in een existentiële angst in de harten van beeldende kunstenaars.
Sora zal waarschijnlijk een impact hebben op de hele video-industrie, van single-shot-makers tot het niveau van grote budgetprojecten van Disney en Marvel. Niets zal dit overleven. Ik denk dat dit vooral waar is omdat Sora geen dingen hoeft te maken van hele stof, maar kan werken met bestaande materialen, zoals het animeren van een stilstaand beeld dat je hebt aangeleverd. Dit zou het echte begin kunnen zijn van het maken van AI-films.
Hoe werkt Sora?
We zullen zoveel mogelijk in Sora's karakter duiken, maar het is niet mogelijk om zo gedetailleerd in te gaan. Ten eerste is OpenAI ironisch genoeg niet open over de innerlijke werking van zijn technologie. Het is bedrijfseigen, dus de geheime saus die Sora onderscheidt van de concurrentie is ons tot in de kleinste details onbekend. Ten tweede ben ik geen computerwetenschapper, en misschien ben jij ook geen computerwetenschapper, dus we kunnen alleen in brede, algemene termen begrijpen hoe deze technologie werkt.
Het goede nieuws is dat er een uitstekende walkthrough van Sora (abonnement beschermd) beschikbaar is Mike Jong Op medium, gebaseerd op Technisch rapport van OpenAI Dat is gedetailleerd zodat wij, gewone mensen, het kunnen begrijpen. Hoewel beide documenten de moeite waard zijn om te lezen, kunnen we hier de belangrijkste feiten eruit halen.
Sora is gebouwd op de lessen die OpenAI heeft geleerd bij het maken van modellen zoals ChatGPT of DALL-E. OpenAI heeft uitgevonden hoe Sora op voorbeeldvideo's kan worden getraind door deze video's te segmenteren in 'patches' die vergelijkbaar zijn met de 'tokens' die worden gebruikt door het ChatGPT-trainingsmodel. Omdat deze tokens allemaal even groot zijn, zijn zaken als cliplengte, beeldverhouding en resolutiegrootte voor Sora niet van belang.
Sora gebruikt dezelfde brede transformatiebenadering die GPT aandrijft, gecombineerd met de propagatiemethode die wordt gebruikt door AI-beeldgeneratoren. Tijdens de training wordt gekeken naar gedeeltelijk doorgegeven patchtokens uit een video en wordt geprobeerd te voorspellen hoe een ruisvrij token eruit zou zien. Door dit te vergelijken met de grondwaarheid leert het model de ‘taal’ van de video. Daarom zijn de voorbeelden uit Sora-website Het ziet er heel origineel uit.
Naast deze geweldige mogelijkheid heeft Sora ook zeer gedetailleerde ingebouwde annotaties voor de videoframes waarvoor hij is getraind, wat een groot deel van de reden is dat hij de video's die hij maakt kan bewerken op basis van tekstprompts.
Sora's vermogen om natuurkunde nauwkeurig te simuleren in video's lijkt een nieuwe functie te zijn, die eenvoudigweg voortvloeit uit zijn training op miljoenen video's met beweging gebaseerd op natuurkunde uit de echte wereld. Sora heeft een uitstekende objectstabiliteit, zodat wanneer het object het frame verlaat of wordt gehinderd door iets anders binnen het frame, het daar blijft en zonder enige verstoring terugkeert.
Er zijn echter soms nog steeds problemen wanneer objecten in de video interageren met causaliteit en met automatische objectcreatie. Enigszins grappig is dat Sora af en toe links en rechts door elkaar lijkt te halen. Wat tot nu toe is gedemonstreerd, is echter niet alleen daadwerkelijk bruikbaar, maar bevindt zich zeker op het snijvlak van de technologie.
Wanneer is Sora bereikbaar?
We zijn dus allemaal erg enthousiast om Sora te testen, en je kunt garanderen dat ik het zal gebruiken en zal schrijven over hoe goed deze technologie precies is als het ons geen vlekkeloze resultaten laat zien, maar als dat wel het geval zou kunnen zijn, zal het wel gebeuren. het gebeurt?
Op het moment van schrijven is het niet precies duidelijk hoe lang het zal duren voordat Sora beschikbaar wordt voor het grote publiek, of hoeveel het zal kosten om er toegang toe te krijgen. OpenAI zei dat het model in handen is van het 'Rode Team', een groep mensen wiens taak het is om te proberen Sora alle kwade dingen te laten doen die hij niet hoort te doen, en vervolgens te helpen vangrails tegen dat soort dingen op te zetten. Het gebeurt wanneer echte klanten het kunnen gebruiken. Dit omvat de mogelijkheid om misleidende informatie te creëren, aanstootgevend of aanstootgevend materiaal te creëren, en vele andere schendingen die men zich kan voorstellen.
Op het moment van schrijven is het ook in handen van geselecteerde makers van inhoud, waarvan ik denk dat het bedoeld is voor testdoeleinden, en om beoordelingen en goedkeuringen van derden te krijgen terwijl we op weg zijn naar de definitieve release.
Het komt erop neer dat we eigenlijk niet weten wanneer het beschikbaar zal zijn, net zoals je kunt betalen om DALL-E 3 te gebruiken, en zelfs OpenAI heeft zelfs nog geen exacte datum. Dit is eenvoudigweg omdat als het in handen is van veiligheidstesters, zij problemen kunnen ontdekken die langer duren dan verwacht om op te lossen, waardoor de publieke release zal worden vertraagd.
Het feit dat OpenAI zich klaar voelt om met Sora te pronken en zelfs een aantal gecoördineerde publieke claims te maken via Safety ontdekt, kan niemand met zekerheid zeggen. Ik denk dat we het over maanden hebben, niet over jaren, maar verwacht dat volgende week niet. Je kunt nu bekijken Ethische AI-tools voor artiesten en makers.
