AI-genererade videor med konsekventa karaktärer och scener? Praktiskt test av Vidu.com
Frågor om artificiell intelligens.
Vidu.com hävdar att deras AI kan generera videor med konsekventa karaktärer och miljöer. Det skulle innebära att du kan sätta ihop flera sekvenser med samma "skådespelare" och potentiellt skapa hela (kort)filmer. Men fungerar det verkligen? Vi satte det på prov.Christian Hintze (översatt av DeepL / Ninh Duy) Publicerad 🇺🇸 🇩🇪 ...
Utlåtande - Stor potential, men inte där än
Potentialen (och riskerna) är imponerande. AI kommer utan tvekan att omforma inte bara innehållsskapande utan även film- och spelindustrin. Att ha konsekventa karaktärer, inställningar och miljöer är ett stort steg mot att göra AI-videogeneratorer praktiska utöver bara nyhetsanvändning.
Just nu är det dock inte riktigt där. Vad är poängen om personen förblir densamma (förutsatt att den ens gör det) men sedan går genom fasta föremål, plötsligt fördubblas eller får sex fingrar på ena handen?
För tillfället, Vidu.com mer som en leksak. Det är kul, men tekniken är ännu inte tillräckligt pålitlig för professionell användning inom film, reklam eller liknande områden. Det finns helt enkelt för många problem.
För
Emot
Priser och tillgänglighet
Vem som helst kan prova Vidu.com gratis efter att ha skapat ett konto. Systemet fungerar på krediter. Nya användare får några startkrediter, och du kan tjäna mer genom vissa åtgärder.
Det finns också månatliga och årliga prenumerationsalternativ.
Trots den berättigade kritiken tycker vi att AI på det här området är fascinerande. Men resultatet varierar kraftigt i kvalitet: å ena sidan kan du få otroligt detaljerade miljöer direkt från din fantasi. Å andra sidan stirrar AI-genererade människor ofta tomt ut i rymden eller rör sig i konstig slowmotion.
Så vi gav den nya AI-videogeneratorn Vidu.com en snurr själva. Utvecklarna lade vänligen till 500 krediter på vårt konto för testning. Plattformens flaggskeppsmodell, Vidu Q1, kan bearbeta upp till sju referensbilder i en enda videosekvens. Saknade element kan genereras genom textmeddelanden.
Vad kan du göra med Vidu?
Med Vidu kan du skapa AI-videor med hjälp av dessa verktyg:
- Text till video: Skriv en uppmaning som beskriver vad som ska hända i videon
- Bild till video: Generera en video från en enda bild. Ännu coolare: ange en start- och en slutbild, så fyller Vidu i övergången
- Referens till video: Den mest spännande funktionen. Ladda upp bilder av karaktärer, platser eller objekt, och AI försöker hålla dem konsekventa i en video.
utmatningen är Full HD, 16:9, med valfritt smartphone-format. Videor kan även skalas upp, t.ex. till 4K.
Praktisk erfarenhet - inlärningskurva, exakta anvisningar
Vår ambitiösa plan:
- Scen 1: En Notebookcheck-redaktör står på ett kontor och testar en bärbar dator.
- Scen 2: Han skriver in ett medelmåttigt betyg: Han skriver in ett medelmåttigt betyg.
- Scen 3: Klipp till ett annat kontor: Klipp till ett annat kontor, där män i kostym tittar på övervakningsbilder av redaktören som skriver in det dåliga betyget.
- Scen 4: En av kostymnissarna trycker på en larmknapp.
- Scen 5: Ett SWAT-liknande team skickas ut.
Totalt kartlade vi 10 grova scener.
1. Scen: Redaktör testar en bärbar dator
Vi använde ett äldre, inte helt uppdaterat foto av en av våra redaktörer som karaktärsreferens, plus ett kontorsfoto för miljön. Vi lade till vår Notebookcheck-logotyp, en bärbar dator och en fiktiv PC-varumärkeslogotyp ("Lavani"). Sedan gav vi följande uppmaning:
Kort sagt: vår redaktör (bild 1) ska stå på kontoret (bild 2) och testa en bärbar dator. På tegelväggen i bakgrunden ska Notebookcheck-logotypen (bild 3) visas.
Att rendera ett 5-sekunders klipp med Vidu Q1-modellen tar bara cirka 1-2 minuter och kostar 15-20 credits. Resultatet?
Vi var inte så nöjda med följande frågor:
- Varför matchar inte vår karaktärs frisyr referensfotot? Kommer den att vara konsekvent i senare scener?
- Varför förvandlades vår referenslogotyp till "notobochech"?
- Varför inkluderades inte den begärda kameravinkeln "över axeln"?
- Varför pratar klipparen i en mikrofon hela tiden?
För filmskapare gör detta det svårt att få exakt de kameravinklar och uppställningar som de beskriver.
Vi justerade vår prompt, men ju mer detaljer vi lade till, desto fler problem dök upp. Nu var frisyren korrekt, men plötsligt fanns det två tvillingredaktörer på skärmen. Sedan gick vår redaktör rakt genom ett skrivbord.
AI:n hade också problem med placeringen av förgrunden. Och trots upprepade uppmaningar blev det aldrig den efterfrågade bilden över axeln. Kort sagt, våra textinmatningar följdes inte exakt.
Bild till video
Vi lade vår ambitiösa kortfilmsidé åt sidan och provade Image-to-Video och övergångar mellan två referensbilder.
det första fungerade ganska bra. Till exempel gjordes vår bild av Illidan (från *Warcraft 3*) om till ett kort klipp. Kameran zoomade in på demonjägarens ansikte när han rynkade på näsan. På grund av upphovsrättsliga problem visar vi inte bilden eller videon här.
Slutligen testade vi en övergång mellan två bildrutor:
- Illidan står på en klippa.
- Illidan landar på marken.
Tanken: Illidan ska hoppa från klippan (bild 1) och landa på marken (bild 2). Men i den genererade videon förvandlades Illidan till en svart, fågelliknande skugga däremellan. Helt oanvändbar.
Sammanfattning
Att generera videor med Vidu.com är väldigt enkelt. Men att få exakt de scener, kameravinklar och åtgärder som du vill ha är allt annat än enkelt. Uppmaningar följs inte noggrant, referensbilder förvrängs (logotyp, frisyr), objekt förlorar fysisk konsistens (går genom ett skrivbord) eller andra fel uppstår (duplicerad redaktör).
Allt som allt är det lite frustrerande och gör det för närvarande nästan omöjligt att skapa verkligt konsekventa videor som är skräddarsydda efter din vision.
