Vi har jobbat mycket med Internetstiftelsen genom åren. Bland mycket annat har vi byggt en gedigen plattform för den årliga undersökningen Svenskarna och internet, gjort UX, illustrationer och animationer för Digitala lektioner, skapat struktur och design för Internetmuseum mm mm.
Nu fick vi uppdraget att skapa en iögonfallande toppvideo till den nya digitala utställningen “Svenska influencers” på Internetmuseum. Det fanns en del ramar att förhålla sig till. Videon skulle fungera i befintlig layout, med text ovanpå videon i breda skärmar. Ett antal svenska influerares ansikten skulle vara med. Inget videomaterial fanns att tillgå, enbart stillbilder, främst porträttbilder.
Vid genomgången av bildmaterialet visade det sig att många av influerarna hade snarlika ansiktsuttryck och mimik. Blicken i rakt in i kameran, synliga tandrader. Positiva och inbjudande. Då föddes tanken på att skapa en förvandlingseffekt mellan ansiktena liknande den i 90-talsvideon till Black or White. I sin samtid var det en av de mest påkostade och avancerade videoeffekter som gjorts.
Efter att ha testat möjligheten att skapa effekten manuellt i Adobe After Effects kunde vi konstatera att det tillvägagångssättet var tidskrävande och krävde hårt mallade rörliga bilder för att det skulle bli bra.
Istället testade vi vår idé mot några olika tjänster för att skapa AI-videor. Bäst lämpad i det här fallet var Runway. Helt avgörande var funktionen att använda foton för att definiera första och sista bildrutan i videon. Baserat på dessa foton skapar tjänsten ett AI-genererat videoklipp. På sätt och vis ville vi manipulera AI:n till att tolka två olika ansikten som ett och samma, så att videon som skapas gör en mjuk övergång från det ena ansikte till det andra.
För att få ut rena och fina videoklipp att jobba vidare med i postproduktionen så frilade vi alla bilder i Photoshop. Vi beskar dem till formatet 16:9, med ansiktena i samma storlek placerade på ungefär samma ställe. Då Runway inte hanterar transparens så skapade vi en artificiell green screen, genom att lägga rätt grön färgnyans som bakgrund på alla frilagda bilder. Nu var det dags att experimentera med video-genereringen. Vid några initiala försök hade vi turen att få rätt effekt utan text-prompt. Men sedan ville AI-motorn gärna lägga ett klipp eller en övertoning i mitten istället för den eftersträvade förvandlingen. Men med lite googling kunde vi hitta en formulering på text-prompt som oftare gav önskat resultat, även om det kunde krävas ett par försök innan det blev rätt.
Videorna som skapas i Runway är antingen i liggande eller stående 16:9-format. Till toppvideon behövde vi ett bredare format än så, dessutom med en fri yta att lägga text på. Då vi skapade klippen med en artificiell green screen var detta i flera av klippen inte något problem, vi kunde maska bort bakgrunden med en keying-effekt. Dock hände det att de AI-skapade videoklippen innehöll armar, tyger och annat som beskars av bildrutan. Men då fanns fler verktyg i Runway som gjorde att vi kunde hantera detta.
I sitt grundutförande blir AI-videorna från Runway 1280×768 pixlar stora. Men det går att konvertera dem till 4K-storlek. Det finns även en funktion där ett klipp i liggande format kan göras om till stående format, där AI:n skapar det kompletterande videoinnehåll som behövs för att fylla ut bildrutan. Samma sak kan göras med ett klipp i stående format som formateras om för liggande format.
Så med hjälp av dessa funktioner kunde vi ta hand om avklippta armar och tygstycken från de ursprungliga klippen i fyra steg:
Först uppkonverterades klippet till 4K-storlek. Sedan skapades en stående version av detta klipp som fyllde ut bilden upptill och nedtill. Den stående versionen kunde sedan användas som bas för ett nytt liggande klipp som då blev mer “utzoomat” och innehöll i de delar som tidigare varit avklippta. Detta “utzoomade” klipp kunde sedan läggas under ursprungsklippet för att fylla där det behövdes. (De nya klipp som på detta sätt skapats genom att ai-generera nya videor baserade på tidigare ai-genererade videor hade inte lika väldefinierade detaljer i ansikten osv. Därför gav en kombination av klippen bäst resultat).
Övergångarna blev oftast bäst och intressantast om det fanns detaljer i bilderna som matchade, t ex en tröja i samma färg.
När vi skapat alla övergångar vi ville ha, inklusive en övergång från det sista till det första ansiktet för att få en sömlös loop, så återstod en hel del postproduktion. T ex var alla klipp 5s långa, och övergångarna var alltid i slow motion. Tagna rakt av blev detta inte särskilt dynamiskt. Men det var väldigt tacksamt att ha som grund att jobba med timingen, då det fanns möjlighet att skapa snygga tempoförändringar i alla övergångar. Då man inte har full kontroll om över resultatet i en AI-genererad video så var där en del rörelser, in- och utzoomningar, små kameraåkningar och annat som behövde hanteras för att resultatet skulle bli bra. På alla klippen applicerades även en keying-effekt för att få bort bakgrunden, och där fick man finjustera inställningarna, precis som med autentiska green screen-filmade videor.