ACHTERGROND FILMINDUSTRIE

Hoe gametechniek
de filmwereld verandert

In de nieuwste (en duurste) series hoeven acteurs niet meer voor groene schermen te doen alsof ze met aliens vechten of gebouwen opblazen. Met enorme ledschermen komen de visual effects haarscherp de studio in.

Wie van films houdt, weet hoe het is om bedrogen te worden. Tom Cruise rennend en schietend op een ruimtebasis? Nee hoor, de echte Tom Cruise rent voor de groene achtergrond van de filmstudio. Rennen doet hij naar een ander groen scherm. Wie dus nog beter weten hoe het is om bedrogen te worden, zijn Tom Cruise, de regisseur en cameraman. Zij moeten op een set met groene schermen doen alsof ze op miljarden kilometers van de planeet aarde vandaan zijn. Achteraf toveren de computertechnici de groene muren om tot een geloofwaardige verre planeet.

Cameraman Baz Idoine (57) heeft vaak genoeg met green screens gewerkt. Voor Mission Impossible 4 bijvoorbeeld, of voor Star Wars-film Rogue One. Vorig jaar veranderde dat allemaal. De Nieuw-Zeelander ging als belangrijkste cinematograaf aan de slag bij het eerste seizoen van The Mandalorian, de Star Wars-serie die het paradepaardje is van de nieuwe streamingdienst Disney+. Idoine kreeg te horen dat de opnamen op woestijnplaneten en ruimtewerelden noch in Marokko of op Antarctica, noch voor groene schermen zouden plaatsvinden.

De serie zou worden opgenomen op een geheel nieuwe wijze: tussen immense muren van videoschermen, waarop tijdens het filmen woestijnlandschappen, donkere loodsen of romantische zonsondergangen te zien zijn. Dat zouden geen filmbeelden of vooraf gemaakte animaties zijn, maar werelden die met gametechnologie in real time konden ontvouwen, live meebewegend met de positie van de camera. Net als in games zouden de beelden op de videomuren rondom de acteurs bewegen en in een vingerknip veranderen van een woestijn naar een sneeuwlandschap. Het licht op de schermen zou realistisch op de acteurs vallen, alsof er echt bij zonsopgang in de Sahara is gefilmd.

Acteurs hoeven zich zo geen woestijn in te beelden, visualeffectsteams niet alles achteraf te bewerken en de belichting realistischer ogen. Disney had de handen ineengeslagen met onder meer gameontwikkelaar Epic Games en camerafabrikant Arri en investeerde miljoenen. Over de precieze uitgaven doet de filmstudio uiterst geheimzinnig, maar de kosten van de schermen alleen al worden geschat op 2,5- tot 5 miljoen euro – en dan worden de computers die de beelden genereren niet eens meegerekend.

De schermen kosten naar schatting tussen de 2.5 en 5 miljoen euro. 

Idoine was sceptisch of het echt zo goed zou werken, maar kreeg kippevel bij de eerste grote opnamedag, vertelt hij via Skype. In een Disney-studio in Los Angeles filmde hij een testshot waarin de hoofdpersoon over een ijslandschap naar een stadje loopt. Het shot begon laag, vervolgens draaide hij de camera met een kraan omhoog om het bredere landschap te zien. Door zijn lens zag Idoine een besneeuwde wereld ‘alsof ik echt op Antarctica was’. Ondanks de camerabeweging was het niet te merken dat de acteur tussen platte schermen stond, doordat de beelden zich aanpasten aan de camera. ‘Het testshot bleek zo goed, dat dit het openingsbeeld van de serie is geworden.’

The Mandalorian markeert volgens de makers een volgende stap in de manier waarop technologie film naar een hoger plan tilt. Honderd jaar geleden bestonden decors nog uit geschilderde platen. Daarna werden het projecties op doeken: in oude James Bond-films stuurt Sean Connery manisch, terwijl achter hem korrelige landschappen zijn geprojecteerd. Blauwe en groene schermen kwamen in opmars sinds de jaren tachtig en lieten kijkers daarna opgaan in de werelden van Harry Potter en The Lord of the Rings. Nu moeten enorme videomuren met gamebeelden een nieuw tijdperk van visual effects inluiden.

Het ‘testshot’ van Idoine werd het openingsbeeld van The Mandalorian.

Is de technologie echt zo veelbelovend als Disney doet geloven of blijft het een peperdure gimmick? En hebben Nederlandse filmmakers – die werken met een fractie van het geld van Hollywoodproducties – hier überhaupt iets aan?

Previsualisatie

Het idee voor de peperdure videoschermen werd ironisch genoeg geboren uit geldnood. Regisseur Jon Favreau (Jungle Book, The Lion King) wilde met zijn Star Wars-serie hetzelfde gevoel creëren als de eerste films uit de jaren zeventig en tachtig, waarvoor scènes op een woestijnplaneet in de woestijn werden gefilmd. Favreau wilde zijn serie onder andere in Marokko opnemen voor datzelfde cowboygevoel. Maar waar Hollywoodfilms al snel budgetten van 100- tot 200 miljoen euro hebben, moeten series het met minder geld voor meer minuten doen, en bleek het reizen over de wereld niet haalbaar.

Hoe krijg je alsnog dat gevoel van natuurlijke omgevingen, iets dat met green screens vaak niet helemaal lukt? Favreau was in eerdere films al groot voorstander van previsualisatie: het vooraf digitaal creëren van filmwerelden, in plaats van alle computeranimaties pas na de opnamen maken. Wat als de werelden uit de oude Star Wars-films op die manier al realistisch op de set te zien zouden zijn, waardoor het toch zou voelen alsof ze in Marokko zijn. Kon dat?

De software achter het spel Fortnite genereert de virtuele sets van The Mandalorian. 

Zo kwam hij bij Epic Games terecht. De gamestudio is al ruim twintig jaar de maker van een van de belangrijkste game engines ter wereld, de software waar honderden spellen op draaien. Tegenwoordig wordt die Unreal Engine niet alleen maar voor games gebruikt: ook voor Game of Thrones werd de previsualisaties ermee gemaakt, zodat makers in groene studio’s van tevoren weten hoe hun scène eruit gaat zien. Mede door het plotse financiële succes van hun game Fortnite is het Epic Games gelukt er livebeelden mee te genereren die haast niet van echt te onderscheiden zijn. Precies waarnaar Favreau op zoek was.

Pixels

De schaal waarop Disney de schermen wilde inzetten – met een enorme videomuur van bijna 360 graden in de rondte – was nieuw, net als de inzet van gamebeelden. Maar de toepassing van ledschermen op filmsets is al een jaar of tien in ontwikkeling, zegt Marijn Eken, docent visual effects aan de Filmacademie.

In de ruimtefilm Gravity (2013) werden ze gebruikt voor de belichting van George Clooney en Sandra Bullock. Maar de ledjes waren veel te groot om geloofwaardig als ruimtelandschap vast te leggen: je kon de pixels tellen. Voor Rogue One (2018) werkte Baz Idoine met ledschermen buiten de cockpit van een nagebouwd ruimteschip, ‘met fantastische beelden van een exploderende planeet’. De leds waren kleiner, maar nog steeds te groot. De schermen werkten als referentiepunt voor acteurs, voor reflectie en lichtinval in de cockpit, maar achteraf moest alsnog de achtergrond worden ingevoegd, net als bij groene schermen.

De leds zijn bij The Mandalorian klein genoeg om (meestal) probleemloos te filmen.

De huidige generatie schermen, die veel bij concerten worden gebruikt, heeft leds die klein genoeg zijn om als geloofwaardig decor te dienen. Zó klein, dat Idoine tijdens de opnamen van The Mandalorian soms het gevoel had dat hij echt in de woestijn was als hij door zijn lens keek. ‘Cameramensen proberen altijd de magie van licht te vangen, bijvoorbeeld als de zon net achter een wolk vandaan komt. Met die schermen konden we zo’n perfecte lichtsituatie op de set krijgen, op pauze zetten, en er de hele dag mee filmen. Voor filmmakers is dit een droom die uitkomt.’

Idoine noemt de technologie – de combinatie van de schermen en de virtuele wereld die meebeweegt met de positie van de camera – ‘absoluut revolutionair’. Ja: er zijn nog kinderziekten. Zo kun je nog niet altijd scherpstellen op de schermen zonder dat je storing in beeld krijgt of toch ziet dat het een scherm is. Maar over twee tot vijf jaar heeft elke grote Hollywoodstudio een studio met zulke videomuren, denkt hij.

Voor en na: op de set en in de uiteindelijke tv-serie. 

Richard Bluff, hoofd visual effects van de Star Wars-serie, weet dit ‘absoluut zeker’. Wereldwijd worden er nu al meerdere megaschermstudio’s opgetuigd. Bij de net afgeronde opnamen van het tweede seizoen van The Mandalorian hebben ze een nóg grotere opstelling gebruikt. Dat kost miljoenen, maar kan op termijn ook geld besparen, zeker bij series met meerdere seizoenen die zich terugkerend op dezelfde locaties afspelen.

De live-gegenereerde gamebeelden kunnen ook op kleinere en goedkopere schaal ingezet worden, zegt Morin van Epic Games. Bijvoorbeeld bij de nieuwe HBO-serie Run (2020), die zich deels in een trein afspeelt. ‘De makers daarvan hebben 32 televisieschermen om de treincoupé gezet, het landschap buiten wordt door onze game-motor gegenereerd.’

Nederland

Kan de Nederlandse filmindustrie profiteren van deze techniek? Ja en nee, zegt cameraman Bert Pot in een telefoongesprek. De schaal waarop Disney het nu heeft toegepast (en hoogstwaarschijnlijk meer gaat toepassen) is in Nederland niet haalbaar. Het is simpelweg te duur, zegt Pot. Van het budget van zo’n studio worden hier waarschijnlijk tientallen films gemaakt. Hij kan het maakproces van The Mandalorian maar lastig bewonderen, omdat de Gouden Kalf-winnaar zelf nooit met een videomuur op die schaal zal werken. Hij geeft lachend toe dat het ‘inderdaad jaloezie’ is.

Maar het gebruik van videoschermen op film- en televisieset is ook in Nederland in opkomst. Voor de thriller Bumperkleef ontwikkelde Pot zelf een installatie. Pot reed met een auto vol camera’s over de A2 en toonde die beelden vervolgens op ledschermen op de set, waarvan hij met eigen software de invalshoek liet matchen met de positie van de camera. Volgens hem was het voor acteurs Jeroen Spitzenberger en Anniek Pheifer makkelijker inleven dan met groene schermen, creëerde het ‘meer tastbaarheid’ op de set en werd de belichting er beter door. En, voor de Nederlandse film misschien het belangrijkst: hierdoor hoefden ongeveer driehonderd shots niet door visualeffectsteams nabewerkt te worden. ‘Dat heeft zo’n 25 duizend euro bespaard.’

De makers van Bumperkleef pasten een vergelijkbare (maar veel goedkopere) techniek als bij The Mandalorian toe. Beeld: Topkapi Films | Planet X

Filmacademiedocent Eken kijkt vooral met belangstelling hoe de filmwereld en de gamesindustrie meer met elkaar vervlochten raken. Hij denkt dat het de komende jaren steeds efficiënter wordt om virtuele filmsets in gamesoftware te bouwen dan in klassieke animatieprogramma’s, omdat die ontwikkeld zijn om hele werelden soepeltjes te laten ontvouwen. ‘Ik zie nu al dat vanuit de Nederlandse filmwereld steeds meer op mensen uit de game-industrie wordt geaasd.’

Epic Games werkt al samen met de Noorse Filmacademie, laat Morin weten, om de toekomstige lichting computergenieën op te leiden. Ook in Nederland worden studenten visual effects geschoold voor de filmwereld zoals die over zeven jaar zal zijn, legt Eken uit. ‘Dat is gemiddeld de tijd tussen het begin van hun studie en het punt waarop ze stabiel werk hebben.’ De Nederlandse docent reageert geïnteresseerd als hij hoort over de samenwerking van de Fortnite-ontwikkelaar met de Noorse Filmacademie. ‘Ik ga het bedrijf zeker ook benaderen.’

De ontwikkeling van decors in drie films

Achtergrondprojectie in Dr. No (1962)

In de openingsachtervolging van de allereerste James Bondfilm zien kijkers Sean Connery achter het stuur in een filmstudio, met de achtervolgende auto op een doek achter hem geprojecteerd. Afgewisseld wordt de echte achtervolging op een zandweg met een stunt-double getoond. Destijds vernuftig, nu duidelijk nep. Vooral omdat Bonds manische gestuur geen invloed heeft op de projectie achter hem en zijn onnatuurlijk belichte gezicht brandschoon blijft.

Green screen in Sky Captain and the World of Tomorrow (2004)

Vroege varianten van ‘blue screen’ en ‘green screen’ worden sinds The Thief of Bagdad (1940) in Hollywood ingezet. Maar pas in de laatste dertig jaar ontstond de overtuiging dat fikse delen van Hollywoodfilms prima tussen groene muren kunnen worden opgenomen, met effecten die later worden toegevoegd. Een extreem voorbeeld is het futuristische Sky Captain met Angelina Jolie: pakweg die hele film werd tussen blauwe schermen opgenomen. Recensenten waren verdeeld: van ‘triomf van technisch meesterschap’ tot een film ‘zo mechanisch dat de acteurs ook computergegenereerd hadden mogen zijn’.

Ledschermen in Gravity (2013)

In Gravity worden astronauten (gespeeld door George Clooney en Sandra Bullock) getroffen door een meteorietenregen. Een barre overlevingsstrijd volgt, maar wie Bullock in de ‘making of’ ziet, krijgt mogelijk nog meer medelijden met haar dan in de daadwerkelijke film. Omklemd in een mechanisme wordt de actrice geschud en rondgedraaid in ‘de lichtdoos’: een kubus van ledschermen met de zon die haar geloofwaardig belicht. De ledrevolutie in Hollywood begint hier.