Videotovenaar Denis Shiryaev

Stap in een tijdmachine: welkom in het Amsterdam van 1922, in kleur én HD

De videobewerker Denis Shiryaev maakt naam op YouTube met video’s waarin hij honderd jaar oude archiefbeelden omtovert tot levendige, kleurrijke filmpjes. Hoe doet hij dat?

Van alle filmpjes die de afgelopen maanden viraal gingen op YouTube, is er maar eentje die kijkers unaniem als ‘tijdmachine’ bestempelden. De video die Denis Shiryaev op 23 februari uploadde, komt volgens een kijker ‘dichter bij tijdreizen dan ooit’. Terwijl de Russische videobewerker en computernerd Shiryaev er maar een paar dagen voor nodig had.

De video van acht minuten toont archiefbeelden van New York in 1911. Op zichzelf is dat niet heel bijzonder: het internet staat vol filmopnamen van honderd jaar of meer geleden. Ook van Amsterdam zijn genoeg bewegende archiefbeelden te vinden uit de jaren twintig. Die zien eruit zoals je ze kent: trams in zwart-wit, een korrelige Dam en fietsers die haperig, frame voor frame, voortbewegen. Maar de beelden van New York zijn anders.

De ‘vernieuwde’ archiefbeelden van New York uit 1911.

Je ziet inwoners van 110 jaar geleden soepeltjes naar hun werk lopen, in hoge resolutie en zelfs in kleur. Mannen in pak met hoed zwaaien naar de lens, op beelden die er bijna uitzien alsof ze met een nieuwe iPhone gefilmd zijn. Het materiaal is digitaal opgekrikt en doen denken aan de Eerste Wereldoorlog-documentaire They Shall Not Grow Old (2018), van regisseur Peter Jackson (The Lord of The Rings). Jackson liet talloze oude beelden restaureren en inkleuren, een monnikenwerk voor een film die meer dan 20 miljoen dollar kostte. Shiryaev deed alles in zijn eentje, met behulp van kunstmatige intelligentie en in slechts een paar dagen tijd.

Kan Shiryaev beelden van Amsterdam uit 1922 net zo makkelijk opkrikken? ‘Ja hoor’, antwoordt de Russische YouTuber binnen een uur als de Volkskrant hem een chatbericht stuurt. Shiryaev blijkt een man van zijn woord: na vier dagen fietsen Amsterdammers uit 1922 met 60 frames per seconden door de binnenstad. Jonge Nederlandse stelletjes dansen indrukwekkend levendig en in kleur voor een draaiorgel op straat. Kan hij uitleggen hoe hij machine learning-computerprogramma’s gebruikt om archiefmateriaal te reanimeren?

Steeds slimmer

Voordat hij dat doet, benadrukt Shiryaev (31) op Skype dat hij zelf geen softwareontwikkelaar is. Vanuit het Poolse Gdansk werkt hij als productmanager voor een start-up in Moskou, de stad waar hij lange tijd woonde. ‘Dit is een hobby’, lacht hij. ‘De een houdt van sport, ik van machine learning.’

Machine learning, legt Shiryaev uit, zijn slimme computersystemen die zichzelf in hoog tempo nog slimmer trainen. Denk aan Googles zoekfunctie: die ‘leert’ van elke zoekopdracht en wordt zo steeds beter. Of de eerste kunstmatige intelligentie die een mens versloeg in het Chinese strategische bordspel Go. Die speelde miljoenen potjes tegen ‘zichzelf’, sneller en vaker dan ooit in één mensenleven zou passen. Nog een voorbeeld: in beruchte deepfakevideo’s zeggen Trump en Poetin dingen die ze nooit echt gezegd hebben. Een computer bekeek duizenden beelden van hun gezichten en ‘leerde’ de visuele kenmerken ervan zo goed dat hij elke mimiek realistisch kan simuleren.

Denis Shiryaev

Op die manier – slimmer worden door bergen data te verwerken – werken de opensourceprogramma’s die Shiryaev gebruikt ook. Zo is zijn eerste stap een programma dat getraind is ‘digitale artefacten’ uit video’s te halen. ‘Als je een video uploadt, gaat de kwaliteit achteruit. Rondom iemand die op de video van Amsterdam zwaait naar de camera, kan een waas ontstaan. Ik gebruik een programma dat die waas op talloze beelden heeft leren herkennen en kunstmatig weer aanscherpt.’

De tweede stap is volgens Shiryaev de sleutel naar een levendige video. Hij vormt het haperige beeld van zo’n twintig frames per seconde om tot soepel beeld van zestig frames per seconde. Hij hakt videobeelden van de drukke Zeedijk op in losse afbeeldingen. Die voert hij aan een nieuw systeem, dat getraind is om de ‘ontbrekende’ frames te voorspellen en genereren. Tussen twee beeldjes van een jongen die stept, creëert dit programma een beeld dat de ontbrekende beweging opvult. Als je goed kijkt, zie je soms dat die frames kunstmatig zijn: wielen van karren draaien bijvoorbeeld schokkerig en verward rond.

Door het kunstmatig toevoegen van frames, draaien wielen soms ‘verward’ rond.

Daarna worden de beelden ‘opgeschaald’, gedetailleerder gemaakt. Shiryaev trainde een algoritme met duizenden beelden van oude steden. Die herkent in de video van Amsterdam huizen, wielen, bomen en ramen. ‘De ramen worden scherper, omdat-ie eerder al duizenden ramen heeft gezien.’ Van gezichten maakt dit systeem ‘misbaksels’: dus vult Shiryaev die deels handmatig aan met een ander algoritme.

Ten slotte volgt het inkleuren. De beelden van Amsterdam laten vrouwen met hun baby’s in zwart-wit zien. Het laatste systeem is met duizenden zwart-wit- en kleurenbeelden getraind om te voorspellen welk beeldfragment welke kleur heeft, zoals de gezichten van de baby’s en de hoeden van hun moeders. In de ingekleurde Amsterdamse straat valt op dat alle petjes ongeveer dezelfde bruintint hebben. Een Nederlandse vlag is een soort donkerbruin-wit-lichtbruin geworden. ‘Het is nog best sepia’, geeft Shiryaev toe. ‘Maar de ontwikkelingen gaan razendsnel. Mijn nieuwe versie van deze software geeft al levendigere kleuren.’ Voor de petjes en de vlag geldt: hoe meer foto’s van mannen met petjes Shiryaev aan zijn systeem voert, en hoe meer Nederlandse vlaggen, hoe beter de volgende inkleursels zullen uitpakken.

Shiryaevs nieuwe software geeft al levendigere kleuren. Foto: Library of Congress, Prints & Photographs Division, Detroit Publishing Company Collection.

Niet verbaasd

De Russische YouTuber is niet echt verbaasd door het succes van zijn video’s – ook die van Moskou en Parijs trokken miljoenen views, van Amsterdam verwacht hij niets anders. ‘Verbazing was er alleen in het begin even.’ Shiryaev wilde de kracht van machine learning testen met ‘waardeloos’ beeld. Hij dacht meteen aan een van de allereerste films, van de gebroeders Lumière, waarop een trein een Frans station binnenrijdt. Shiryaevs versie werd een hit op YouTube. ‘Toen wist ik: als ik sterke archiefbeelden vind, gaan die ook als een tierelier.’

De conservator van Eye Filmmuseum, dat de beelden van Amsterdam beheert, snapt de nostalgie en verwondering rondom de bewerking van Shiryaev. ‘Het is mooi dat mensen zo zien dat de wereld vroeger niet zwart-wit was’, zegt Elif Rongen-Kaynakçi. Ze benadrukt dit geen restauratie is. ‘Van de zestig frames die je ziet, is tweederde nep.’ Shiryaev benadrukt zelf ook dat zijn opgekrikte versies geen ‘restauraties’ zijn. ‘Alles wat ik toevoeg, is kunstmatig. De kleuren van de jasjes die je ziet, zijn niet de echte kleuren van de jasjes die de Amsterdammers honderd jaar geleden aanhadden.

Een Amsterdamse bioscoop maakte de oorspronkelijke beelden in 1922 als reclamestunt. Mensen op straat zagen vaak voor het eerst een camera. Wilden ze zichzelf terugzien op film, dan moesten ze naar de Passage Bioscoop komen.

Shiryaev is zelf stellig: zijn bewerkingen hebben ‘geen historische waarde’. Maar hij denkt wel dat ze belangrijk kunnen zijn voor nieuwe generaties. ‘Tiktokjongeren zijn 120 frames per seconde op retinaschermen gewend. Zwart-witfilms voelen voor mij al ouderwets, voor hen wordt het nóg lastiger om een connectie met het verleden te maken. Misschien voelen ze zo het belang van onze geschiedenis en van het bewaren ervan.’

Het opkrikken van archiefbeelden wordt voor Shiryaev ook steeds meer dan een hobby. Hij werkt als productmanager en heeft altijd een oog voor commerciële potentie. ‘Als ik de enthousiaste reacties op de video’s zie en besef hoeveel oude beelden er zijn – bij musea, in archieven, bij mensen thuis – dan is het logisch dat deze technologie in de nabije toekomst zeer gewild gaat worden.’

Bekijk hier de volledige video

Bewegende foto's van je oma: wat is de toekomst van deze technologie?

Stel: je voert over een aantal jaar een oude foto van je zwaaiende oma aan een slim computerprogramma. Kan die daar dan een realistisch, bewegend beeld van maken? Shiryaev twijfelt er niet over, ‘dat kan nu al bijna’. Onthoud wel dat het dan om honderden computergegenereerde frames gaat, voorspeld op basis van slechts één ‘echt’ frame. De YouTuber ziet toekomstige toepassingen van zulke software zelf nog veel verder reiken. ‘Ik denk dat je over dertig jaar de tekst van een Harry Potter-boek aan een programma kan voeren. Die genereert dan hele beelden op basis van woorden als ‘kasteel’ en ‘draak’. ‘Machine learning-software kan straks boeken illustreren, er misschien zelfs films van maken.’