MagicTime: Een Doorbraak in AI-gegenereerde Tijdversnellingsvideo

Onderzoekers van de University of Rochester, Peking University, de University of California in Santa Cruz en de National University of Singapore ontwikkelden MagicTime: een model dat op basis van tekst versnelde video’s maakt van veranderingen, zoals een bloeiende bloem of een gebouw in aanbouw. Het onderzoek verscheen in 2025 in IEEE Transactions on Pattern Analysis and Machine Intelligence. De demonstraties zijn veelbelovend, maar vormen geen bewijs dat het model natuurkundige processen betrouwbaar kan voorspellen.

Waarom veranderingen lastig zijn voor tekst-naar-video

Een afzonderlijk overtuigend beeld maken is iets anders dan een reeks beelden waarin groei, verval of een andere verandering logisch verloopt. Bestaande videomodellen kunnen beweging beperken, details tussen beelden laten verspringen of een onwaarschijnlijke ontwikkeling tonen. Voor een timelapse van een kiemende plant moeten vorm en tijdsverloop samenhangend blijven.

Hoe MagicTime werkt

De onderzoekers gebruikten meer dan 2.000 zorgvuldig geselecteerde timelapsevideo’s met gedetailleerde beschrijvingen voor de dataset ChronoMagic. Hun publicatie beschrijft drie onderdelen: MagicAdapter past bestaande tekst-naar-videomodellen aan voor ruimtelijke en temporele patronen, Dynamic Frames Extraction kiest beelden die grote veranderingen zichtbaar maken, en Magic Text-Encoder helpt het model de beschrijving van het gevraagde proces te interpreteren. Daarmee leert het model patronen uit voorbeelden; het beschikt niet over een onafhankelijke natuurkundige theorie.

Bron: University of Rochester

Wat het model werkelijk liet zien

Volgens de University of Rochester maakt de vrij beschikbare U-Net-versie clips van twee seconden met een resolutie van 512 × 512 pixels en acht beelden per seconde. Een bijbehorende architectuur met een diffusion transformer kan de clip tot tien seconden verlengen. De voorbeelden omvatten biologische veranderingen, brood dat in de oven rijst en bouwprocessen. De resultaten zijn videobeelden, geen gemeten simulaties waarop een wetenschappelijk experiment zonder verdere toetsing kan worden gebaseerd.

Mogelijke toepassingen en beperkingen

Een timelapsegenerator kan helpen bij visualisaties voor onderwijs, ontwerp en entertainment. De onderzoekers hopen dat betere generatieve video’s wetenschappers ooit kunnen helpen om ideeën sneller te verkennen. Zij benadrukken echter dat fysieke experimenten nodig blijven voor definitieve verificatie. Het artikel over MagicTime levert geen bewijs dat laboratoriumproeven nu al veilig kunnen worden vervangen of dat kostenbesparingen zijn aangetoond.

De U-Net-versie is als open model beschikbaar. Dat maakt onafhankelijke evaluatie en verdere ontwikkeling mogelijk, maar zegt op zichzelf niets over de nauwkeurigheid van nieuwe toepassingen.

Adobe en de markt voor creatieve software

Softwarebedrijven kunnen belang hebben bij betere generatieve video. Adobe (ADBE) ontwikkelt onder meer Photoshop, Premiere en generatieve AI-functies. MagicTime is een academisch onderzoeksproject; de genoemde studie maakt geen commerciële samenwerking met Adobe of directe invloed op de omzet van het bedrijf aannemelijk.

Conclusie

MagicTime laat zien dat training met timelapsebeelden tekst-naar-videomodellen kan helpen om zichtbare veranderingen geloofwaardiger weer te geven. De volgende stap is onafhankelijke toetsing van de consistentie en bruikbaarheid van zulke video’s. Een overtuigende visualisatie mag niet worden verward met een gevalideerde voorspelling van de werkelijkheid.

Onderzoek en bron

S. Yuan en anderen, “MagicTime: Time-lapse Video Generation Models as Metamorphic Simulators”, IEEE TPAMI, 2025; University of Rochester, 3 mei 2025.