MagicTime: Isang Pagsusulong sa AI-Generated na Time-Lapse Video

Bumuo ang mga mananaliksik mula sa University of Rochester, Peking University, University of California, Santa Cruz, at National University of Singapore ng MagicTime. Gumagawa ang modelong ito ng time-lapse na video mula sa tekstong naglalarawan ng pagbabago, gaya ng paglaki ng halaman o pagtatayo ng gusali. Nailathala ang pag-aaral noong 2025 sa IEEE Transactions on Pattern Analysis and Machine Intelligence. Kapani-paniwala ang ilang halimbawang video, ngunit hindi nito pinatutunayan na tumpak na nahuhulaan ng modelo ang mga prosesong pisikal.

Bakit mahirap ipakita ang pagbabago sa paglipas ng panahon?

Magkaiba ang paggawa ng isang magandang larawan at ang paggawa ng magkakasunod na larawang may makatwirang hugis, galaw, at pagkakasunod-sunod. Sa video ng pamumukadkad ng bulaklak o pag-alsa ng tinapay, kailangang magkaugnay ang bawat frame. May mga naunang text-to-video na modelo na nagpapakita ng kaunting galaw o hindi kapani-paniwalang pagbabago. Nilalayon ng MagicTime na pagbutihin ang ganitong paglalarawan.

Paano gumagana ang MagicTime?

Inihanda ng pangkat ang ChronoMagic, isang koleksiyon ng mahigit 2,000 time-lapse na video na may detalyadong mga paglalarawan. Ayon sa papel ng pananaliksik, inaangkop ng MagicAdapter ang dati nang text-to-video na modelo sa mga padron sa espasyo at oras; pinipili ng Dynamic Frames Extraction ang mga frame na malinaw na nagpapakita ng pagbabago; at tinutulungan ng Magic Text-Encoder ang modelo na unawain ang tekstong utos. Natututo ito sa mga halimbawa, ngunit wala itong sariling napatunayang teorya ng mga batas ng kalikasan.

Pinagmulan: University of Rochester

Mga resulta at haba ng video

Ayon sa University of Rochester, nakakagawa ang bukas na bersiyong U-Net ng dalawang segundong clip na 512 × 512 pixel sa walong frame bawat segundo. Napahahaba ito hanggang sampung segundo gamit ang kaugnay na diffusion transformer architecture. Kabilang sa mga halimbawa ang mga halaman, tinapay sa oven, at gusaling ginagawa. Ang biswal na pagiging kapani-paniwala ay hindi katumbas ng isang nasubok na siyentipikong simulation.

Posibleng gamit at mga limitasyon

Maaaring gamitin ang ganitong video para ipaliwanag ang mga konsepto sa edukasyon, bumuo ng eksena para sa libangan, o paunang mailarawan ang isang ideya sa pananaliksik. Umaasa ang mga may-akda na makatutulong ang mga susunod na modelo sa mas mabilis na pagsisiyasat ng mga palagay. Binigyang-diin din nilang kailangan pa rin ang mga aktuwal na eksperimento para sa pinal na pagpapatunay. Hindi ipinakita ng pag-aaral na maaari nang palitan ng MagicTime ang mga pagsusuri sa laboratoryo o na nakatipid na ito ng gastos.

Makukuha ang bersiyong U-Net bilang isang bukas na modelo. Nagbibigay ito ng pagkakataong suriin at paunlarin ang sistema, ngunit kailangan pa ring subukin nang hiwalay ang bawat bagong gamit.

Adobe at malikhaing software

Gumagawa ang Adobe (ADBE) ng Photoshop, Premiere, at mga tampok na gumagamit ng generative AI. Mahalaga sa industriya ng malikhaing software ang mas mahusay na pagbuo ng video sa pangkalahatan. Gayunman, walang nakasaad sa pag-aaral ng MagicTime na pakikipagtulungan sa Adobe o direktang epekto sa kita nito.

Buod

Ipinapakita ng MagicTime na maaaring makatulong ang pagsasanay gamit ang time-lapse na video upang maging mas magkakaugnay ang paglalarawan ng pagbabago sa paglipas ng panahon. Kailangan ng hiwalay na pagpapatunay bago gamitin ang nalikhang video bilang batayan ng siyentipikong konklusyon.

Pag-aaral at pinagmulan

S. Yuan at mga kasama, “MagicTime: Time-lapse Video Generation Models as Metamorphic Simulators”, IEEE TPAMI, 2025; University of Rochester, Mayo 3, 2025.