INSAIT и Netflix представиха уникална AI платформа за обработка на видео

Например, ако човек бъде премахнат от кадъра, моделът пресъздава естественото движение на предметите, които той е държал, така че сцената да изглежда като заснета без негово присъствие.

Технологията може да даде по-голяма свобода на създателите на видео съдържание и да намали значително разходите, свързани с повторно заснемане на сцени.

VOID стъпва върху модела CogVideoX и използва специален подход, наречен quadmask, който разделя обектите, зоните на взаимодействие и фона в кадъра. Това позволява запазване на логиката и динамиката на изображението без видими изкривявания.

Поради липсата на достатъчно реални данни моделът е обучаван със симулирани сцени, създадени чрез Blender. Така системата се учи да предсказва как се променя средата, когато даден обект бъде премахнат.

В сравнение със съществуващите решения VOID предлага по-висока визуална последователност и по-реалистично поведение на обектите. Освен това моделът е с отворен код, което позволява на изследователи и разработчици по целия свят да го използват и усъвършенстват.