Българският технологичен институт INSAIT и Netflix обявиха съвместен AI проект, който може да промени начина, по който се обработва видео съдържание.
Става дума за модел с името VOID, разработен от Института за компютърни науки, изкуствен интелект и технологии към Софийски университет "Св. Климент Охридски" и стрийминг гиганта.
Технологията позволява премахване на обекти от видео, като едновременно с това пресъздава реалистично как би изглеждала сцената без тях.
От INSAIT обясняват, че разликата със стандартните инструменти е, че VOID не просто "запълва" липсващите части, а разбира взаимодействията между обектите.
Ако например човек държи предмет и бъде премахнат от кадъра, моделът симулира как предметът пада или се движи естествено - така, сякаш сцената е заснета без него.
Това дава значително по-голяма свобода при постпродукцията и потенциално спестява сериозни разходи за презаснемане, посочват още от института.
Технологията стъпва върху CogVideoX и използва подход, наречен quadmask, който разделя обектите, зоните на взаимодействие и фона. Така системата запазва логиката и динамиката на кадъра без видими дефекти.
Тъй като реални тренировъчни данни почти липсват, екипите използват симулирани сцени, създадени с Blender, за да "обучат" модела какво се случва в реалния свят, когато даден обект изчезне.
Според разработчиците VOID постига по-добра визуална последователност и по-реалистично поведение спрямо съществуващите решения. Моделът е с отворен код, което позволява на разработчици и изследователи да го използват и надграждат.
Това е поредно високопрофилно партньорство за INSAIT в сферата на технологиите с изкуствен интелект.
Институтът вече е изградил доста сериозна мрежа от партньорства с глобални технологични компании, включително Google, Amazon Web Services, DeepMind и други.
