Створена нейромережа, яка замінить зелений екран

Американські розробники навчили нейромережу замінювати фон на відео з більш високою точністю, ніж існуючі аналоги. Крім відео, він використовує один кадр, в якому об’єкт зйомки вийшов з кадру і таким чином показав фон.

Дослідники з Вашингтонського університету під керівництвом Ірини Кемельмахер-Шліцерман створили нову архітектуру нейромережі і метод її навчання, який дозволяє отримати практично ідеальну заміну фону. Для роботи алгоритм використовує відеоролик з людиною і як можна більш нерухомий ракурс, а також фотографію того ж ракурсу після того, як людина вийшла з кадру.

Нейросеть здатна працювати з різними фонами і справлятися навіть зі складними випадками: такими несуцільними об’єктами, як волосся, наприклад, і елементами однакового кольору на передньому і задньому плані.

Зазвичай для зйомки відеороликів з заміною фону використовують підсвічений зелений екран. Завдяки яскравій і однотонній поверхні екрану його легко відокремити від об’єкту попереду. Однак така зйомка не підходить для всіх відеороликів.

Код для запуску алгоритму опублікований на GitHub.