Удаление фона видео, с хромакеем и без

Раньше, чтобы вырезать объект из видео, требовались зелёный экран и кеинг по цвету. Современное удаление фона вместо этого прогоняет модель сегментации по каждому кадру, то есть работает и на обычном материале — при условии, что вы понимаете, где оно ломается, и снимаете в обход этих случаев.

Что на самом деле делает автоматическое удаление

Модель сегментации смотрит каждый кадр и решает попиксельно, что объект, а что фон. Она не определяет цвет, как хромакей: она распознаёт формы, на которых её обучали, а для большинства моделей это сначала люди и лишь потом всё остальное. Поэтому она легко справляется с человеком на фоне захламлённой комнаты и буксует на стуле, питомце в непривычном ракурсе или двух перекрывающихся людях. Когда работает — впечатляет, а когда ломается — ломается по краям: волосы, пальцы и всё полупрозрачное.

Снимать так, чтобы модели было легко

Разницу делают три вещи. Контраст между объектом и фоном: не цветовой контраст как таковой, а тональное разделение, поэтому тёмная куртка на тёмной стене — худший случай. Ровный свет на объекте, потому что глубокая тень для большинства моделей читается как фон. И устойчивая камера, потому что дрожащий кадр заставляет края маски вибрировать, даже когда каждый отдельный кадр вырезан правильно. Распущенные волосы и мелкие детали всегда будут слабым местом: соберите волосы, если вырезка важна.

Когда всё же нужен зелёный экран

Кеинг по цвету по-прежнему выигрывает в двух ситуациях: мелкие детали вроде пушистых волос или стекла и длинные дубли, где покадровая модель начинает уплывать. Зелёный экран нужно равномерно освещать и держать достаточно далеко за объектом, чтобы избежать зелёного подсвета на плечах и волосах — именно эта ошибка выдаёт любительский кеинг. Если снимаете на зелёном регулярно, освещайте фон отдельно от объекта.

Как спасти неидеальную вырезку

Идеальная маска нужна редко, потому что большинство мем-видео совмещают объект с насыщенным фоном, где края трудно рассмотреть. Если край всё же заметен, помогают три дешёвых приёма: размыть маску на пиксель-другой, чтобы переход не был бритвенным, добавить лёгкую тень под объектом, чтобы глаз читал его стоящим в сцене, и согласовать цветовую температуру объекта и нового фона. Последнее исправляет больше «заметных вырезок», чем любая доводка маски.