Май 1st, 2023 
raven000 Телефоны Google Pixel 2 имеют очень высококачественную технологию стабилизации видео, соединяющую электронную и зрительную технологии, таким образом итог выходит очень хорошим. Однако как компании удалось настолько успешно соединить 2 технологии? Google не так давно обнародовала доскональный документ, в котором отчетливо сообщила о главных трудностях стабилизации видео и методах их решения. Оказывается, Google использовала технологии механического изучения, чтобы встроить оба способа стабилизации там, где очень многие телефоны применяют лишь один из них.
Сперва стоит поведать о основных осложнениях, стоящие на пути высококачественной компьютерной стабилизации. В первую очередь, это, разумеется, фактически дрожания: клиенты как правило снимают с рук, и дрожания значительно оказывают влияние на конечный итог, иногда делая видеоролики очень неуютными для просмотра:
Размытия в перемещении — 2-я значительная неприятность. В особенности актуальна она для роликов, снятых при дефекте освещения и, как следствие, с долгой выдержкой. Любое перемещение камеры в подобном режиме ведет к размытию, но стандартная компьютерная стабилизация ведет к неприятным реликвиям неритмичной утраты чёткости:
Четвертая неприятность сопряжена с механизмом работы CMOS-сенсора. Данные с матрицы считываются черта за чертой снизу вверх поэтому при сильных перемещениях имеются значительные отвесные преломления картинки — данный эффект именуется Rolling shutter (непостоянный обтюратор). Такое видео сложно урегулировать:
Справа — верное видео, слева — с обычными искажениями Rolling shutter
В конце концов, при изменении фокального отдаления между размещенными на большой дистанции субъектами иногда значительно меняется угол осмотра, таким образом все субъекты сцены зрительно смещаются ближе либо далее к оператору. Специалисты называют данный эффект «дыханием», и он также усложняет цель стабилизации.
Воздействие всех этих неприятностей значительно понижается при применении зрительной стабилизации (OIS). Как правило это добивается за счёт использования в объективе плавучей линзы, подвешенной на пружинах и электромагнитах, внимательно реагирующей на перемещения камеры и возмещающей их. Но OIS не в состоянии ликвидировать мощные дрожания, в особенности в процессе ходьбы оператора к тому же дополняет свои артефакты. На следующем видео применяется исключительно зрительная стабилизация Pixel 2 и, впрочем по центру видео надежное, на его концах отмечается эффект «желе» — как будто вся картина движется единственной плоскостью.
Электронная система стабилизации (EIS) подвергает анализу перемещения камеры. Фильтрует не нужные части, синтезирует свежее видео, обрабатывая надлежащим образом любой кадр. Последнее качество значительно находится в зависимости от применяемого метода и оптимизаций. Как правило EIS намного эластичнее OIS, поскольку может не менее спортивно изменять перемещения, однако есть и ограничения: способу нужно исключать большую часть картинки по бокам, в связи с чем понижается угол осмотра либо разрешение конечного видео. Вдобавок к этому EIS по сравнению с OIS либо внутренним стабилизатором требует значительно больше вычислений, но это урезанный источник на телефонах.
Потому Google спроектировала технологию комбинированной стабилизации видео, соединяющую мощные стороны OIS и EIS и возмещающую все перечисленные неприятности. Сперва устройство подвергает анализу перемещения при помощи синхронизации информации с гироскопа (на частоте 200 Гц), данных об изменении фокального отдаления, утверждений OIS-линзы и прочих характеристик. В итоге метод может образовать иллюстрацию векторов перемещений для предельно четкой оценки движений камеры и искажений.
На 2-ом раунде происходит фильтрация перемещений с применением механического изучения и технологий обработки сигналов, чтобы предвидеть последующие движения камеры и назначить на них фильтрацию по Гауссу, чтобы достичь предельной гладкости. Предиктивное выравнивание перемещений вероятно благодаря технологии механического изучения и дает возможность действеннее отвечать на грядущие движения камеры. К примеру, если система поймёт, что клиент делает ландшафтное горизонтальное перемещение, то она решится о не менее спортивном угнетении реликвий плавучего затвора и тому подобное. OIS и все машинные системы стабилизации могут отвечать только на нынешние и предыдущие перемещения.
Значительной технологией, увеличивающей качество чистого видео в Pixel 2, считается пресечение размытия в перемещении. Даже при функционировании OIS иногда движения камеры оказываются чересчур мощными, и при дефекте освещения появляются ненужные результаты размытия. Чтобы их понизить, эксперты Google применяют верную информацию о перемещениях камеры и на её основании при помощи алгоритмов механического изучения уничтожают эффект:
Справа — Pixel 2 со стабилизацией OIS и EIS; слева — с особым пресечением реликвий размытия в перемещении
На конечном раунде синтеза кадра удаляются преломления плавучего затвора и «дыхания» трюка: настоящие перемещения камеры на основании данных из предшествующих рубежей доводятся к нужным. Всё изображение делится на сетку и деформируется по частям:
Google достигла того, что её система довольно эффективна, чтобы работать даже в разрешении 4K. Итоги выходят на самом деле внушительными. Со слов Google, к подготовке технологии прибавили силы очень многие команды внутри компании, включая экспертов по методам и аппаратной подготовке камер и детекторов. Думается, и данной технологии есть куда расти, и в грядущих вариантах телефонов либо компьютерных камерах будут ещё не менее изощрённые и абсолютные методы.
Видео записаны на 2 телефона Pixel 2, закреплённые на одном ручном держателе. Справа стабилизация отключена
Видео записаны на 2 телефона Pixel 2, закреплённые на одном ручном держателе. Инструктор скачет совместно с субъектом съёмки. Справа стабилизация отключена
Опубликовано в рубрике 
