и 
Отслеживание камеры с точностью до сантиметра для крупномасштабной 3D-съемки (гауссово разбрызгивание)
Обзор
Этот клиентский проект создан компанией... АриониксКомпания Aryonix, основанная Александром Кавалери, разрабатывает движок рендеринга в реальном времени, способный создавать кинематографические, фотореалистичные и захватывающие 3D-среды из фотографий. Aryonix сотрудничала с Крылья, спускающиеся внизПроект посвящен исследованию, картографированию и съемке трасс для скоростного спуска на роликовых коньках, лонгбордах и других видах экстремального спорта. В проекте используется техника, называемая гауссовым разбрызгиванием.
Для скоростного спуска важно, чтобы цифровая реконструкция соответствовала реальному миру. Трасса должна иметь правильное расположение, масштаб и уклон, чтобы райдеры могли точно оценить ее сложность, безопасность и общее впечатление от катания.
Основная сложность при восстановлении таких длинных маршрутов на открытом воздухе заключается в вычислении положений камеры: такие инструменты, как COLMAP, смещаются и накапливают ошибки с течением времени, испытывают трудности с естественными повторяющимися узорами и однообразными видами (ряды виноградников, дорожное покрытие, небо), а без предварительного GPS-навигатора результат не привязан к реальным координатам, масштабу или уклону.
Для преодоления этих ограничений компания Aryonix использовала GNSS-компас – стартовый комплект RTK для обеспечения точности позиционирования и ориентации камеры с точностью до сантиметра во время записи.
Буровая установка
Для решения этой проблемы мы использовали стартовый комплект GNSS-компаса, который предоставлял координаты и направление камеры с точностью до сантиметра в качестве априорных данных для COLMAP.
- GNSS-компас – стартовый комплект RTK: Комплект GNSS/RTK с платой на базе UM982 и двумя высококачественными спиральными антеннами.
- Кинокамера Blackmagic URSA Mini Pro 4.6K G2, съемка в формате RAW.
- Адаптер Hosa MIT-129 XLR преобразует сигнал PPS платы в аудиосигнал, совместимый с камерой, и защищает плату от фантомного питания камеры.
- На телефоне запущены SW Maps, ведется RTK-запись и подается питание на плату.
Синхронизация видео с RTK
Знание положения камеры полезно только в том случае, если каждый кадр видео можно сопоставить с правильным измерением RTK.
Приёмник GNSS выдаёт сигнал PPS (импульс в секунду). Это высокоточный электрический импульс, генерируемый ровно раз в секунду по GPS. Вместо того чтобы полагаться на внутренние часы камеры, этот сигнал PPS записывался непосредственно в один из аудиоканалов камеры через её XLR-вход.
Поскольку аудиосигнал дискретизируется с частотой 48 кГц, каждый импульс PPS может быть обнаружен с точностью до долей миллисекунды. Для сравнения, один видеокадр, записанный со скоростью 24 кадра в секунду, длится около 42 миллисекунд. Это позволяет гораздо точнее маркировать каждый кадр по времени, чем при использовании информации о времени, предоставляемой самой камерой.
Запись импульса PPS каждую секунду также позволяет обнаруживать и непрерывно корректировать любое смещение часов в камере на протяжении всей записи. Сигнал PPS отмечает начало каждой секунды GPS, а записанный телефоном лог RTK предоставляет соответствующие метки времени GNSS. Для автоматического сопоставления импульсов PPS с данными RTK достаточно начать обе записи примерно в одно и то же время.
Если это звучит сложно, ознакомьтесь с нашей статьей. Понимание GPS Timepulse или ППС.
Захват сцены
Съемочная группа прошла 800-метровый маршрут через виноградники Лаво в Швейцарии, непрерывно снимая видео.
Вместо простого движения по прямой линии, камера перемещалась по спирали, чтобы наблюдать за сценой с разных ракурсов. Это улучшает качество 3D-реконструкции и позволяет избежать теней, отбрасываемых оператором.
Иногда перед возвращением к основному маршруту делались снимки коротких боковых участков, что добавляло дополнительные ракурсы и повышало точность реконструкции.
Движущиеся объекты, такие как пешеходы и транспортные средства, обрабатывались непосредственно во время съемки путем кратковременного отведения камеры в сторону, что сокращало объем последующей обработки.
Результаты
После синхронизации измерений RTK с видеокадрами, положения камер передавались в конвейер реконструкции в качестве априорных данных о камерах. Вместо оценки положения каждой камеры только по изображениям, программное обеспечение начинает работу с измерений RTK с точностью до сантиметра.
Полученное трехмерное изображение визуализируется в реальном времени с использованием движка Aryonix, сохраняя при этом правильное реальное положение, ориентацию, масштаб и уклон маршрута.
Хотя здесь это продемонстрировано на примере гауссова сплэттинга, тот же рабочий процесс применим к любому методу реконструкции, основанному на 2D-изображениях и положениях камеры: синхронизированные априорные данные камеры можно передать таким инструментам, как COLMAP, для обучения гауссова сплэттинга, NeRF или традиционных методов фотограмметрической реконструкции.
Благодаря точному определению положения камеры на протяжении всей записи, RTK GNSS преобразует рабочий процесс, который обычно страдает от накопленного дрейфа, в надежный метод реконструкции протяженных участков открытой местности. В результате получается фотореалистичная 3D-сцена, которую также можно использовать для точных измерений маршрутов, включая уклоны, которые зачастую более детализированы, чем те, что доступны в существующих цифровых моделях рельефа.
Сопутствующие продукты
РТК-помощник
Найдите лучшие товары для вашего применения, задав всего несколько вопросов.