Как скоро получится стримить VR через браузер?
Джеймисон Бреттл из Google считает, что в ближайшем будущем.
На мировом конгрессе 2017 о виртуальной реальности он как раз задвинул целую речь про возможности и проблемы прямых трансляций VR по сети. И даже проболтался о нескольких спецпроектах, работающих над настройкой функций обычных пользовательских браузеров для виртуальной реальности: компы простых смертных скоро тоже потянут подобные стримы.
Виртуальная реальность в онлайн-формате создаст много шума, когда дойдёт до пользователей. Барьеры выхода в такую сеть уже намного ниже для масс: приложения легко загружаются и постоянно обновляются, чтобы гарантировать людям наличие последней версии и регулярное исправление багов.
Для провайдеров, однако, всё не так радужно, как для пользователей: существуют серьёзные проблемы.
Необходимость сжатия
Главная проблема для онлайн VR-трансляций состоит в необходимости передачи огромного количества данных по сети, — их сжатие необходимая мера.
Google уже подошли к решению этой проблемы: для сжатия видеоматериалов они перешли на VP9. Это бесплатный открытый стандарт сжатия видео. И это благодаря нему серая строка загрузки на ютубовских видосиках обгоняет красную, — происходит уменьшение времени буферизации.
Но VR-стримы требуют ещё большего сжатия
В среднем, часть контента может состоять из 360-градусного стереоскопического видео (3D-формат видео), полностью погруженного пространственного звука, где контент визуализируется бинаурально (мозг самостоятельно воспроизводит звуки, которые на данной частоте просто отсутствуют), а также визуализация виртуальной среды и отображение в помещении (создание кадров отдельно для правого и левого глаза). Последнее, в частности, включает в себя огромное количество данных, если используются облака точек (набор вершин в трехмерной системе координат, нужно для создания объёмной поверхности).
С проблемой получения всех этих данных через Интернет-браузеры борются ещё несколько отдельных проектов, поддерживаемых Google.
Первый — это OPUS, технология сжатия пространственного звука. OPUS использует процесс под названием ambisonic compression, при котором звук проецируется на 360-градусную сферу вокруг пользователя. Благодаря сложному процессу, называемому сферическими гармониками, чем больше сфер вы добавляете, тем лучше ваш звук, но тем выше ваши биты.
Текущий уровень сжатия, достигаемый OPUS, составляет 192 кбит/с для 4 каналов и 384 кбит/с для 16 каналов.
Второй проект — Draco — библиотека сжатия с открытым исходным кодом для сеток и точек-облаков. Драко в настоящее время имеет скорость декодирования 35 миллисекунд, или, по сути, готов к работе в режиме реального времени.
Таким образом, веб является жизнеспособной платформой для VR, но для неё потребуется много данных. Большинство из которых нуждается в сильном сжатии. Первый, кто сможет решить проблему сжатия, вероятно, и откроет огромный новый рынок для VR-индустрии.