Grant: Alliance Grants

Immersive Video (IV) technology is revolutionizing the way we experience video content, going beyond traditional 2D video. IV provides viewers with a more natural and intuitive way to discover and interact with a remote or virtual environment. This project proposes to enhance the IV viewing experience by developing technologies that allow immersion in a live environment with the ability to interact and navigate freely in real-time, over 5G networks. The research is divided into three areas. The first addresses challenges related to the acquisition, compression and rendering of IV content such as: capture of live environments with stereoscopic and 6 degrees of freedom (6DoF) capabilities, efficient analysis and compression algorithms for IV streaming, and the synthesis of 6DoF stereoscopic viewpoints in real-time. The second area aims to enhance high quality and low latency IV transport and streaming over 5G wireless networks and beyond. The final area focuses on the development of an adaptable distributed computing architecture based on microservices that can handle diverse client devices such as smartphones, tablets, PCs, and head-mounted displays. The benefits of this project include the development of new technologies to enable remote collaboration, learning and intervention, and allowing more people to participate in remote events through an enhanced immersive experience. This project will also contribute to the training of over 20 highly qualified professionals that can: in turn train others, pursue additional research, and work for companies to benefit the media industry. Finally, the industrial partner on this project, Summit Tech, will gain enhanced competitiveness for their existing as well as new products. La technologie de vidéo immersive (VI) transforme l'expérience de visualisation de contenu au-delà de la vidéo 2D traditionnelle. La VI offre aux téléspectateurs un moyen plus naturel et intuitif de découvrir et d'interagir avec un environnement éloigné ou virtuel. Ce projet propose d'améliorer l'expérience de visionnement de VI en développant des technologies qui permettent l'immersion dans un environnement en direct avec la possibilité d'interagir et de naviguer librement en temps réel, grâce aux réseaux 5G.La recherche est divisée en trois domaines. Le premier cible les défis d'acquisition, de compression et de rendu de contenu de VI tels : la capture en direct stéréoscopique et à 6 degrés de liberté (6DoF), des algorithmes de compression plus efficaces pour le streaming de VI, ainsi que la synthèse de points de vue stéréoscopiques à 6DoF en temps réel. Le deuxième domaine vise à améliorer la qualité et réduire la latence du streaming de VI sur les réseaux sans fil 5G et futurs. Le dernier domaine se concentre sur le développement d'une architecture adaptative de calcul distribuée basée sur des microservices pouvant gérer un éventail varié d'appareils clients tels que: téléphones intelligents, tablettes, PC et casques de VI.Les retombées de ce projet incluent le développement de nouvelles technologies facilitant la collaboration, l'apprentissage et les interventions à distance et permettant à un plus grand nombre de personnes de participer à un événement grâce à une expérience immersive améliorée. Ce projet contribuera également à la formation de plus de 20 professionnels hautement qualifiés qui pourront, à leur tour, former d'autres personnes, poursuivre d'autres recherches et travailler pour des entreprises dans le secteur des médias. Enfin, le partenaire industriel de ce projet, Summit Tech, gagnera en compétitivité pour ses produits existants et à venir.