Grant: Alliance Grants
Université de Sherbrooke
$31,500.00
Spatio-temporal reasoning in mixed reality with a hybrid approach to support scalability and development of virtuality-reality continnum software
EF 2023-24
Résumé
Recent advances in technology have led to the introduction of a new class of computing devices that combine computer-generated information with the "physical" world in a reality-virtuality continuum, such as Mixed Reality (MR). MR relies on contextual information to integrate virtual content within the physical environment and recognize users' actions to foster intuitive and natural interactions. In this project, we work on a first challenge in MR which resides in improving spatiotemporal reasoning by recognizing objects in a 3D world and tracking them while the users interact in a reality-virtuality continuum. As a second challenge, we will work in supporting the knowledge transfers and the construction of a common representation of an environment in MR between several users and several local or remote physical spaces. The expected results of the project will consist in algorithms and models for MR that will be implemented in two MR based context-aware decision support application prototypes for the Industry 4.0 and healthcare, as well as experimental results collected during in labs and on the field tests with potential users in Industry 4.0 and healthcare. The industry partner in this project is VMware Canada, a leader in intelligent multi-cloud ecosystems. It is expected that the use case of Mixed Reality, which is considered in this project, will play a pivotal role in the next generation - namely 6G - of mobile networks, which is one of the key research areas for the VMWare Distributed Edge (DE). The research conducted in this project to enhance Mixed Reality experiences, its scability and its demonstration (in Industry 4.0 and in healthcare) in a jointly identified infrastructure is therefore of utmost interest for VMware. Les récents progrès technologiques ont conduit à l'introduction d'une nouvelle catégorie de dispositifs informatiques qui combinent des informations générées par ordinateur avec le monde "physique" dans un continuum réalité-virtualité, comme la réalité mixte (RM). La RM s'appuie sur des informations contextuelles pour intégrer du contenu virtuel dans l'environnement physique et reconnaître les actions des utilisateurs afin de favoriser des interactions intuitives et naturelles. Dans ce projet, nous travaillons sur un premier défi de la RM qui consiste à améliorer le raisonnement spatio-temporel en reconnaissant les objets dans un monde 3D et en les suivant pendant que les utilisateurs interagissent dans un continuum réalité-virtualité. Comme deuxième défi, nous travaillerons à supporter les transferts de modèles de connaissance du contexte et la construction d'une représentation commune d'un environnement en RM entre plusieurs utilisateurs et plusieurs espaces physiques locaux ou distants. Les résultats attendus du projet consisteront en des algorithmes et des modèles pour la RM qui seront mis en oeuvre dans deux prototypes d'application d'aide à la décision sensible au contexte basée sur la RM pour l'industrie 4.0 et les soins de santé, ainsi que des résultats expérimentaux recueillis en laboratoire et sur le terrain avec des utilisateurs potentiels de l'industrie 4.0 et des soins de santé. Le partenaire industriel de ce projet est VMware Canada, un chef de file des écosystèmes multi-clouds intelligents. Il est attendu que le cas d'utilisation de la réalité mixte, qui est envisagé dans ce projet, joue un rôle central dans la prochaine génération - à savoir le 6G - des réseaux mobiles, qui est l'un des principaux domaines de recherche de VMWare Distributed Edge (DE). Les recherches menées dans le cadre de ce projet pour améliorer les expériences de réalité mixte, leur évolutivité et leur démonstration (dans l'industrie 4.0 et dans les soins de santé) dans une infrastructure identifiée conjointement sont donc du plus haut intérêt pour VMware.
Programme
Alliance Grants
Bénéficiaire
Emplacement
Quebec, Canada
Type de bénéficiaire
Academia
Type
Grant
Source
NSERC's Awards Data
Tel que publié
Application id
577627-2022
Name nom
Gouin-Vallerand, Charles C
Department département
Systèmes d'information et méthodes quantitatives de gestion
Organization id
68
Institution établissement
Université de Sherbrooke
Province en
Québec
Province fr
Québec
Country en
CANADA
Country fr
CANADA
Fiscal year exercice financier
2023
Competition year année de concours
2022
Award amount
31500
Program id
ALLRP
Program name en
Alliance Grants
Program name fr
Subventions Alliance
Group en
RESEARCH PARTNERSHIPS
Group fr
PARTENARIATS DE RECHERCHE
Committee code
96
Committee name en
RPP Internal Decision Cttee
Committee name fr
Cté de décision interne - PPR
Area of application code
1207
Area of application group en
Advancement of knowledge
Area of application group fr
Avancement des connaissances
Area of application en
Information, computer and communication technologies
Area of application fr
Technologie de l'information, des ordinateurs et des réseaux de communications
Research subject code
2800
Research subject group en
Artificial intelligence
Research subject group fr
Artificial intelligence (computer vision, use2603)
Research subject en
Intelligence artificielle
Research subject fr
Intelligence artificielle (vision artificielle, utiliser 2603)
Application title
Spatio-temporal reasoning in mixed reality with a hybrid approach to support scalability and development of virtuality-reality continnum software
Keyword
Artificial Intelligence; Augmented reality; Human-Computer Interaction; Industry 4.0; Mixed Reality; Model Transfer; Semantic reasoning; smart environment; Spatial Computing; Spatiotemporal reasoning
Application summary
Recent advances in technology have led to the introduction of a new class of computing devices that combine computer-generated information with the "physical" world in a reality-virtuality continuum, such as Mixed Reality (MR). MR relies on contextual information to integrate virtual content within the physical environment and recognize users' actions to foster intuitive and natural interactions. In this project, we work on a first challenge in MR which resides in improving spatiotemporal reasoning by recognizing objects in a 3D world and tracking them while the users interact in a reality-virtuality continuum. As a second challenge, we will work in supporting the knowledge transfers and the construction of a common representation of an environment in MR between several users and several local or remote physical spaces. The expected results of the project will consist in algorithms and models for MR that will be implemented in two MR based context-aware decision support application prototypes for the Industry 4.0 and healthcare, as well as experimental results collected during in labs and on the field tests with potential users in Industry 4.0 and healthcare. The industry partner in this project is VMware Canada, a leader in intelligent multi-cloud ecosystems. It is expected that the use case of Mixed Reality, which is considered in this project, will play a pivotal role in the next generation - namely 6G - of mobile networks, which is one of the key research areas for the VMWare Distributed Edge (DE). The research conducted in this project to enhance Mixed Reality experiences, its scability and its demonstration (in Industry 4.0 and in healthcare) in a jointly identified infrastructure is therefore of utmost interest for VMware. Les récents progrès technologiques ont conduit à l'introduction d'une nouvelle catégorie de dispositifs informatiques qui combinent des informations générées par ordinateur avec le monde "physique" dans un continuum réalité-virtualité, comme la réalité mixte (RM). La RM s'appuie sur des informations contextuelles pour intégrer du contenu virtuel dans l'environnement physique et reconnaître les actions des utilisateurs afin de favoriser des interactions intuitives et naturelles. Dans ce projet, nous travaillons sur un premier défi de la RM qui consiste à améliorer le raisonnement spatio-temporel en reconnaissant les objets dans un monde 3D et en les suivant pendant que les utilisateurs interagissent dans un continuum réalité-virtualité. Comme deuxième défi, nous travaillerons à supporter les transferts de modèles de connaissance du contexte et la construction d'une représentation commune d'un environnement en RM entre plusieurs utilisateurs et plusieurs espaces physiques locaux ou distants. Les résultats attendus du projet consisteront en des algorithmes et des modèles pour la RM qui seront mis en oeuvre dans deux prototypes d'application d'aide à la décision sensible au contexte basée sur la RM pour l'industrie 4.0 et les soins de santé, ainsi que des résultats expérimentaux recueillis en laboratoire et sur le terrain avec des utilisateurs potentiels de l'industrie 4.0 et des soins de santé. Le partenaire industriel de ce projet est VMware Canada, un chef de file des écosystèmes multi-clouds intelligents. Il est attendu que le cas d'utilisation de la réalité mixte, qui est envisagé dans ce projet, joue un rôle central dans la prochaine génération - à savoir le 6G - des réseaux mobiles, qui est l'un des principaux domaines de recherche de VMWare Distributed Edge (DE). Les recherches menées dans le cadre de ce projet pour améliorer les expériences de réalité mixte, leur évolutivité et leur démonstration (dans l'industrie 4.0 et dans les soins de santé) dans une infrastructure identifiée conjointement sont donc du plus haut intérêt pour VMware.