Grant: Alliance Grants

How do we learn the concepts of safety and how do we apply them to control algorithms for AI-driven vehicles? While deep reinforcement learning is a very common approach for modern artificial intelligence in terms of autonomous control (of robots, aircraft, factories, etc.), it carries by nature a fundamental safety risk that prevents its deployment in the context of many real industrial systems. Several researchers are trying to validate the safety of AI-driven systems. In this project, we use a different approach: we use classical control approaches to constrain AI-based systems and prevent actions that are not safe. We combine control theory and reinforcement learning to produce efficient and safe control algorithms, which can be initially trained in simulation, and then adapted and refined by meeting safety guarantees on the targeted real hardware. The principle is to use "barriers" to set strict safety limits for controllers trained by reinforcement learning (e.g., the controller of a drone). These barriers can themselves be learned automatically, and loosened or tightened as needed, trading off some level of risk to improve learning or performance. Imagine a person learning to ski with an instructor: they will take the risk of falling to learn, but this risk is limited and constrained by the instructor's knowledge and guidance. In a similar way, our barriers will prevent excessively risky actions taken by the AI. Our final goal is to design controllers that can be trained in simulation and then deployed on real hardware for adaptation and additional learning with tunable, calculated risk based on performance requirements. The economic and technical benefits for the industrial partners will be significant in the medium term, as the project will allow the application of deep reinforcement learning methods, which currently exceed the performance of all other known methods as well as that of human experts in more and more virtual environments where errors have no serious consequences, to real systems where safety is critical. Personnel working on the project will be highly sought after, and Canada will benefit in terms of scientific and industrialprestige, as well as by the economic impact of the new highly qualified personnel. Comment apprendre les concepts de sécurité et comment les appliquer aux algorithmes de contrôle pour les véhicules pilotés par l'intelligence artificielle (IA) ? Si l'apprentissage profond par renforcement est aujourd'hui l'étendard de l'intelligence artificielle moderne en termes de contrôle autonome (de robots, avions, etc.), il comporte par nature un risque de sécurité fondamental qui empêche son déploiement dans le contexte de nombreux systèmes industriels réels. Plusieurs chercheurs essayent de valider la sûreté des systèmes gérés par l'IA. Dans ce projet, nous utilisons une approche différente: nous allons utiliser des approches de contrôle classiques pour baliser les systèmes basés sur l'IA et empêcher des actions qui ne sont pas sécuritaires. Nous combinons la théorie du contrôle et l'apprentissage par renforcement pour produire des algorithmes de contrôle performants et sûrs, qui peuvent être initialement formés en simulation, puis adaptés et peaufinés en répondant à des garanties de sécurité sur le matériel réel ciblé. Le principe consiste à utiliser des "barrières" pour fixer des limites de sécurité strictes aux contrôleurs formés par apprentissage par renforcement (p.ex. le contrôleur d'un drone). Ces barrières peuvent elles-mêmes être apprises automatiquement, et assouplie ou resserrées au besoin, en échangeant un certain niveau de risque pour améliorer l'apprentissage ou la performance. Imaginons une personne qui apprend le ski avec un instructeur: elle va prendre des risques de tomber pour apprendre, mais ces risques sont balisés par les connaissances de l'instructeur. De façons similaire, nos barrières vont empêcher des actions trop risquées prises par l'IA. Notre objectif est de concevoir des contrôleurs qui peuvent être formés en simulation, puis déployés et adaptés au matériel réel à travers un apprentissage continu, avec un risque variable calculé en fonction des exigences de performance du système cible. Les retombées économiques et techniques pour les partenaires industriels seront conséquentes à moyen terme. Le personnel travaillant sur le projet sera très recherché, et le Canada en bénéficiera en termes de prestige scientifique ainsi qu'en termes d'impact économique.