Grant: Discovery Grants Program - Individual
École Polytechnique de Montréal
$58,000.00
Analyse formelle du flux d'information quantitative dans les systèmes d'intelligences artificielles
EF 2024-25
Résumé
La sécurité des systèmes d'intelligences artificielles (i.e. des systèmes qui interagissent avec leur environnement et qui peuvent inclure des intelligences artificielles) est devenue hautement critique. La communauté de l'apprentissage automatique reconnait en effet la nécessité d'expliquer et de certifier les algorithmes d'apprentissage et les réseaux de neurones et que pour ce faire, de nouvelles techniques sont nécessaires, particulièrement pour les applications où la sûreté de fonctionnement et la sécurité sont critiques. Ce projet se propose d'établir des méthodes formelles de calcul de mesures quantitatives de flux d'information dans ces systèmes. Il recouvrira aussi bien le développement de modèles de ces systèmes et de la spécification de la sécurité de l'information qu'ils doivent assurer que celui de méthodes aptes à assurer leur correction. Cette approche visera à quantifier la robustesse des systèmes d'intelligenses artificielles face aux attaques basées sur une analyse statistique capable d'inférer un secret à partir de ses observations. Le champ de recherche sur les modèles quantitatifs de flux d'information dans les systèmes ouverts (i.e. qui interagissent avec leur environnement) est maintenant bien établi mais à notre connaissance, aucune méthode n'a encore été proposée pour quantifier le flux d'information dans un réseau de neurones ou un système d'apprentissage.
Ce projet vise donc, à court, moyen et long terme respectivement, à: 1. Décrire les modèles les plus pertinents pour les réseaux de neurones ou les systèmes d'apprentissages qui permettent de décrire leurs représentations internes car ces représentations peuvent révéler de l'information d'ensembles d'exemples données à l'apprentissage et de manière plus générale, qui permettent de décrire le flux d'information le long de la structure; 2. Exprimer les requis sécuritaires que doivent assurer les réseaux de neurones ou les systèmes d'apprentissage en termes de flux d'information dans leur modèle; Établir des mesures formelles signifiantes de la quantité d'information transmise des données et paramètres secrets du modèle d'un système d'intelligences artificielles à son comportement observable ; et 3. Développer des algorithmes de calcul de ces mesures.
Programme
Discovery Grants Program - Individual
Bénéficiaire
Emplacement
Quebec, Canada
Type de bénéficiaire
Academia
Type
Grant
Source
NSERC's Awards Data
Tel que publié
Application id
RGPIN-2020-06736
Name nom
Mullins, John
Department département
Génie Informatique et Génie Logiciel
Organization id
64
Institution établissement
École Polytechnique de Montréal
Province en
Québec
Province fr
Québec
Country en
CANADA
Country fr
CANADA
Fiscal year exercice financier
2024
Competition year année de concours
2020
Award amount
58000
Program id
RGPIN
Program name en
Discovery Grants Program - Individual
Program name fr
Programme de subventions à la découverte - individuelles
Group en
DISCOVERY RESEARCH
Group fr
RECHERCHE AXÉE SUR LA DÉCOUVERTE
Committee code
1507
Committee name en
Computer Science
Committee name fr
Sciences informatiques
Area of application code
801
Area of application group en
Information and communication services
Area of application group fr
Services d'information et de télécommunications
Area of application en
Computer software
Area of application fr
Logiciel
Research subject code
2700
Research subject group en
Information technology
Research subject group fr
Technologie de l'information
Research subject en
Information technology
Research subject fr
Technologie de l'information
Field of research list names en
Not available
Field of research list names fr
Non disponible
Socioeconomic objective list names en
Not available
Socioeconomic objective list names fr
Non disponible
Application title
Analyse formelle du flux d'information quantitative dans les systèmes d'intelligences artificielles
Keywords
méthodes formelles; systèmes distribués; systèmes probabilistes; sécurité de l'information; flux d'information quantitatif; théorie de l'information; réseaux de neurones; algorithmes d'apprentissage profond
Application summary
La sécurité des systèmes d'intelligences artificielles (i.e. des systèmes qui interagissent avec leur environnement et qui peuvent inclure des intelligences artificielles) est devenue hautement critique. La communauté de l'apprentissage automatique reconnait en effet la nécessité d'expliquer et de certifier les algorithmes d'apprentissage et les réseaux de neurones et que pour ce faire, de nouvelles techniques sont nécessaires, particulièrement pour les applications où la sûreté de fonctionnement et la sécurité sont critiques. Ce projet se propose d'établir des méthodes formelles de calcul de mesures quantitatives de flux d'information dans ces systèmes. Il recouvrira aussi bien le développement de modèles de ces systèmes et de la spécification de la sécurité de l'information qu'ils doivent assurer que celui de méthodes aptes à assurer leur correction. Cette approche visera à quantifier la robustesse des systèmes d'intelligenses artificielles face aux attaques basées sur une analyse statistique capable d'inférer un secret à partir de ses observations. Le champ de recherche sur les modèles quantitatifs de flux d'information dans les systèmes ouverts (i.e. qui interagissent avec leur environnement) est maintenant bien établi mais à notre connaissance, aucune méthode n'a encore été proposée pour quantifier le flux d'information dans un réseau de neurones ou un système d'apprentissage.
Ce projet vise donc, à court, moyen et long terme respectivement, à: 1. Décrire les modèles les plus pertinents pour les réseaux de neurones ou les systèmes d'apprentissages qui permettent de décrire leurs représentations internes car ces représentations peuvent révéler de l'information d'ensembles d'exemples données à l'apprentissage et de manière plus générale, qui permettent de décrire le flux d'information le long de la structure; 2. Exprimer les requis sécuritaires que doivent assurer les réseaux de neurones ou les systèmes d'apprentissage en termes de flux d'information dans leur modèle; Établir des mesures formelles signifiantes de la quantité d'information transmise des données et paramètres secrets du modèle d'un système d'intelligences artificielles à son comportement observable ; et 3. Développer des algorithmes de calcul de ces mesures.