Grant: Discovery Grants Program - Individual
École Polytechnique de Montréal
$28,000.00
Entraînement de réseaux de neurones profonds à faible énergie en exploitant les compromis énergie-fiabilité
FY 2024-25
Summary
Les algorithmes d'apprentissage automatique basés sur des réseaux de neurones profonds ont révolutionné le domaine de l'intelligence artificielle (IA) en surpassant largement les approches existantes sur un grand nombre de tâches difficiles telles que la reconnaissance vocale ou la vision par ordinateur. Cependant, pour atteindre les meilleures performances, ces réseaux doivent être très complexes et être entraînés avec une grande quantité de données, ce qui requiert une importante dépense d'énergie. Il est donc d'une importance capitale de chercher à réduire la consommation d'énergie des tâches d'entraînement, d'autant plus que les progrès réalisés en IA ont toujours été fortement liés à la disponibilité de matériel de calcul performant.
Le programme de recherche présenté vise à développer des approches pour grandement réduire la consommation d'énergie liée à l'entraînement des réseaux de neurones profonds et à leur utilisation. La portion du programme financée par la subvention Découverte se concentre sur l'entraînement et obtiendra des réductions d'énergie en éliminant une source d'inefficacité des systèmes de calcul qui est actuellement négligée, spécifiquement les compromis que l'on retrouve dans ces systèmes entre consommation d'énergie et fiabilité. Plusieurs méthodes seront proposées permettant d'obtenir des résultats d'entraînement équivalents même en présence d'erreurs de calcul occasionnelles, d'identifier les configurations du système qui minimisent la consommation d'énergie, et de garantir la qualité des systèmes de calcul fabriqués. De plus un prototype d'accélérateur de calcul à faible consommation d'énergie sera fabriqué afin de démontrer les réductions d'énergie obtenues.
En réduisant significativement l'énergie requise pour entraîner un réseau de neurones, les travaux proposés permettront de réduire le coût monétaire des tâches d'entraînement et donc de rendre les méthodes d'apprentissage profond accessibles à un groupe d'utilisateurs plus grand et plus diversifié, tout en permettant aux chercheurs de continuer à explorer les possibilités offertes par des modèles encore plus complexes.
Program
Discovery Grants Program - Individual
Recipient
Location
Quebec, Canada
Recipient Type
Academia
Type
Grant
Source
NSERC's Awards Data
As published
Application id
RGPIN-2021-04242
Name nom
Leduc-Primeau, François
Department département
Département de génie électrique
Organization id
64
Institution établissement
École Polytechnique de Montréal
Province en
Québec
Province fr
Québec
Country en
CANADA
Country fr
CANADA
Fiscal year exercice financier
2024
Competition year année de concours
2021
Award amount
28000
Program id
RGPIN
Program name en
Discovery Grants Program - Individual
Program name fr
Programme de subventions à la découverte - individuelles
Group en
DISCOVERY RESEARCH
Group fr
RECHERCHE AXÉE SUR LA DÉCOUVERTE
Committee code
1510
Committee name en
Electrical and Computer Engineering
Committee name fr
Génie électrique et informatique
Area of application code
306
Area of application group en
Energy resources
Area of application group fr
Ressources d'énergie
Area of application en
Energy efficiency
Area of application fr
Efficacité énergétique
Research subject code
2515
Research subject group en
Electrical and electronic engineering
Research subject group fr
Génie électrique et électronique
Research subject en
Electronic materials and components
Research subject fr
Matériels et composants électroniques
Field of research list names en
Not available
Field of research list names fr
Non disponible
Socioeconomic objective list names en
Not available
Socioeconomic objective list names fr
Non disponible
Application title
Entraînement de réseaux de neurones profonds à faible énergie en exploitant les compromis énergie-fiabilité
Keywords
apprentissage profond; entraînement de réseaux de neurones; systèmes numériques; architecture d'ordinateurs; efficacité énergétique; codes correcteurs d'erreurs
Application summary
Les algorithmes d'apprentissage automatique basés sur des réseaux de neurones profonds ont révolutionné le domaine de l'intelligence artificielle (IA) en surpassant largement les approches existantes sur un grand nombre de tâches difficiles telles que la reconnaissance vocale ou la vision par ordinateur. Cependant, pour atteindre les meilleures performances, ces réseaux doivent être très complexes et être entraînés avec une grande quantité de données, ce qui requiert une importante dépense d'énergie. Il est donc d'une importance capitale de chercher à réduire la consommation d'énergie des tâches d'entraînement, d'autant plus que les progrès réalisés en IA ont toujours été fortement liés à la disponibilité de matériel de calcul performant.
Le programme de recherche présenté vise à développer des approches pour grandement réduire la consommation d'énergie liée à l'entraînement des réseaux de neurones profonds et à leur utilisation. La portion du programme financée par la subvention Découverte se concentre sur l'entraînement et obtiendra des réductions d'énergie en éliminant une source d'inefficacité des systèmes de calcul qui est actuellement négligée, spécifiquement les compromis que l'on retrouve dans ces systèmes entre consommation d'énergie et fiabilité. Plusieurs méthodes seront proposées permettant d'obtenir des résultats d'entraînement équivalents même en présence d'erreurs de calcul occasionnelles, d'identifier les configurations du système qui minimisent la consommation d'énergie, et de garantir la qualité des systèmes de calcul fabriqués. De plus un prototype d'accélérateur de calcul à faible consommation d'énergie sera fabriqué afin de démontrer les réductions d'énergie obtenues.
En réduisant significativement l'énergie requise pour entraîner un réseau de neurones, les travaux proposés permettront de réduire le coût monétaire des tâches d'entraînement et donc de rendre les méthodes d'apprentissage profond accessibles à un groupe d'utilisateurs plus grand et plus diversifié, tout en permettant aux chercheurs de continuer à explorer les possibilités offertes par des modèles encore plus complexes.