Grant: Alliance Grants
École Polytechnique de Montréal
$342,860.00
Monitoring and Debugging of High Performance Distributed Heterogeneous Cloud Applications
EF 2021-22
Résumé
The communication and computing infrastructure is getting ever more sophisticated at an extremely rapid pace. Recent applications include 5G connected mobile devices, autonomous cars, smart robots and intelligent digital assistants powered by Machine Learning. These advances are made possible by a number of technological developments at the hardware and software levels, such as computer central processing units with tens of cores, coprocessors for graphics and intensive computations (GPGPU) with thousands of cores and over 18 billion logic elements, 5G low latency high speed networking, and Cloud based infrastructures that execute their requests in parallel.As a result, even a simple operation such as initiating a phone call, making a Web search, routing a packet or displaying a video frame, can involve many parallel cores on more than one processing unit, possibly on several servers. Moreover, the same operation, a few seconds later, may be served in a different way by different cores and physical servers in the Cloud. Therefore, understanding the performance of these operations has become extremely difficult and the tools for that purpose are severely lacking. In this project, the tracing, profiling, debugging and monitoring tools for High Performance Distributed Systems will be extended to efficiently extract information from all units in all layers, from the hardware to the applications, and cope with the large number of cores and computers. The project has a specific focus on Cloud applications connecting to mobile and Internet of Things devices through Edge servers and 5G networks, High Performance Computing exploiting the new generation of shared memory GPGPUs, Machine Learning applications, and a new modular architecture for more integrated software development tools. As a result, the designers and operators of High Performance Distributed Systems will have the tools in hand to quickly analyse their system performance, automatically or manually find problems, and optimise operations.#(cr)#(lf)L'infrastructure de calcul et de communication évolue très rapidement et devient toujours plus sophistiquée. Des exemples de nouvelles applications incluent l'informatique mobile avec les réseaux 5G, les voitures autonomes, les robots et assistants numériques intelligents et l'apprentissage machine. Ceci devient possible grâce à plusieurs avancées technologiques, tant matérielles que logicielles, comme les unités centrales de traitement avec des dizaines de coeurs, les coprocesseurs pour le graphisme et les calculs scientifiques (GPGPU) avec des milliers de coeurs, les réseaux 5G à haute vitesse et faible latence, et les infrastructures infonuagiques qui exécutent un grand nombre de requêtes en parallèle.En conséquence, une simple requête, comme faire une recherche sur la Toile ou afficher une image d'un vidéo, peut impliquer un grand nombre de coeurs en parallèle, possiblement sur plusieurs serveurs. Plus encore, la même opération, quelques secondes plus tard, pourrait être servie de manière différente, par différents coeurs et noeuds physiques, dans l'infonuagique. Ainsi, comprendre la performance de telles opérations devient extrêmement difficile et les outils disponibles présentent de nombreuses lacunes. Dans le cadre de ce projet, les outils pour le traçage, profilage, débogage et monitoring de systèmes répartis seront étendus pour efficacement extraire l'information de toutes les unités, à tous les niveaux, du matériel jusqu'aux applications. Le projet se concentre plus spécifiquement sur les applications infonuagiques connectant l'Internet des Objets à travers les réseaux 5G, l'utilisation des processeurs hétérogènes de type GPGPU pour les applications de haute performance, les applications d'apprentissage machine, et les architectures modulaires pour les environnements intégrés de développement. Ceci permettra aux concepteurs et opérateurs de systèmes répartis de haute performance d'avoir les outils en main pour rapidement
Programme
Alliance Grants
Bénéficiaire
Emplacement
Quebec, Canada
Type de bénéficiaire
Academia
Type
Grant
Source
NSERC's Awards Data
Tel que publié
Application id
554158-2020
Name nom
Dagenais, Michel
Department département
Génie informatique et génie logiciel
Organization id
64
Institution établissement
École Polytechnique de Montréal
Province en
Québec
Province fr
Québec
Country en
CANADA
Country fr
CANADA
Fiscal year exercice financier
2021
Competition year année de concours
2020
Award amount
342860
Program id
ALLRP
Program name en
Alliance Grants
Program name fr
Subventions Alliance
Group en
Research partnerships programs
Group fr
Programmes de partenariat
Committee code
96
Committee name en
RPP Internal Decision Cttee
Committee name fr
Cté de décision interne - PPR
Area of application code
1207
Area of application group en
Advancement of knowledge
Area of application group fr
Avancement des connaissances
Area of application en
Information, computer and communication technologies
Area of application fr
Technologie de l'information, des ordinateurs et des réseaux de communications
Research subject code
2720
Research subject group en
Information technology
Research subject group fr
Technologie de l'information
Research subject en
Computer systems software
Research subject fr
Logiciel de systèmes informatiques
Installment
inst:2
Partie
1
Nb partie
3
Application title
Monitoring and Debugging of High Performance Distributed Heterogeneous Cloud Applications
Keyword
NSERC
Application summary
The communication and computing infrastructure is getting ever more sophisticated at an extremely rapid pace. Recent applications include 5G connected mobile devices, autonomous cars, smart robots and intelligent digital assistants powered by Machine Learning. These advances are made possible by a number of technological developments at the hardware and software levels, such as computer central processing units with tens of cores, coprocessors for graphics and intensive computations (GPGPU) with thousands of cores and over 18 billion logic elements, 5G low latency high speed networking, and Cloud based infrastructures that execute their requests in parallel.As a result, even a simple operation such as initiating a phone call, making a Web search, routing a packet or displaying a video frame, can involve many parallel cores on more than one processing unit, possibly on several servers. Moreover, the same operation, a few seconds later, may be served in a different way by different cores and physical servers in the Cloud. Therefore, understanding the performance of these operations has become extremely difficult and the tools for that purpose are severely lacking. In this project, the tracing, profiling, debugging and monitoring tools for High Performance Distributed Systems will be extended to efficiently extract information from all units in all layers, from the hardware to the applications, and cope with the large number of cores and computers. The project has a specific focus on Cloud applications connecting to mobile and Internet of Things devices through Edge servers and 5G networks, High Performance Computing exploiting the new generation of shared memory GPGPUs, Machine Learning applications, and a new modular architecture for more integrated software development tools. As a result, the designers and operators of High Performance Distributed Systems will have the tools in hand to quickly analyse their system performance, automatically or manually find problems, and optimise operations.#(cr)#(lf)L'infrastructure de calcul et de communication évolue très rapidement et devient toujours plus sophistiquée. Des exemples de nouvelles applications incluent l'informatique mobile avec les réseaux 5G, les voitures autonomes, les robots et assistants numériques intelligents et l'apprentissage machine. Ceci devient possible grâce à plusieurs avancées technologiques, tant matérielles que logicielles, comme les unités centrales de traitement avec des dizaines de coeurs, les coprocesseurs pour le graphisme et les calculs scientifiques (GPGPU) avec des milliers de coeurs, les réseaux 5G à haute vitesse et faible latence, et les infrastructures infonuagiques qui exécutent un grand nombre de requêtes en parallèle.En conséquence, une simple requête, comme faire une recherche sur la Toile ou afficher une image d'un vidéo, peut impliquer un grand nombre de coeurs en parallèle, possiblement sur plusieurs serveurs. Plus encore, la même opération, quelques secondes plus tard, pourrait être servie de manière différente, par différents coeurs et noeuds physiques, dans l'infonuagique. Ainsi, comprendre la performance de telles opérations devient extrêmement difficile et les outils disponibles présentent de nombreuses lacunes. Dans le cadre de ce projet, les outils pour le traçage, profilage, débogage et monitoring de systèmes répartis seront étendus pour efficacement extraire l'information de toutes les unités, à tous les niveaux, du matériel jusqu'aux applications. Le projet se concentre plus spécifiquement sur les applications infonuagiques connectant l'Internet des Objets à travers les réseaux 5G, l'utilisation des processeurs hétérogènes de type GPGPU pour les applications de haute performance, les applications d'apprentissage machine, et les architectures modulaires pour les environnements intégrés de développement. Ceci permettra aux concepteurs et opérateurs de systèmes répartis de haute performance d'avoir les outils en main pour rapidement