Grant: Alliance Grants
McGill University
$116,265.00
Improving intelligibility of speech in noisy environments using cognitive load measurements
EF 2023-24
Résumé
The "cocktail party problem" poses a challenge to hearing aids, in that devices cannot distinguish between important sounds to enhance and distracting noise to suppress, and thus, enhance all sounds and noise equally. AAVAA aims to solve this by developing a miniaturized system to allow head-worn devices to enhance a user's desired sounds and improve the perceived speech when the user encounters several sounds from the environment, without manual intervention from the user. To do so, the system must understand the level of mental exertion a user is employing to listen to the desired sound, or their cognitive load, which can be done purely from the brain signals. Then, in an attempt to lower the cognitive load, the audio parameters can be automatically tuned to ease listening effort and improve speech intelligibility. The results of this project will benefit anyone who wants to improve speech intelligibility in noisy environments, but in particular, will be of value for the hard-of-hearing population, who need the support of hearing assistance devices. The project involves a fusion of technologies, including brain and bio-signal analysis, advanced acoustic processing, artificial intelligence, and embedded system and hardware design. The system first decodes the cognitive load of the user from brain signals, such as EEG, and bio-signals, simply from unobtrusive sensors placed in and around the ears of a user, as would be expected for a hearing assistance device. Then, a complementary acoustic technology is employed that tunes the audio parameters to improve speech intelligibility, and delivers the resulting sounds, favoring the target sound as enhanced audio over noise. This will be done using objective and subjective analyses techniques based on signal to noise ratio (SNR) performance, delay, user satisfaction, and other means. From this research, we want to understand how the two elements could be combined, where the EEG markers used to indicate the level of cognitive overload will be used to tune the rendered sounds in order to increase speech intelligibility in a real-time, closed-loop system. L'un des principaux problèmes de l'industrie des aides auditives est le soi-disant "problème du cocktail", qui stipule que dans un environnement bruyant, les appareils ne peuvent pas faire la distinction entre les sons importants à améliorer et les bruits gênants à supprimer, et ainsi améliorer tous les sons et bruits. également. L'AAVAA vise à résoudre ce problème en développant un système miniaturisé permettant aux appareils portés sur la tête d'améliorer les sons souhaités par l'utilisateur et d'améliorer la parole perçue lorsque l'utilisateur rencontre plusieurs sons de l'environnement, le tout sans aucune intervention manuelle de l'utilisateur. Pour ce faire, le système doit d'abord comprendre le niveau d'effort mental qu'un utilisateur utilise pour écouter le son souhaité, ou sa charge cognitive, qui peut être effectuée uniquement à partir des signaux cérébraux. Ensuite, pour tenter de réduire la charge cognitive, les paramètres audio peuvent être réglés automatiquement pour faciliter l'effort d'écoute et améliorer l'intelligibilité de la parole. Par conséquent, les résultats de ce projet ont un effet direct sur les personnes malentendantes qui ont besoin du soutien d'appareils d'aide auditive, ainsi que sur tous ceux qui souhaitent améliorer leur intelligibilité de la parole dans des environnements bruyants.Le projet proposé implique une fusion de technologies, y compris l'analyse du cerveau et des signaux biologiques, le traitement acoustique avancé, l'intelligence artificielle et la conception de systèmes et de matériel embarqués. Le système décode d'abord la charge cognitive de l'utilisateur à partir de signaux cérébraux, tels que l'EEG, et de signaux biologiques, simplement à partir de capteurs discrets placés dans et autour des oreilles d'un utilisateur, comme on pourrait s'y attendre pour un appareil d'aide auditive. Ensuite, une technologie acoustique complémentaire est utilisée, qui règle les paramètres audio pour améliorer l'intelligibilité de la parole et délivre les sons résultants, favorisant le son cible en tant qu'audio amélioré par rapport aux autres bruits. Cela sera fait en utilisant des techniques d'analyse objectives et subjectives basées sur les performances du rapport signal sur bruit (SNR), le retard, la satisfaction de l'utilisateur et d'autres moyens.Pour un objectif à long terme de cette recherche, nous voulons comprendre comment les deux éléments pourraient être combinés, où les marqueurs EEG utilisés pour indiquer le niveau de surcharge cognitive seront utilisés pour ajuster les sons rendus afin d'augmenter l'intelligibilité de la parole dans un système en boucle fermée en temps réel.
Programme
Alliance Grants
Bénéficiaire
Emplacement
Quebec, Canada
Type de bénéficiaire
Academia
Type
Grant
Source
NSERC's Awards Data
Tel que publié
Application id
580829-2022
Name nom
Cooperstock, Jeremy JR
Department département
Electrical and Computer Engineering
Organization id
61
Institution établissement
McGill University
Province en
Québec
Province fr
Québec
Country en
CANADA
Country fr
CANADA
Fiscal year exercice financier
2023
Competition year année de concours
2022
Award amount
116265
Program id
ALLRP
Program name en
Alliance Grants
Program name fr
Subventions Alliance
Group en
RESEARCH PARTNERSHIPS
Group fr
PARTENARIATS DE RECHERCHE
Committee code
96
Committee name en
RPP Internal Decision Cttee
Committee name fr
Cté de décision interne - PPR
Area of application code
1102
Area of application group en
Health, education and social services
Area of application group fr
Santé publique, éducation et services sociaux
Area of application en
Biomedical engineering
Area of application fr
Génie biomédical
Research subject code
2514
Research subject group en
Electrical and electronic engineering
Research subject group fr
Digital signal processing
Research subject en
Génie électrique et électronique
Research subject fr
Traitement des signaux numériques
Application title
Improving intelligibility of speech in noisy environments using cognitive load measurements
Keyword
augmented hearing; cognitive load; EEG signal processing; machine learning
Application summary
The "cocktail party problem" poses a challenge to hearing aids, in that devices cannot distinguish between important sounds to enhance and distracting noise to suppress, and thus, enhance all sounds and noise equally. AAVAA aims to solve this by developing a miniaturized system to allow head-worn devices to enhance a user's desired sounds and improve the perceived speech when the user encounters several sounds from the environment, without manual intervention from the user. To do so, the system must understand the level of mental exertion a user is employing to listen to the desired sound, or their cognitive load, which can be done purely from the brain signals. Then, in an attempt to lower the cognitive load, the audio parameters can be automatically tuned to ease listening effort and improve speech intelligibility. The results of this project will benefit anyone who wants to improve speech intelligibility in noisy environments, but in particular, will be of value for the hard-of-hearing population, who need the support of hearing assistance devices. The project involves a fusion of technologies, including brain and bio-signal analysis, advanced acoustic processing, artificial intelligence, and embedded system and hardware design. The system first decodes the cognitive load of the user from brain signals, such as EEG, and bio-signals, simply from unobtrusive sensors placed in and around the ears of a user, as would be expected for a hearing assistance device. Then, a complementary acoustic technology is employed that tunes the audio parameters to improve speech intelligibility, and delivers the resulting sounds, favoring the target sound as enhanced audio over noise. This will be done using objective and subjective analyses techniques based on signal to noise ratio (SNR) performance, delay, user satisfaction, and other means. From this research, we want to understand how the two elements could be combined, where the EEG markers used to indicate the level of cognitive overload will be used to tune the rendered sounds in order to increase speech intelligibility in a real-time, closed-loop system. L'un des principaux problèmes de l'industrie des aides auditives est le soi-disant "problème du cocktail", qui stipule que dans un environnement bruyant, les appareils ne peuvent pas faire la distinction entre les sons importants à améliorer et les bruits gênants à supprimer, et ainsi améliorer tous les sons et bruits. également. L'AAVAA vise à résoudre ce problème en développant un système miniaturisé permettant aux appareils portés sur la tête d'améliorer les sons souhaités par l'utilisateur et d'améliorer la parole perçue lorsque l'utilisateur rencontre plusieurs sons de l'environnement, le tout sans aucune intervention manuelle de l'utilisateur. Pour ce faire, le système doit d'abord comprendre le niveau d'effort mental qu'un utilisateur utilise pour écouter le son souhaité, ou sa charge cognitive, qui peut être effectuée uniquement à partir des signaux cérébraux. Ensuite, pour tenter de réduire la charge cognitive, les paramètres audio peuvent être réglés automatiquement pour faciliter l'effort d'écoute et améliorer l'intelligibilité de la parole. Par conséquent, les résultats de ce projet ont un effet direct sur les personnes malentendantes qui ont besoin du soutien d'appareils d'aide auditive, ainsi que sur tous ceux qui souhaitent améliorer leur intelligibilité de la parole dans des environnements bruyants.Le projet proposé implique une fusion de technologies, y compris l'analyse du cerveau et des signaux biologiques, le traitement acoustique avancé, l'intelligence artificielle et la conception de systèmes et de matériel embarqués. Le système décode d'abord la charge cognitive de l'utilisateur à partir de signaux cérébraux, tels que l'EEG, et de signaux biologiques, simplement à partir de capteurs discrets placés dans et autour des oreilles d'un utilisateur, comme on pourrait s'y attendre pour un appareil d'aide auditive. Ensuite, une technologie acoustique complémentaire est utilisée, qui règle les paramètres audio pour améliorer l'intelligibilité de la parole et délivre les sons résultants, favorisant le son cible en tant qu'audio amélioré par rapport aux autres bruits. Cela sera fait en utilisant des techniques d'analyse objectives et subjectives basées sur les performances du rapport signal sur bruit (SNR), le retard, la satisfaction de l'utilisateur et d'autres moyens.Pour un objectif à long terme de cette recherche, nous voulons comprendre comment les deux éléments pourraient être combinés, où les marqueurs EEG utilisés pour indiquer le niveau de surcharge cognitive seront utilisés pour ajuster les sons rendus afin d'augmenter l'intelligibilité de la parole dans un système en boucle fermée en temps réel.