Contribution: Research and Policy Initiatives Assistance Program
University of Ottawa | l’Université d’Ottawa
$63,000.00
Text Analysis of Evaluation Reports
FY 2022-23 · 2023-02-03
Summary
The objective of this research project is to perform an independent, experimental analysis and data extraction from publicly available evaluation reports to provide innovative insights into program effectiveness. This research will explore what types of data can be extracted and analyzed from a sample of multi-jurisdictional evaluation reports, and test the usability of artificial intelligence, text mining, and other semi-automated tools to analyze the information.
Department
Program
Research and Policy Initiatives Assistance ProgramResearch and Policy Initiatives Assistance Program (linked with high confidence)
Location
Ottawa, Ontario, Canada
Recipient Type
Academia
Type
Contribution
Source
Proactive Disclosure - Grants and Contributions
As published
Agreement End Date
2023-03-31
Agreement Number
GC-2022-2023-Q4-00003
Agreement Start Date
2023-02-03
Agreement Title
Text Analysis of Evaluation Reports
Agreement Title (French)
Analyse du texte des rapports d’évaluation
Agreement Type
Contribution
Agreement Value
$63,000.00
Amendment Number
0
Coverage
The program will support projects which contribute to the effectiveness of public service management practices through the improvement, advancement, and promotion of public policy research, experimentation and engagement. | Le programme soutiendra des projets qui contribuent à l’efficacité des pratiques de gestion de la fonction publique par l’amélioration, l’avancement et la promotion de la recherche sur les politiques du secteur public, de l’expérimentation et de la participation.
Description
The objective of this research project is to perform an independent, experimental analysis and data extraction from publicly available evaluation reports to provide innovative insights into program effectiveness. This research will explore what types of data can be extracted and analyzed from a sample of multi-jurisdictional evaluation reports, and test the usability of artificial intelligence, text mining, and other semi-automated tools to analyze the information.
Description (French)
L’objectif de ce projet de recherche est d’effectuer une analyse expérimentale indépendante et d’extraire des données des rapports d’évaluation accessibles au public afin de fournir des pistes de réflexion novatrices sur l’efficacité des programmes. Les participants à la recherche examineront les types de données qui peuvent être extraites et analysées à partir d’un échantillon de rapports d’évaluation intergouvernementaux. De plus, ils vérifieront l’utilisabilité de l’intelligence artificielle, de l’exploration de texte et d’autres outils semi-automatisés pour analyser l’information.
Expected Results
In the short-term, the project will prepare a public report outlining the steps taken to capture, clean and populate the data; identify the tools and specific analytical models used; and provide recommendations for semi-automation of the process. The project will also compare the results with those generated using a tool developed by Australian researchers. In the long run, the project will develop an open-source methodology for large scale analysis of text data extracted from evaluation reports; create new, publicly available datasets which researchers and Canadians will be able to access to better understand successful best practices in program and policy design; and improve the effectiveness of public service management practices by conducting international, and domestic jurisdictional comparisons and by disseminating the information embodied in the evaluation reports.
Expected Results (French)
À court terme, les participants au projet prépareront un rapport public décrivant les mesures prises pour saisir, nettoyer et alimenter les données; détermineront les outils et les modèles analytiques particuliers utilisés; et formuleront des recommandations en vue de la semi-automatisation du processus. Les participants au projet compareront en outre les résultats avec ceux générés à l’aide d’un outil développé par des chercheurs australiens. À long terme, les participants au projet développeront une méthodologie de source ouverte pour l’analyse à grande échelle des données textuelles extraites des rapports d’évaluation; créeront de nouveaux ensembles de données accessibles au public que les chercheurs et les Canadiens pourront consulter afin de mieux comprendre les pratiques exemplaires établies en matière de conception de programmes et de politiques; et amélioreront l’efficacité des pratiques de gestion des services publics en effectuant des comparaisons internationales et nationales entre les administrations et en diffusant les renseignements contenus dans les rapports d’évaluation.
Organization Code
tbs-sct
Organization
Treasury Board of Canada Secretariat | Secrétariat du Conseil du Trésor du Canada
Program Name
Research and Policy Initiatives Assistance Program
Program Name (French)
Bureau du Programme de soutien d’initiatives stratégiques et de recherche
Program Purpose
The overall objective of the program is to support projects which contribute to the effectiveness of public service management practices through the improvement, advancement, and promotion of public policy research, experimentation and engagement.
Program Purpose (French)
L’objectif général du programme consiste à soutenir des projets qui contribuent à l’efficacité des pratiques de gestion de la fonction publique grâce à l’amélioration, à l’avancement ainsi qu’à la promotion de la recherche sur les politiques gouvernementales, de l’innovation, de l’expérimentation et de la participation.
Recipient City
Ottawa
Recipient Country
CA
Recipient Legal Name
University of Ottawa | l’Université d’Ottawa
Recipient Operating Name
University of Ottawa | l’Université d’Ottawa
Recipient Postal Code
K1N 6N5
Recipient Province or Territory
ON
Recipient Type
S
Reference Number
GC-2022-2023-Q4-00003