Évaluation du Programme du multiculturalisme
2. Méthodologie
La portée et la méthodologie de l’évaluation étaient exposées dans le plan mis au point durant l’étape de planification qui a précédé l’évaluation. Cette planification s’est déroulée entre septembre 2010 et mars 2011, en concertation avec des représentants de tous les secteurs du Programme du multiculturalisme.
2.1 Thèmes et questions d’évaluation
L’évaluation du Programme du multiculturalisme portait sur trois grands thèmes : la pertinence, la conception et la prestation, le rendement. Conformément à la Directive sur la fonction d’évaluation (Secrétariat du Conseil du Trésor du Canada, 2009), la pertinence du Programme a été évaluée en fonction du besoin continu (1), de sa conformité aux priorités et rôles du gouvernement (2) et de son harmonisation avec les priorités et objectifs du gouvernement et du Ministère (3). L’évaluation du rendement du Programme a reposé sur un examen de ses résultats en matière d’efficacité (4) et d’efficience et d’économie (5) (Tableau 2-1). L’Annexe B fournit la matrice d’évaluation intégrale, notamment les indicateurs et la méthodologie pour chaque question d’évaluation.
Tableau 2-1 : Sommaire des enjeux et des questions d’évaluation
| Thème d’évaluation | Question d’évaluation | No de sectionNote de bas de page 10 |
|---|---|---|
| Pertinence | Est-il nécessaire de mettre en place des programmes qui traitent du multiculturalisme au Canada? | 3.1.1 |
| Le gouvernement fédéral peut-il jouer un rôle et assumer des responsabilités au chapitre du multiculturalisme canadien? | 3.1.2 | |
| Le Programme du multiculturalisme correspond-il aux priorités du Ministère et du gouvernement dans son ensemble? | 3.1.3 | |
| Conception et prestation | Dans quelle mesure la prestation du Programme du multiculturalisme a-t-elle été adaptée en fonction des nouveaux objectifs du programme? | 3.2.1 |
| A-t-on mis en place une structure adéquate et efficace de gouvernance pour le Programme du multiculturalisme? | 3.2.2 | |
| Problèmes liés à la conception et à la prestationNote de bas de page 11 | 3.2.3 | |
| A-t-on mis en œuvre une stratégie de mesure du rendement qui soutient efficacement la gestion et l’évaluation du Programme du multiculturalisme? | 3.2.4 | |
| Rendement | Les participants au programme sont-ils plus sensibilisés aux valeurs démocratiques fondamentales, à l’histoire canadienne, aux institutions et à la diversité ethnoculturelle et religieuse? | 3.3.1 |
| Les projets et activités ont-ils permis aux participants d’accroître leur mémoire civique et leur fierté à l’égard du Canada et leur respect de ses valeurs démocratiques fondamentales? | 3.3.1 | |
| Les participants aux projets comprennent-ils mieux les autres cultures et croyances religieuses? | 3.3.1 | |
| Les programmes, politiques et services des institutions fédérales et ciblées tiennent-ils compte des besoins d’une société diversifiée? | 3.3.2 / 3.3.3 | |
| Les pratiques exemplaires internationales sur les approches de la diversité ont-elles été communiquées aux intervenants concernés et intégrées dans la conception et la gestion du Programme du multiculturalisme? | 3.3.3 | |
| La prestation du Programme du multiculturalisme est-elle efficiente? Est-ce qu’il y a d’autres méthodes plus économiquement avantageuses pour obtenir les résultats escomptés? | 3.4.1 |
2.2 Portée de l’évaluation
L’évaluation portait sur les activités menées et sur les extrants produits entre les exercices 2008-2009 et 2010-2011. En conséquence, certains projets ayant bénéficié de subventions et contributions visés par l’évaluation avaient été financés à la fois dans le cadre des anciens objectifs et des nouveaux objectifs.
2.3 Méthodes de collecte de données
Les évaluateurs ont utilisé plusieurs sources de renseignements et de méthodes de recherche complémentaires pour garantir la fiabilité de l’information et des données recueillies. Après la collecte de données, chaque source de renseignements a été analysée séparément au moyen d’une matrice des données structurée en deux sections — les questions d’évaluation et les indicateurs. On a ensuite organisé une séance de réflexion de deux jours en compagnie des membres de l’équipe de projet pour examiner les constats découlant de chaque source d’information et élaborer les constatations et conclusions générales. Chaque méthode est décrite de façon plus détaillée ci-dessous.
2.3.1 Entrevues
Au total, 47 entrevues ont été réalisées (Tableau 2-2) avec des représentants des six principaux groupes d’intervenants. Les entrevues ont été réalisées pour obtenir des réponses à l’ensemble des questions d’évaluation indiquées dans la matrice et portant sur la pertinence, la conception et la prestation, et le rendement du programme. Les questions s’adressant aux universitaires et experts étaient essentiellement axées sur la pertinence et le rendement. Les autres intervenants ont été interrogés sur l’ensemble des questions d’évaluation.
Tableau 2-2 : Sommaire des entrevues
| Groupe | Nombre de personnes interrogées |
|---|---|
| Cadres supérieurs de CIC (régions et administration centrale) | 9 |
| Gestionnaires de CIC/représentants du Programme du multiculturalisme | 11 |
| Agents régionaux du Programme du multiculturalisme de CIC | 10 |
| Institutions fédérales | 4 |
| Représentants des provinces/territoires | 5 |
| Universitaires/experts | 8 |
| Total | 47 |
Les entrevues ont été menées en personne et par téléphone. Un guide d’entrevue a été rédigé pour chaque groupe d’intervenants, et les questions correspondaient aux questions d’évaluation indiquées dans la matrice. (Les guides d’entrevue sont fournis à l’Annexe C.) Les personnes interrogées ont reçu une copie du guide pertinent à l’avance. Les résultats des entrevues ont été résumés dans un gabarit de notes d’entrevue, puis codés et analysés pour dégager les principaux thèmes. L’information obtenue lors des entrevues qui est utilisée dans le rapport est présentée selon l’échelle présentée au Tableau 2-3. Il est à noter que dans certains cas (c.-à-d. quand le nombre de personnes interrogées était trop faible ou que la question avait donné lieu à de l’information plus descriptive), les réponses n’ont pas été codées; on a plutôt utilisé une approche récapitulative pour analyser l’information.
Tableau 2-3 : Échelle pour la présentation des résultats d’entrevue
- Totalité
- Les résultats reflètent l’opinion de 100 % des personnes interrogées.
- La majorité ou la plupart
- Les résultats reflètent l’opinion d’au moins 75 %, mais de moins de 100 % des personnes interrogées.
- Un grand nombre
- Les résultats reflètent l’opinion d’au moins 50 %, mais de moins de 75 % des personnes interrogées.
- Certains
- Les résultats reflètent l’opinion d’au moins 25 %, mais de moins de 50 % des personnes interrogées.
- Quelques-uns
- Les résultats reflètent l’opinion d’au moins deux répondants, mais de moins de 25 % des personnes interrogées.
2.3.2 Formulaires de commentaires sur les projets et activités
En collaboration avec les représentants du programme, les évaluateurs ont conçu des formulaires de commentaires à l’intention des participants aux projets et activités et des bénéficiaires des fonds pour des activités. (Les formulaires de commentaires sont fournis à l’Annexe D.) Les questions posées dans le formulaire avaient pour but d’obtenir l’opinion du participant sur l’incidence du projet ou de l’activité par rapport aux résultats attendus du programmeNote de bas de page 12. Les formulaires de commentaires doivent être utilisés par le programme pour assurer un suivi régulier du rendement du programme.
Au moment de procéder à l’analyse, on avait reçu 39 réponses de participants à des activités, sept réponses de bénéficiaires de fonds pour une activité et 75 participants à des projets. En analysant les réponses par description de projet et d’activité, on a été en mesure de déterminer le projet ou l’activité visé par la réponse du bénéficiaire. Deux projets ont généré suffisamment de réponses pour être inclus dans l’analyse : multiculturalisme et médias (41 réponses) et le Défi de la citoyenneté (19 réponses).
2.3.3 Évaluations de projet
Pour obtenir un financement, les bénéficiaires doivent s’engager à faire une évaluation à la fin de leur projet. Au total, 32 évaluations de projet étaient disponibles; elles concernaient toutes des projets financés dans le cadre des anciens objectifs (avant 2010) du programme. On a examiné ces 32 évaluations pour déterminer les types de renseignements fournis et l’utilité de cette information pour l’analyse des résultats attendus du programme. On a sélectionné un échantillon de cinq évaluations en vue d’un examen approfondi, pour examiner l’information liée aux résultats de projet.
2.3.4 Sondages téléphoniques auprès de bénéficiaires et non-bénéficiaires de financement pour un projet
On a réalisé un sondage téléphonique auprès de neuf bénéficiaires de financement et neuf demandeurs qui n’ont pas obtenu de financement (les non-bénéficiaires) pour connaître leur opinion sur la pertinence du programme et l’incidence du financement versé par CIC, et l’incidence des projets réalisés. (Le questionnaire du sondage téléphonique est fourni à l’Annexe E.) La population d’enquête a été choisie à partir d’une population totale de 45 demandeurs n’ayant pas obtenu de fonds et de 77 responsables de projets actifs à cette date (c.-à-d., avec un dossier de projet ouvert). Le groupe de bénéficiaires et de non-bénéficiaires a été sélectionné de manière à être représentatif des régions et des montants versés (élevés, moyens et faibles). Il est à noter que le sondage téléphonique n’était pas censé être représentatif de la population entière des projets, et que le nombre et le type de répondants étaient tributaires de la disponibilité et de la volonté des organisations à y participer.
Tableau 2-4 : Nombre de sondages téléphoniques, par région
| Région | Nombre de projets actifs | Nombre de bénéficiaires interrogés | Nombre de non-bénéficiaires (2009-2010, 2010-2011) | Nombre de non-bénéficiaires interrogés |
|---|---|---|---|---|
| Colombie-Britannique et Yukon | 7 | 1 | 7 | 2 |
| Prairies et Territoires du Nord-Ouest | 17 | 1 | 14 | 2 |
| Ontario | 22 | 4 | 10 | 1 |
| Québec | 11 | 1 | 7 | 1 |
| Atlantique | 3 | 0 | 4 | 2 |
| Administration centrale | 17 | 2 | 1 | 1 |
| Total | 77 | 9 | 43 | 9 |
2.3.5 Examen des données administratives
On a examiné de nombreux types de données administratives pour obtenir de l’information sur le fonctionnement du programme. L’information provenant du Système de gestion de l’information sur les subventions et contributions (SGISC) et des documents relatifs au programme a été examinée afin d’obtenir des données telles que le nombre de projets et d’activités financés, le nombre de réunions du RCM et du RFPTFRQM et le nombre de présentations faites aux diverses initiatives d’éducation du public et de promotion.
L’information financière recueillie auprès du programme a également été analysée afin de déterminer le coût global du programme et la répartition des fonds par région.
Par ailleurs, on a élaboré une typologie des projets financés en utilisant l’information fournie sur les formulaires de demande d’approbation. Cette classification comprenait les projets « actifs » au moment de l’évaluation (c.-à-d., les projets en cours, qui venaient de prendre fin ou qui allaient prendre fin durant l’exercice 2010-2011). Il est à noter que les projets couvraient six exercices (de 2006-2007 à 2011-2012). Les projets actifs ont été divisés en deux groupes : les projets du groupe 1 avaient été financés dans le cadre du processus de demandes continues, conformément aux anciens objectifs du programme, tandis que les projets du groupe 2 avaient été financés dans le cadre du nouveau processus de demande de propositions. Cette typologie a ensuite servi à l’examen des différences entre les deux groupes (types d’activités financées, groupes ciblés par exemple).
2.3.6 Questionnaire à l’intention des champions du multiculturalisme
Les membres du RCM se réunissent environ deux fois par année. La réunion d’octobre 2011 a permis de recueillir de l’information auprès des champions du multiculturalisme en vue de l’évaluation. Plus précisément, on a recueilli de l’information sur l’impact du Réseau sur les institutions fédérales et certains renseignements sur l’utilité du Réseau. Pour ce faire, on a conçu et mené un sondage lors de la réunion d’octobre du Réseau. (Le questionnaire est fourni à l’Annexe F). Trente-quatre participants de la réunion du RCM, soit environ le tiers des membres, ont rempli le questionnaire.
2.3.7 Examen de la littérature
On a réalisé un examen de la littérature pour analyser les questions d’évaluation portant sur la pertinence du programme et le rôle du gouvernement fédéral. Cet examen a été mené par un spécialiste universitaire externe. Le recherche a épluché des revues scientifiques et techniques, l’information publiquement accessible auprès de diverses administrations publiques (au Canada et à l’étranger), des comptes rendus de conférence et des articles rédigés par des cellules de réflexion ou des organisations non gouvernementales. Il a également tenu compte des autres approches de programmes de multiculturalisme.
2.3.8 Examen de la documentation
On a procédé à un examen de plus de 40 documents relatifs au programme afin d’obtenir des renseignements généraux et contextuels qui servent de base à l’évaluation de la pertinence, de la conception et de la prestation du Programme du multiculturalisme. On a notamment examiné des textes de loi (la Loi sur le multiculturalisme canadien et des lois provinciales et territoriales, par exemple), des discours du Trône et du budget, ainsi que des documents d’orientation et stratégiques pour obtenir des renseignements contextuels et de l’information sur les priorités de CIC et du gouvernement du Canada. En outre, on a examiné des rapports rédigés par des tiers (examens de la direction, rapports de vérification par exemple), des demandes de propositions, les lignes directrices relatives au financement, des ententes de contribution et des documents promotionnels des initiatives d’éducation du public et de promotion pour comprendre le fonctionnement du programme. (La liste des documents examinés est fournie à l’Annexe G.)
2.4 Limites et éléments à considérer
L’examen des résultats de l’évaluation doit tenir compte de quatre grandes limites. Ces limites, leurs répercussions potentielles sur l’analyse et les mesures d’atténuation font l’objet d’une analyse ci-dessous.
- La mesure des résultats des programmes sociaux, comme le Programme du multiculturalisme comporte des difficultés inhérentes, particulièrement en raison de la nature complexe du sujet et des nombreuses définitions possibles du multiculturalisme. L’attribution des résultats du programme pose également un problème, car d’autres facteurs peuvent avoir eu de l’influence.
- Il existe très peu de dispositifs de mesure du rendement en place pour recueillir de l’information sur les résultats des projets. Même si les bénéficiaires d’un financement doivent produire un rapport d’évaluation à la fin de leur projet, ces rapports portent sur la réalisation des objectifs du projet, qui sont peuvent difficilement être liés aux objectifs ou aux priorités du Programme du multiculturalisme.
- Les données disponibles sur les résultats ne sont pas représentatives de la totalité des intervenants du programme : les réponses fournies dans les formulaires de commentaires visaient seulement deux projets, et peu de réponses ont été fournies dans chaque cas; le questionnaire à l’intention des champions du multiculturalisme a été rempli par environ le tiers de champions (ou leur suppléant); le sondage téléphonique n’est pas représentatif de la totalité des bénéficiaires ou non-bénéficiaires de financement. Compte tenu des limites relatives à la représentativité des données recueillies sur les résultats, il était impossible d’utiliser cette information pour formuler des conclusions sur les résultats du programme.
- Puisque l’évaluation a été menée un an après la mise en œuvre des nouveaux objectifs du programme, seuls quelques projets financés en vertu des nouveaux objectifs étaient terminés au moment de l’évaluation.
Pour tenir compte de ces problèmes, l’équipe d’évaluation a utilisé diverses méthodes de collecte de données d’obtenir de l’information lui permettant d’examiner les résultats du programme.
Détails de la page
- Date de modification :