Évaluation du Plan d’action canadien contre le racisme

2. Méthodologie

L’évaluation s’est conformée à la portée et à la méthodologie énoncée dans un plan d’évaluation élaboré pendant la phase de planification achevée par les Services conseils du gouvernement (SCG), avant le début de l’évaluation. La phase de planification de l’évaluation, amorcée entre décembre 2009 et janvier 2010, a été réalisée en collaboration avec l’équipe d’évaluation de CIC et les représentants du PACCR, y compris les membres du Groupe de travail interministériel (GTI). Le plan d’évaluation a été conçu pour être conforme à la Politique sur l’évaluation du Conseil du Trésor (avril 2009).

La section qui suit énonce les enjeux et les questions d’évaluation, les méthodes de collecte de données et les considérations méthodologiques relatives à l’évaluation.

2.1. Introduction et objet de l’évaluation

L’évaluation horizontale du PACCR a permis d’examiner les enjeux liés à la pertinence, à la conception, à l’exécution et au rendement. Le tableau 2‑1 présente de façon détaillée les enjeux et les questions d’évaluation traités dans le cadre de l’évaluation (consultez l’annexe B pour obtenir la matrice d’évaluation complète, qui comprend aussi des indicateurs précis et des méthodes pour chaque question d’évaluation).

Tableau 2‑1 : Résumé des enjeux et des questions d’évaluation
Élément à évaluer Question d’évaluation
Pertinence
  • Le PACCR est‑il toujours conforme aux priorités et aux objectifs ministériels et pangouvernementaux?
  • Les initiatives de lutte contre le racisme et la discrimination au Canada sont‑elles toujours requises?
  • Les activités liées au PACCR sont‑elles conformes aux rôles et aux responsabilités du gouvernement fédéral?
Conception et exécution
  • Les partenaires fédéraux et les intervenants ont-ils participé avec succès à l’élaboration et à la mise en œuvre du PACCR?
  • Le PACCR a‑t‑il été géré et coordonné de façon efficace?
  • L’approche horizontale fédérale était‑elle un modèle nécessaire et approprié pour la mise en œuvre du PACCR?
Rendement
  • Comment l’initiative a‑t‑elle favorisé chez les partenaires fédéraux et les intervenants l’acquisition de connaissances, de ressources et d’outils pour promouvoir l’inclusion, lutter contre le racisme et la discrimination, et éliminer les obstacles à la participation?
  • Comment l’initiative a‑t‑elle aidé les partenaires fédéraux et les intervenants à mieux comprendre la prestation de services de police adaptés à la culture, les crimes haineux et les questions ayant trait à la race dans le système de justice?
  • Les partenaires fédéraux et les intervenants ont‑ils pris des mesures pour promouvoir l’inclusion, combattre le racisme et la discrimination et éliminer les obstacles à la participation?
  • Les partenaires fédéraux et les intervenants ont‑ils utilisé leur connaissance de la prestation des services de police adaptés aux particularités culturelles, des crimes haineux et des questions ayant trait à la race dans le système de justice pour élaborer et améliorer les politiques, les programmes et les services?
  • L’initiative a‑t‑elle eu des répercussions ou des résultats positifs ou négatifs imprévus?
  • L’initiative horizontale du PACCR a‑t‑elle utilisé efficacement les ressources, ce qui s’est traduit par un emploi judicieux des fonds publics?

2.2. Méthodes de collecte de données

L’évaluation du PACCR a impliqué le recours à de multiples sources de données et à des méthodes de recherche complémentaires afin d’assurer la fiabilité des données recueillies. Les méthodes de collecte de données suivantes ont servi à recueillir des données dans le cadre de l’évaluation :

  • entrevues menées auprès des intervenants clés;
  • examen des documents;
  • recension des écrits;
  • synthèse des constatations découlant de l’évaluation de programmes financés sur une base individuelle.

Chacune de ces méthodes est décrite en détail dans les sections suivantes.

2.2.1. Entrevues menées auprès des intervenants clés

Au total, 26 entrevues ont été réalisées pour les besoins de l’évaluation. Elles ont été menées auprès de cinq groupes des intervenants clés, décrits ci-dessous.

Secrétariat du PACCR – Des entrevues ont été menées auprès des représentants de la Direction générale de la citoyenneté et du multiculturalisme qui participaient au secrétariat du PACCR. On a interviewé ce groupe essentiellement pour recueillir des renseignements sur la pertinence (c’est-à-dire l’harmonisation des objectifs du PACCR et des priorités ministérielles) et la coordination du Programme.

Cadres supérieurs de la Direction générale de la citoyenneté et du multiculturalisme – Des entrevues ont été menées auprès des cadres supérieurs de la Direction générale de la citoyenneté et du multiculturalisme. Elles visaient principalement à recueillir des renseignements sur la prestation et le rendement du programme.

Représentants des programmes financés en vertu du PACCR On a interviewé les représentants de programmes des initiatives financées, y compris celles qui ont été annulées ou n’ont pas été mises en œuvre. Les renseignements obtenus de ce groupe visaient à informer l’équipe d’évaluation sur la pertinence, la prestation et les résultats de leurs initiatives respectives, ainsi que sur le succès global du PACCR en tant qu’initiative horizontale.

Champions du multiculturalisme – Des entrevues ont été menées auprès des champions du multiculturalisme des initiatives non financées. Elles visaient essentiellement à recueillir des renseignements sur les activités de lutte contre le racisme menées dans les ministères non financés Note de bas de page 4.

Autres intervenants – D’autres intervenants ont été interviewés, notamment des membres d’organismes non gouvernementaux (ONG) et d’une société d’État qui travaillent dans le domaine de la lutte contre le racisme. Une liste d’intervenants a été établie en collaboration avec la Direction générale de la citoyenneté et du multiculturalisme de CIC. Ce groupe de répondants devait formuler des commentaires sur la nécessité et l’utilité d’une initiative fédérale de lutte contre le racisme.

Le nombre d’entrevues qui ont été effectuées pour chaque groupe de répondants est indiqué au Tableau 2‑2(consultez l’annexe C pour obtenir la liste des personnes interrogées).

Tableau 2‑2 : Liste des entrevues par groupe de répondants
Groupe de répondants Nombre d’entrevues effectuées
Secrétariat du PACCR 4
Cadres supérieurs de la Direction générale de la citoyenneté et du multiculturalisme (y compris l’ancienne direction) 3
Représentants des programmes financés en vertu du PACCR 6 Note de bas de page 5
Champions du multiculturalisme 10
Autres intervenants (p. ex. ONG) 3
Total 26

Les entrevues ont été menées en personne ou par téléphone. Différents guides d’entrevue ont été élaborés pour chacun des groupes de répondants et les questions d’entrevue ont été harmonisées avec les questions d’évaluation indiquées dans la grille d’évaluation (consultez l’annexe D pour obtenir les guides d’entrevue). Toutes les personnes interrogées ont reçu un exemplaire du guide avant de passer l’entrevue. Les résultats des entrevues ont été résumés dans un modèle de notes d’entrevues, puis ils ont été codés et analysés afin de permettre l’établissement des thèmes principaux.

2.2.2. Examen des documents

L’examen des documents visait essentiellement à servir de base à une évaluation de la pertinence, de la conception et de l’exécution de l’initiative. Les types de documents suivants ont été examinés dans le cadre de l’évaluation :

Documents primaires : Notamment la présentation au Conseil du Trésor et le mémoire au Cabinet pour le PACCR.

Documents collectifs ou de responsabilisation : entre autres, les rapports ministériels sur le rendement de CIC, les rapports sur les plans et les priorités, le CGRR et les autres documents qui ont fourni des renseignements sur les priorités de CIC et du gouvernement du Canada (p. ex. discours du Trône).

Lois, chartes, conventions internationales : Le Canada est doté d’un cadre législatif et politique complet et est assujetti à nombre d’obligations internationales concernant le multiculturalisme, les droits et libertés et la protection contre la discrimination. Ces conventions internationales et ces textes législatifs ont été inclus dans l’examen.

Examens : Le PACCR a fait l’objet de plusieurs examens, notamment une évaluation visant à établir une base de référence, une évaluation de l’évaluabilité et un examen de la gestion. Tous ces examens ont été inclus dans l’examen des documents.

Documents concernant les programmes : Notamment les présentations, les modèles et les outils de rapport, les documents de consultations et les résultats.

L’examen des documents a aussi fourni des renseignements pour déterminer si le PACCR constituait un investissement efficace des ressources. On a analysé les données financières tirées du PACCR afin d’examiner les coûts budgétés et réels du Programme. L’examen des documents a été effectué au moyen d’un modèle personnalisé, établi en fonction des questions et des indicateurs d’évaluation. L’annexe E présente une liste des documents qui ont été examinés pour l’évaluation.

2.2.3. Recension des écrits

Les Services conseils du gouvernement (SCG) ont effectué une analyse documentaire de la gestion horizontale, qui a permis d’examiner les différentes raisons d’être des initiatives horizontales, les divers types et classifications (allant de non structurés à officiels) et les facteurs de succès de la gestion Note de bas de page 6. Au moyen des données fournies par la recension des écrits, les SCG ont établi les critères servant à évaluer l’efficacité du PACCR à titre d’initiative horizontale (p. ex. justification de l’horizontalité, efficacité de la gestion). Consultez l’annexe F pour obtenir une liste des éléments d’évaluation.

2.2.4. Synthèse des constatations découlant de l’évaluation

Les évaluations effectuées par chacun des programmes financés en vertu du PACCR ont constitué une importante source d’information pour l’évaluation. Au total, les SCG ont examiné six Note de bas de page 7 rapports d’évaluation et dégagé des renseignements pertinents conformément aux indicateurs fournis dans la matrice d’évaluation du PACCR. Les données tirées de ces évaluations de programmes ont servi à évaluer le rendement global du PACCR. Dans une moindre mesure, les évaluations ont aussi fourni des renseignements sur la pertinence, la conception et l’exécution du programme.

2.3. Limites et considérations

Certaines limites méthodologiques et considérations doivent être prises en compte lors de l’évaluation.

Difficulté d’évaluer les répercussions globales du PACCR

Le large éventail d’activités liées au PACCR, de bénéficiaires du programme et de publics cibles a engendré toute une gamme d’extrants et de résultats du programme. Les extrants et résultats communs relatifs à l’Initiative n’ont pu être formulés qu’à un très haut niveau. Ce manque de précision a entravé la capacité de l’évaluation de mesurer et de regrouper les répercussions des programmes liés à l’ensemble du PACCR. En outre, l’évaluation n’a pas tenté d’examiner les changements survenus au fil du temps dans les niveaux de racisme au Canada.

Information limitée sur les initiatives non financées en vertu du PACCR

On a mené des recherches limitées afin de déterminer la portée des initiatives non financées qui ont été entreprises par d’autres ministères. Les entrevues menées auprès des ambassadeurs du multiculturalisme visaient à informer l’équipe d’évaluation sur les activités de lutte contre le racisme entreprises dans les autres ministères et organismes gouvernementaux; toutefois, les personnes interrogées connaissaient à des degrés variables le PACCR et les activités de lutte contre le racisme menées dans leur ministère respectif.

La quantité et les types de renseignements disponibles sur les différentes initiatives financées en vertu du PACCR variaient considérablement

L’évaluation a fait largement appel aux évaluations de programmes financés sur une base individuelle pour évaluer les résultats du PACCR. En examinant les documents disponibles sur les différentes initiatives financées en vertu du PACCR, l’équipe d’évaluation a constaté des différences considérables entre les rapports d’évaluation sur le plan de la quantité de renseignements et des résultats du programme. Bon nombre d’évaluations mettaient l’accent sur les activités et les extrants plutôt que sur les résultats du programme. En ce qui concerne les initiatives annulées ou non mises en œuvre, l’équipe d’évaluation a conclu que les renseignements disponibles étaient limités (c’est­-à-dire l’ARTCI et l’Initiative des institutions inclusives [III]).

Date de modification :