ARCHIVÉ – Évaluation sommative de la phase II du projet Metropolis
2. Méthodologie d’évaluation
2.1 Enjeux et questions de l’évaluation
La grille d’évaluation a été élaborée en vue d’encadrer les questions de l’évaluation, les mesures de rendement et les méthodes (voir l’annexe A). La liste ci-dessous présente les questions de l’évaluation ayant servi de guide à l’exercice. Les résultats présentés à la section 4 font appel à la gamme complète des méthodes utilisées.
Questions de l’évaluation
- Les centres Metropolis ont-ils intégré avec succès, dans leurs plans de recherche, les grandes questions stratégiques identifiées par les partenaires financiers fédéraux?
- Est-ce que les centres, le Secrétariat et le groupe d’organismes fédéraux ont agi efficacement comme courtiers du savoir dans le cadre du processus de transfert des connaissances?
- Est-ce que les décideurs fédéraux consultent la recherche de Metropolis?
- Est-ce que les ministères et organismes favorisent la consultation et l’utilisation de la recherche dans le cadre de l’élaboration des politiques?
- Est-ce que les produits de la recherche de Metropolis sont pertinents pour les décideurs du gouvernement?
- Est-ce que les centres Metropolis ont mené des études comparatives, longitudinales et macro (notamment pancanadiennes) à l’appui de l’élaboration des politiques?
- Est-ce que le transfert des connaissances de Metropolis a éclairé et influencé l’élaboration des politiques gouvernementales?
2.2 Méthodologie
La méthodologie d’évaluation a prévu l’utilisation de nombreuses sources de données pour améliorer la fiabilité et la validité des renseignements et des données recueillis. Elles comprenaient notamment :
- une revue de la littérature et une synthèse
- une revue des documents
- des entrevues
- des études de cas (qui incluaient des entrevues, des revues de documents et des groupes de discussion)
- un examen des données administratives
- une enquête auprès des utilisateurs potentiels des recherches de Metropolis
2.2.1 Revue de la littérature
Une recherche systématique dans un large éventail de documents jugés par les pairs sur le TC ainsi que sur la politique publique en faisant appel aux pratiques exemplaires utilisées dans la recherche bibliométrique a été menée. Les résultats de cette revue de la littérature ont été résumés et synthétisés dans un travail élaboré par H.D. Dickinson (avec P. Graham), 2009, intitulé Knowledge Transfer & Public Policy: A Literature Review and Synthesis. On trouvera à l’annexe A de ce document le résumé des méthodes de recherche bibliométrique utilisées dans la revue de la littérature.
2.2.2 Revues de documents
Les documents examinés aux fins de l’évaluation comprennent notamment des documents de fond, tels que le protocole d’entente pour la phase II de Metropolis, les documents de programme tels que le Cadre de gestion et de responsabilisation axé sur les résultats (CGRR), des rapports d’examen et d’évaluation antérieurs, ainsi que les bulletins d’information et autres produits de Metropolis. La revue de documents a été effectuée à l’aide d’un gabarit personnalisé visant à extraire les renseignements pertinents et à les organiser en fonction des indicateurs et des questions de l’évaluation. L’annexe B présente la liste des documents examinés.
2.2.3 Entrevues auprès d’informateurs clé
Au total, treize entrevues ont été menées auprès de représentants des organismes partenaires fédéraux finançant le projet, soit deux personnes de CIC [ note 8 ] et deux autres de la SCHL, quatre de RHDCC et quatre autres de PCH, ainsi qu’une personne du CRSH. Les personnes interrogées comprenaient des directeurs généraux, des directeurs, des gestionnaires, des analystes principaux des politiques ou agents des politiques ainsi que des chercheurs principaux. Les personnes interrogées ont été sélectionnées en consultation avec le Comité consultatif d’évaluation de Metropolis et avec l’équipe de l’évaluation de CIC. Voir l’annexe C pour la liste des personnes interrogées. Il convient de mentionner également que, dans le cadre des études de cas décrites ci-après, d’autres entrevues ont également été menées auprès du personnel du Secrétariat à CIC et de représentants des partenaires financiers fédéraux.
Tous les répondants ont reçu à l’avance le guide d’entrevue, et ces entrevues ont été menées soit en personne ou au téléphone. Un gabarit, organisé en fonction des indicateurs et des questions de l’évaluation, a été utilisé pour résumer les données d’entrevues qui ont par la suite été encodées et analysées. Voir l’annexe D pour le guide d’entrevue.
2.2.4 Études de cas
Des études de cas consistant en entrevues, groupes de discussion et revues de document propres à chaque centre ont été menées auprès du Secrétariat de Metropolis et des quatre centres d’excellence initiaux – le Centre de recherche interuniversitaire de Montréal sur l’immigration, l’intégration et la dynamique urbaine (IM); le centre Metropolis de l’Ontario (CERIS); le Centre d’excellence des Prairies pour la recherche sur l’immigration et l’intégration (PCERII); et le Centre de recherche sur l’immigration et l’intégration dans les métropoles (RIIM).
Les participants au groupe de discussion et les autres utilisateurs de recherche interrogés dans le cadre des études de cas ont été désignés par les centres Metropolis ou par le Secrétariat, et il s’agissait de personnes reconnues comme étant des usagers des produits de la recherche de Metropolis ou qui participaient à un éventail d’autres activités de recherche des centres.
Deux séries d’entrevues ont été menées. La première visait les directeurs et les coordonnateurs de volets de recherche dans chacun des centres. La deuxième série de huit entrevues visait des représentants des partenaires financiers fédéraux – notamment six représentants de CIC, un représentant de RHDCC et un représentant du ministère de la Justice. Les personnes interrogées occupaient des postes variés, dont ceux de directeur, de directeur général, de sous-ministre adjoint associé, d’agent de recherche principal et d’agent/analyste des politiques.
Un groupe de discussion formé de représentants du gouvernement fédéral qui avaient été désignés à titre d’utilisateurs des produits de la recherche de Metropolis a également été organisé.
Enfin, des documents, comme des rapports d’activité, des produits de la recherche et des rapports annuels de chacun des centres ont été passés en revue.
2.2.5 Données administratives
Parmi les données administratives examinées pour la période quinquennale visée par cette évaluation, notons les rapports d’activité des centres, les renseignements budgétaires ainsi que d’autres données reçues du Secrétariat de Metropolis, telles que les statistiques provenant du site Web et des renseignements sur les listes de distribution.
Les rapports d’activité de chacun des centres et du Secrétariat avaient été élaborés initialement par la Division de l’évaluation de CIC à partir de renseignements disponibles sur le site Web de Metropolis. Ces rapports d’activité ont par la suite été transmis à chacun des centres et au Secrétariat pour fins de vérification. Même si les quatre centres et le Secrétariat ont vérifié et corrigé les rapports d’activité, seulement deux des quatre centres ont fourni les renseignements additionnels leur ayant été demandés pour la production des rapports qui n’étaient pas mis en ligne.
2.2.6 Enquête
Un questionnaire d’enquête a été élaboré et distribué à 1 678 employés des quatre partenaires financiers fédéraux ayant été ciblés pour cette évaluation. À noter que même si des représentants du CRSH ont été interrogés dans le cadre de cette évaluation, ils n’ont pas participé à l’enquête ou aux études de cas étant donné que les employés de cet organisme ne font pas partie du public-cible visé par la recherche et les activités de Metropolis.
On a demandé aux membres du Comité consultatif d’évaluation de fournir la liste de tous leurs employés qui, durant la phase II de Metropolis, sont susceptibles d’avoir eu besoin de recherches du genre de celles qu’effectue Metropolis dans l’exercice de leurs fonctions. CIC, PCH et la SCHL ont fourni une liste d’utilisateurs potentiels de Metropolis qui travaillaient pour eux durant cette période. Toutefois, à la suite d’une réorganisation survenue au ministère en décembre 2003, RHDCC a été incapable d’identifier des utilisateurs potentiels de la recherche pendant la phase II. En revanche, RHDCC a fourni la liste des utilisateurs potentiels actuels de Metropolis. Afin d’atténuer l’incidence de cette situation, l’enquête a inclus deux questions filtres destinées à identifier les répondants qui n’auraient pas dû être inclus dans les listes (c.-à-d. ceux qui ne travaillaient pas pour le gouvernement fédéral durant la phase II et ceux qui n’avaient pas besoin de recherche de ce genre pour faire leur travail).
Au total, 552 réponses ont été reçues, ce qui représente un taux de réponse de 33 %. De ce nombre, 278 répondants étaient des fonctionnaires fédéraux ayant eu besoin de produits de la recherche du genre de ceux de Metropolis durant la phase II. Ces 278 répondants constituent le point central de l’analyse des perceptions et des évaluations des utilisateurs potentiels de recherche [ note 9 ] de Metropolis.
Il convient de mentionner qu’étant donné la non-réponse pour certaines questions, la compilation ne totalise pas toujours le nombre initial de répondants ayant répondu à l’enquête ou ayant été désignés à titre d’utilisateurs potentiels. Tout au long du rapport, même si l’analyse vise principalement les 278 utilisateurs potentiels de Metropolis désignés dans l’enquête, les chiffres en fonction desquels les totaux seront déclarés (réponses valides) peuvent différer légèrement du nombre initial de répondants, dépendamment du nombre de non-réponses pour chacune des questions de l’enquête.
La proportion de répondants éventuels fournis par chacun des quatre ministères participants a changé par rapport à la liste d’enquête initiale, au groupe de répondants, ainsi qu’au groupe retenu après l’analyse des questions filtres (Tableau 2).
| Ministère | Total | Répondants | Répondants – Utilisateurs potentiels |
|---|---|---|---|
| RHDCC | 53,9 % (n=904) |
41,8 % (n=205) |
38,7 % (n=106) |
| CIC | 30,2 % (n=507) |
39,8 % (n=195) |
43,4 % (n=119) |
| PCH | 5,7 % (n=96) |
8,0 % (n=39) |
10,6 % (n=29) |
| SCHL | 3,0 % (n=50) |
2,4 % (n=12) |
1,5 % (n=4) |
| Autre | 7,2 % (n=121) |
8,0 % (n=39) |
5,8 % (n=16) |
| Total | 100,0 % (n=1 678) |
100,0 % (n=490) |
100,0 % (n=274) |
Le nombre de répondants à l’enquête issus de RHDCC (41,8 %, n=490) était relativement sous-représenté par rapport à leur proportion dans la population initiale de l’enquête (53,9 %, n=1 678). Cette situation peut s’expliquer, en partie du moins, par la plus grande sollicitation de répondants au sein de cet organisme.
Profil des utilisateurs potentiels (répondants à l’enquête) :
Comme nous l’avons déjà mentionné, 278 répondants à l’enquête se sont qualifiés à titre d’utilisateurs potentiels de produits de la recherche du genre de ceux de Metropolis. Durant la phase II, plus de quatre-vingt dix pour cent de ces répondants (sur un total de 274 répondants ayant fourni une réponse valide à cette question) travaillaient pour trois des partenaires financiers fédéraux du projet, soit CIC (43 %), RHDCC (39 %) et PCH (11 p. 100). Environ 65 % des 273 répondants ayant déclaré leur lieu de travail se trouvaient dans la région de la capitale nationale. Quelque 8 % des 274 répondants ayant donné des renseignements au sujet de leur poste se sont décrits comme faisant partie de la « haute direction » et 12 %, comme faisant partie de la catégorie « autres postes de gestion » (voir le tableau 3). La majorité des répondants appartiennent à deux catégories soit « conseiller, analyste ou agent de programme ou de projet » ou encore « conseiller en politiques, analyste ou agent des politiques » (61 %).
| Poste | % |
|---|---|
| Haute direction | 8,4 % |
| Autre poste de gestion | 11,7 % |
| Conseiller, analyste ou agent de programme ou de projet | 37,6 % |
| Conseiller, analyste ou agent en politiques | 23,7 % |
| Conseiller, analyste ou agent de recherche | 17,5 % |
| Autre | 1,1 % |
| Total | 100,0 % |
La majorité des 274 utilisateurs potentiels travaillaient soit dans le domaine de l’élaboration des politiques (29 %), la recherche (24 %) ou encore la conception ou la prestation de programme (25 %). Une autre tranche (16 %) travaillait pour les services opérationnels ou à la clientèle. Les 6 % de répondants qui restent travaillaient dans le domaine des communications, l’évaluation, la TI ou les systèmes, ou encore dans la catégorie « autre ».
Près de la moitié des répondants (47 %) ont déclaré être soit « assez familiés » ou « très familiés » avec Metropolis, tandis que 33 % déclaraient être « pas très familiés » et 19 %, « pas familiés du tout ». Les résultats d’enquête seront présentés pour tous les utilisateurs potentiels tout au long du rapport. Cette démarche a été adoptée parce que les activités de transfert des connaissances visent à atteindre tous les utilisateurs potentiels plutôt que le sous-groupe de personnes qui sont très familières avec le projet. Toutefois, on a procédé à des analyses plus poussées des résultats de l’enquête en se fondant sur la familiarité des utilisateurs avec Metropolis étant donné que les perceptions et les opinions des répondants peuvent être modulées en fonction de leur connaissance de Metropolis. L’annexe F présente ces résultats.
2.3 Limites de la méthodologie
La présente partie expose les limites des méthodes et des données utilisées. En règle générale, l’utilisation de nombreuses sources de données indépendantes facilite la triangulation des résultats et accroît la confiance accordée aux résultats globaux.
2.3.1 Représentativité des données recueillies
Une liste de personnes à interroger et de participants aux études de cas a été établie par le Comité consultatif et les centres Metropolis. Le choix des participants n’était pas représentatif et il n’est donc pas possible de faire des généralisations au sujet du programme en se fondant uniquement sur ces résultats. De même, les représentants des partenaires financiers fédéraux membres du Comité consultatif d’évaluation ont désigné des répondants éventuels à l’enquête. Il se peut que les listes de répondants identifiés n’aient pas inclus tous les utilisateurs possibles de recherches du genre de celles qu’effectue Metropolis au sein de ces organismes. Une autre limite s’explique par le fait que les destinataires des questionnaires inscrits sur la liste n’incluaient que les utilisateurs potentiels désignés par les quatre principaux partenaires financiers visés dans l’évaluation. D’autres ministères peuvent très bien être des utilisateurs de recherches du même genre que celles qu’effectue Metropolis. L’effet global de ces limites est de donner une image prudente des utilisateurs et des utilisations des recherches effectuées par Metropolis.
Les utilisateurs visés par les études de cas, qui ont été interrogés et inclus dans les groupes de discussion, avaient été désignés par les centres. Cette particularité introduit un biais potentiel étant donné que les centres ont peut-être désigné les personnes qui s’investissent le plus dans les centres ou qui sont, de manière générale, les plus satisfaits de leur expérience avec Metropolis. Il convient donc de mentionner, toutefois, que les commentaires livrés durant les études de cas dénotaient un certain équilibre. De plus, les groupes de discussion tenus dans les quatre centres et au Secrétariat réunissaient parfois les mêmes participants.
2.3.2 Choix du moment
L’évaluation portait sur la période allant de 2002 à 2007, mais les données ont été recueillies en 2008. Par conséquent, on a interrogé les intervenants pour connaître leur opinion et leurs idées environ un an après la fin de la phase II. Cette caractéristique pourrait avoir influencé l’exactitude des souvenirs.
2.3.3 Données administratives
Les résultats des centres Metropolis et du Secrétariat ne sont pas systématiquement rapportés. Les renseignements quantitatifs concernant les produits aux fins de l’évaluation ont été dérivés des rapports annuels et autres rapports d’activité qui avaient été sollicités auprès des centres. Les rapports annuels ne sont pas produits suivant un format standard, et de ce fait, la forme et le contenu des activités et des produits déclarés varient. Les rapports d’activité pour les centres avaient été élaborés initialement par la Division de l’évaluation de CIC et fournis aux centres aux fins de mises à jour ou de corrections. Tous les centres n’ont pas nécessairement fourni tous les renseignements demandés. Plus particulièrement, tous les rapports ne contenaient pas nécessairement les renseignements ayant trait à la proportion des recherches effectuées par Metropolis qui sont comparatives, pancanadiennes ou longitudinales. En outre, tous les rapports ne contenaient pas nécessairement tous les renseignements requis au sujet du pourcentage des projets de recherche qui étaient financés par Metropolis. Seulement deux des quatre centres ont fourni ces renseignements.
___________
8. Plusieurs autres gestionnaires principaux de CIC ont été interrogés dans le cadre des études de cas.
9. L’enquête visait la population des utilisateurs potentiels de Metropolis plutôt qu’un échantillon. Par conséquent, aucun intervalle de confiance n’est signalé, puisque tous les utilisateurs potentiels de Metropolis qui travaillaient pour le gouvernement fédéral durant la phase II avaient été ciblés pour l’enquête. Pour la même raison, aucun test d’hypothèse ne sera fourni pour les analyses présentées dans le rapport.
Détails de la page
- Date de modification :