Évaluation de l’Initiative de développement de collectivités accueillantes

3. Méthodologie de l’évaluation

Comme le PEAI, le Programme d’accueil et l’IDCA étaient similaires sur le plan des objectifs, de la population cible, des résultats souhaités, de la structure de prestation et des sources de données, un seul schéma d’évaluation des problèmes et des questions a été élaboré pour les trois programmes. En cours d’évaluation, il a été convenu de produire un rapport d’évaluation distinct pour chaque programme.

L’évaluation de l’IDCA a nécessité la cueillette et l’analyse de données provenant de diverses sources primaires et secondaires. De multiples sources de données probantes ont été utilisées, basées sur des méthodologies qualitatives et quantitatives. Ces méthodes, ainsi que les points forts et les limites de l’étude, sont décrites ci-dessous.

3.1. Sources de données primaires

Les données primaires sont celles qui sont recueillies au moyen d’entrevues, d’enquêtes et d’études de cas. Les sources de données primaires utilisées pour cette évaluation ont inclus des entrevues avec des directeurs généraux, des directeurs, des gestionnaires et des agents de programme de CIC, des entrevues avec des représentants provinciaux, une enquête menée auprès de représentants principaux des FS et auprès de personnes participant directement à l’exécution de projets de l’IDCA, aux enquêtes auprès des utilisateurs et des participants des projets, et aux études de cas. La méthodologie utilisée pour chaque source de données probantes est décrite ci-dessous.

Entrevues avec des représentants de CIC et des provinces

Neuf directeurs et cadres principaux de CIC, dont six à l’AC et trois dans des bureaux régionaux, ont fourni une rétroaction sur l’IDCA. Au sein de ce groupe de neuf personnes, la moyenne d’années de service à CIC était six.

Six agents de programme et gestionnaires locaux de CIC ont fourni une rétroaction sur l’IDCA. Ils étaient à CIC depuis sept ans en moyenne. Aux fins du présent rapport, les membres de ce groupe seront désignés comme étant des agents de programme.

Cinq représentants provinciaux ont participé à cette évaluation; ils provenaient de l’Alberta, du Manitoba, de l’Ontario, de la Nouvelle-Écosse et de la Colombie-Britannique.

Les participants étaient en poste partout au Canada, selon la répartition suivante.

Tableau 3-1 : Participants aux entrevues
Répondants Emplacement
AC Ont. Atlantique Alb. Yukon C.B. Manitoba Total
Directeurs et gestionnaires régionaux de CIC 6 2 1 0 0 - - 9
Agents de programme et gestionnaires locaux de CIC 2 2 0 1 1 - - 6
Représentants provinciaux - 1 1 1 - 1 1 5

Sondage auprès des représentants principaux des FS participant à la prestation de l’IDCA

Un sondage en ligne a été conçu afin de recueillir l’opinion des directeurs et des gestionnaires des FS financés par CIC pour la prestation de l’un ou l’autre des trois programmes d’établissement, soit le PEAI, le Programme d’accueil ou l’IDCA. Le sondage a été distribué à tous les FS bénéficiaires du financement de l’IDCA. Les organisations ont reçu à trois reprises des rappels les invitant à participer, par courriel et par téléphone. Le sondage était disponible en anglais et en français, d’août à décembre 2009. Les directeurs et gestionnaires de FS provenant de six organisations recevant du financement de l’IDCA ont rempli le sondage en ligne (ce qui représente 13 % des 45 organisations recevant du financement de l’IDCA pendant la période à l’étude). Cinq organisations ont indiqué recevoir aussi du financement pour le PEAI et deux ont fait état de la prestation d’autres services d’établissement comme les Cours de langue de niveau avancé (CLNA), les CLIC, ou le Programme d’aide à la réinstallation (PAR). La moyenne des années de participation de ces représentants principaux aux programmes d’établissement était de 7,9 (de 0,25 à 25 ans). Les organisations avaient assuré la prestation de l’IDCA pendant une moyenne de 1,8 année (au moins un an et au plus trois ans).

Sondage auprès des FS

Du mois d’août 2009 au mois de janvier 2010, on a tenté de communiquer avec tous les FS de l’IDCA inscrits dans le SAP par courriel et par téléphone (jusqu’à cinq fois pour chaque FS) pour les inviter à répondre à un sondage en ligne sur leurs projets dans le cadre de l’IDCA. Les représentants principaux de 12 organisations ont répondu au sondage (27 % des 45 organisations bénéficiaires du financement de l’IDCA pendant la période à l’étude). Des 12 projets liés à ces FS, 6 étaient de portée nationale et 6 de portée régionale. Sept projets étaient toujours en cours et cinq étaient terminés. Tous les répondants participaient directement aux projets, notamment sur le plan de la planification, de la coordination de la mise en œuvre, de l’animation et de la surveillance des activités, ou de l’élaboration de produits et de ressources de projet. Aux fins du présent rapport, ce groupe est désigné comme étant « les FS de l’IDCA ».

Sondage auprès des utilisateurs et des participants des projets

Un sondage en ligne a été créé pour recueillir des données sur les impacts et pour explorer les expériences vécues par les personnes qui avaient utilisé les produits des projets de l’IDCA ou avaient participé à des activités de l’IDCA. On a demandé aux FS de l’IDCA de distribuer le sondage auprès des utilisateurs et des participants de leurs projets. De plus, chaque FS a reçu au moins cinq rappels l’avisant de l’importance de ce type de rétroaction et l’encourageant à envoyer le lien du sondage à ses utilisateurs et participantsNote de bas de page 19. Le sondage a été disponible en ligne en français et en anglais, d’octobre 2009 à janvier 2010.

Vingt-quatre utilisateurs et participants de projets ont répondu au sondageNote de bas de page 20. Les participants avaient été en contact avec huit projets de l’IDCA différents. Pour ce qui est de la prestation de services aux nouveaux arrivants, 15 participants ont indiqué que leurs organisations respectives fournissaient des services aux nouveaux arrivants, 5 qu’elles n’en fournissaient pas, 3 répondants étaient indécis et 1 n’a pas répondu. Sept répondants travaillaient pour des FS, six travaillaient auprès d’organismes communautaires et cinq auprès d’établissements d’enseignement.

Études de cas de projets financés

Quatorze projets financés dans le cadre de l’IDCA ont été sélectionnés aux fins d’études de cas. Les études de cas ont été sélectionnées en fonction de la diversité des projets de l’IDCA, caractérisée par :

  • les différences quant à l’orientation (sensibilisation, conscientisation, formation, aide à l’établissement, recherche);
  • les différences quant au public cible (les nouveaux arrivants, les organismes communautaires, les Canadiens);
  • les différences quant à l’emplacement géographique (à l’échelle du Canada, urbain par rapport à rural), et à la portée (nationale par rapport à régionale).

Chaque étude de cas comprenait un ensemble d’entrevues et un examen des documents, comme des rapports et du matériel promotionnel. Le tableau ci-dessous résume les caractéristiques des projets sélectionnés pour les études de cas.

Tableau 3-2 : Description des projets de l’IDCA retenus pour des études de cas
Projet Orientation Public cible Province Niveau de financement
Safe Harbour (Affiliation des Multicultural Societies and Services Agencies) Formation – Formation sur le racisme et la discrimination à l’intention des entreprises et des organisations; promesse de soutien organisationnel public à la diversité. Organismes communautaires C.B. National
Bienvenue chez vous (Association canadienne des programmes de ressources pour la famille) (PRF) Conscientisation – Amélioration des PRF pour aider les nouveaux arrivants par la publication de matériel multilingue et la mise sur pied de groupes types avec des intervenants. Organismes communautaires Alb. National
Entente de la Police de Peel (Police régionale de Peel) Sensibilisation – Au moyen de diverses activités communautaires, la Police de Peel appuie l’établissement de relations positives entre les nouveaux arrivants et la police. Parmi les éléments de cette initiative : « Race against Racism »; Diversity Media Sergeant. Collectivité, nouveaux arrivants Ont. Régional
Initiative en matière d’égalité (Conseil national de lutte contre le racisme au Canada) Ressources- Trousse destinée aux nouveaux arrivants pour présenter l’histoire du Canada et sa constitution démographique et pour décrire le racisme et la discrimination et les moyens de les contrer; peut être utilisée par le personnel des services d’établissement. Nouveaux arrivants, secteur de l’établissement Ont. National
Forum sur les collectivités accueillantes (Central Alberta Economic Partnership) Ressources – Un document d’appoint vantant les activités mises en place dans la collectivité d’Innisfail et qui en font une collectivité accueillante, présenté et discuté au forum. Collectivité Alb. Régional
Projet d’élaboration d’une boîte à outils (Intercultural Association of Greater Victoria) Ressources – Élaboration d’une boîte à outils pour les petits centres afin de renforcer les stratégies mises en œuvre pour attirer et conserver les immigrants. Secteur de l’établissement C.B. National
Événement jeunesse du YMCA halte au racisme (YMCA – Halifax) Conscientisation – Événement destiné aux jeunes et aux jeunes leaders dans le but d’explorer, par la discussion et les arts, la notion de racisme et de discrimination et les façons de les contrer. Jeunes, jeunes nouveaux arrivants N.É. Régional
À la découverte de nos cultures (À la découverte de nos cultures) Conscientisation – Des élèves se rencontrent périodiquement deux par deux pour réaliser un projet lié à leur culture respective; ces projets aboutissent à une foire multiculturelle mettant en présence des écoles et des collectivités. Jeunes, jeunes nouveaux arrivants T.N.L. Régional
Programme de services d’établissement à l’école (Calgary Bridge Foundation) Aide à l’établissement – Aide à l’établissement de familles immigrantes jusqu’à trois ans après leur arrivée au Canada, offerte dans les écoles. Nouveaux arrivants Alb. Régional
Projet de sensibilisation à la lutte contre le racisme et aux droits de la personne (Calgary Immigrant Aid Society) Sensibilisation – Ateliers éducationnels, consultations et information entourant le racisme et la discrimination, à l’intention des nouveaux arrivants, des professionnels et des organismes communautaires. Organismes communautaires, secteur de l’établissement, nouveaux arrivants Alb. Régional
La Caravane (Alliance Jeunesse francophone de l’Alberta) Sensibilisation – Ateliers tenus dans des écoles portant sur des questions intéressant les étudiants, dont la race et la diversité culturelle; élaboration d’un manuel de la police traitant des relations avec la communauté immigrante. Jeunes, jeunes nouveaux arrivants Alb. Régional
Programme de conscientisation des collectivités rurales (Central Alberta Refugee Effort) Conscientisation – Dans le cadre d’ateliers, des bénévoles originaires de partout dans le monde partagent des expériences et des défis liés à l’établissement dans un nouveau pays. Jeunes, jeunes nouveaux arrivants Alb. Régional
Karibuni (Northern Alberta Alliance on Race Relations) Sensibilisation – Ateliers et éducation à partir de « Karibuni » – un DVD présentant les expériences vécues par de nouveaux arrivants. Jeunes Alb. Régional
Les attitudes des enseignants à l’égard du racisme (Association for New Canadians) Recherche – Une étude sur les attitudes des enseignants à l’égard du racisme, de l’immigration et du multiculturalisme. Décideurs T.N.L. Régional

3.2. Sources de données secondaires

Les sources de données secondaires utilisées dans le cadre de cette évaluation comprennent l’étude des documents, l’analyse documentaire et un examen des données administratives et financières. La description de chaque source de données secondaires est donnée ci-dessous.

  • Étude des documents. Un large éventail de documents ont été étudiés, dont le CGRR de l’IDCA, les manuels de programme, les RPP, les budgets fédéraux, les discours du Trône, les plans d’action et les lois, les documents de travail, les rapports d’examen et d’évaluation précédents et les rapports de l’IDCA au PACCR. Un examen des rapports et des ententes de contributions de l’IDCA a aussi été entrepris pour relever et regrouper les projets financés en fonction de leurs objectifs, de leur portée et de leurs résultats afin d’élaborer la typologie des projets de l’IDCA.
  • Analyse documentaire. L’analyse documentaire a été effectuée à partir du matériel en ligne et de rapports de recherche de l’IDCA, ainsi que d’autres articles scientifiques portant sur le racisme et la discrimination au Canada. L’analyse documentaire s’est surtout attachée à examiner les besoins en matière de programmes du type de l’IDCA.
  • Données administratives. Le Système intégré des finances et du matériel (aussi connu sous le sigle SAP) et le SGEC (Système de gestion des ententes de contribution) ont été examinés et analysés afin d’en dégager le profil de l’Initiative et de relever les renseignements d’ordre budgétaire. Le SAP est un système de données financières qui suit tous les fonds engagés par CIC, tandis que le SGEC recueille de l’information sur les activités et les objectifs des projets qui reçoivent des fonds sous forme de contribution.

3.3. Forces et limites de l’évaluation

Il a fallu composer avec certaines limites dans l’application de la méthodologie. Notons entre autres :

  • Difficulté de faire le suivi des produits et des résultats – Il y avait un large éventail de projets financés dans le cadre de l’IDCA, lesquels comportaient des objectifs, des activités et des publics cibles très divers. Les produits et les résultats communs n’ont pu être cernés qu’à un niveau très élevé, et l’Initiative s’est heurtée à des défis dans la mise en application d’une stratégie de mesure du rendement. L’information concernant les projets de l’IDCA n’est saisie de façon uniformisée dans aucun système, comme le Système de mesure pour la reddition de comptes concernant les programmes de contributions de l’immigration (iSMRP). L’Initiative s’est reposée sur l’information, en grande partie narrative et de contenu divers, recueillie à l’occasion de son rapport annuel au PACCR. De plus, les répondants n’étaient souvent au courant que d’un petit nombre de projets, et non pas de l’IDCA dans son ensemble. Dans ce contexte, les données disponibles pour l’évaluation étaient limitées, et les conclusions ne se prêtaient pas facilement à la généralisation, particulièrement en ce qui a trait aux impacts.
  • Niveau de chevauchement avec le PEAI-B – En raison de la similarité entre les projets de l’IDCA et d’autres programmes d’établissement, particulièrement les projets du PEAI-B, il a été difficile pour les FS et, dans certains cas, les représentants de CIC de distinguer les projets de l’IDCA d’autres projets financés dans le cadre d’autres programmes d’établissement de CIC.
  • Lacunes de l’information fournie par les utilisateurs de projets – Le nombre et les caractéristiques de l’ensemble de la population des utilisateurs et des participants des projets ne sont pas connus. Compte tenu du nombre limité d’utilisateurs et de participants sondés, les conclusions touchant les impacts doivent être interprétées avec prudence.
  • Difficulté de faire le suivi des ententes de contribution (EC) et du financement – Le suivi des activités financées par l’IDCA pose un certain nombre de défis. L’information sur les projets de l’IDCA n’est pas facilement identifiable dans le Système de mesure pour la reddition de comptes concernant les programmes de contributions, puisqu’elle est modulée en fonction du PEAI et du Programme d’accueil. L’information sur le financement de l’IDCA est difficile à obtenir, car elle n’est pas saisie uniformément dans le SAPNote de bas de page 21 et ne peut pas toujours être dissociée d’autres fonds pour l’établissement. C’est pourquoi il a été difficile d’identifier les projets de l’IDCA aux fins de l’évaluation.

Afin d’enrichir la cueillette de données, d’atténuer l’incidence des limites évoquées et d’accroître la fiabilité des résultats globaux, plusieurs méthodes ont été utilisées pour cette évaluation. Les points forts de la méthodologie d’évaluation sont, entre autres :

  • L’utilisation de multiples sources de données par le truchement de trois différents modes de communication (c.-à-d. entrevue, sondage et étude de cas) nous a permis de valider les conclusions et d’augmenter leur fiabilité. Le recours à de nombreux intervenants appartenant à quatre groupes distincts (c.-à-d. les FS, CIC, les représentants provinciaux, et les utilisateurs et participants des projets) a permis d’obtenir des données plus complètes et d’augmenter leur fiabilité. La validation des résultats de recherche montre que les conclusions sont constantes d’une source de données à l’autre.
  • La représentation régionale a été largement assurée par la conduite d’enquêtes, d’entrevues et d’études de cas couvrant l’ensemble du Canada.
  • Pour décrire les projets et élaborer une typologie, une étude exhaustive a été menée sur des documents provenant d’un grand nombre de sources secondaires comme les rapports de l’IDCA, le CGRR, les documents du PACCR, les données administratives et les ententes de contribution. Les activités des projets de l’IDCA et les montants de financement ont de plus été vérifiés auprès des représentants de programme.
  • Les études de cas ont permis d’obtenir une information additionnelle et ont fourni des exemples de projets particuliers, y compris de leur conception, de leur mise en œuvre et de leur impact.
Date de modification :