2. Méthodologie

La méthodologie retenue pour la présente évaluation vise à déterminer dans quelle mesure la logique décrite dans les Annexes techniques s’est réalisée comme prévue. À cette fin, l’évaluation repose sur quatre sources de données qui permettent d’examiner les questions d’évaluation ci-dessous (voir les Annexes techniques pour le Cadre d’évaluation complet).

Tableau 2 : Questions d’évaluation

  1. Existe-t-il des besoins persistants en matière de recrutement et d’intégration d’immigrants d’expression française dans les CFSM?
  2. L’initiative se conforme-t-elle aux priorités de CIC et du gouvernement du Canada?
  3. L’initiative est-elle conforme aux rôles et aux responsabilités du gouvernement fédéral?
  4. Les principaux partenaires ont-ils entrepris des activités de coordination, de collaboration et de recherche pour appuyer la mise en œuvre de l’initiative?
  5. Les citoyens à l’étranger d’expression française sont-ils informés des possibilités d’immigration au sein des CFSM?
  6. Les immigrants francophones obtiennent-ils des services d’établissement renforcés en français dans les CFSM?
  7. Les initiatives mises en place ont-elles aidé à atteindre les objectifs fixés quant au nombre d’immigrants d’expression française s’installant dans des CFSM?
  8. Les CFSM ont-elles amélioré leur capacité en matière de services d’établissement et d’accueil afin de faciliter le recrutement, la réception, l’intégration et la rétention des immigrants d’expression française au sein des CFSM?
  9. L’initiative est-elle encadrée par un mandat clair ainsi que des rôles, des responsabilités et des objectifs précis?
  10. Les communications, les relations et l’échange de l’information entre les intervenants de l’initiative sont-ils efficaces?
  11. La gestion de l’initiative est-elle coordonnée et soutenue par les outils, les ressources (humaines et financières) et les mécanismes requis pour assurer l’efficacité de la mise en œuvre?
  12. Les activités de mesure et de surveillance du rendement ainsi que de rapport sur le rendement sont-elles suffisantes pour assurer la reddition de comptes pour l’initiative?

Il est à noter que la présente évaluation se concentre spécifiquement sur l’atteinte des résultats immédiats et intermédiaires de l’Initiative, qui, à leur tour, contribuent au résultat immédiat de la Feuille de route : « Développement des communautés ». L’’évaluation horizontale de la Feuille de route, coordonnée par le ministère du Patrimoine canadien, examinera l’ensemble des résultats intermédiaires associés à la Feuille de route.

2.1 Entrevues avec des intervenants-clés

Entrevues préliminaires

Afin de délimiter adéquatement les activités devant faire l’objet de la présente évaluation, une série d’entrevues préliminaires a été effectuée. Au total, cinq entrevues préliminaires semi-structurées ont été complétées auprès de représentants de CIC.

Entrevues principales 

Suivant les entrevues préliminaires, 22 entrevues principales ont été complétées avec 33 intervenants-clés pour obtenir des opinions et des perceptions éclairées sur la pertinence, la conception et la mise en œuvre, et l’efficacité de l’Initiative. Les intervenants pouvaient participer à l’entrevue seule ou en groupe, selon leur préférence.

Les intervenants-clés ont été sélectionnés en consultation avec les représentants du programme, sur la base de leur connaissance et de leur participation à l’Initiative. Dans le but d’obtenir des perspectives variées sur l’Initiative, l’échantillon d’entrevues principales inclut des représentants de différents groupes d’intervenants-clés :

  • Représentants de CIC : Direction générale de l’Intégration, Direction générale de l’Immigration, Direction générale de la gestion du programme d’intégration, et représentants des Bureaux régionaux et de la Région internationale, mission à Paris (n=19);
  • Membres du Comité directeur et du Comité de mise en œuvre (n=5);
  • Représentants des réseaux régionaux de coordination qui n’ont pas été consultés durant les études de cas (n=7); et
  • Autres intervenants clés : Représentants du ministère du Patrimoine canadien (n=2).

En préparation à l’entrevue, chaque intervenant a reçu un guide incluant les questions devant être abordées. Les entrevues se sont déroulées en personne ou par téléphone, dans la langue officielle de préférence de l’intervenant. Toutes les données recueillies ont été analysées par le biais de l’outil NVivo afin de dégager les thèmes liés à chacune des questions d’évaluation visées par cette méthode de recherche. (Pour les guides d’entrevues, voir les Annexes techniques.)

2.2 Revue de documents

L’ensemble de la documentation pertinente à l’Initiative a été analysé. La revue des documents a aidé à répondre à toutes les questions du cadre d’évaluation. Ces données ont offert de l’information quant à la pertinence de l’initiative, les activités entreprises dans le cadre de l’Initiative, les extrants produits et les résultats atteints par les trois composantes de l’Initiative.

La liste des documents consultés inclut :

  • Le Plan stratégique pour favoriser l’immigration au sein des CFSM;
  • Le Cadre stratégique pour favoriser l’immigration au sein des CFSM;
  • La Feuille de route pour la dualité linguistique canadienne 2008-2013;
  • Le Plan d’action pour les langues officielles 2003-2008;
  • Discours du Trône;
  • Tous les documents de planification de l’Initiative, incluant les soumissions au Conseil du Trésor;
  • Tous les documents sur la mise en œuvre des activités liées aux trois composantes de l’initiative;
  • Les dossiers de financement (propositions de projets, rapports provisoires et finaux, etc.);
  • Documentation sur le mandat des divers comités (comité de mise en œuvre, comité directeur); et
  • Autres documents ministériels et études jugés pertinents.

Compte tenu du volume d’information recueilli pour la revue documentaire, l’outil NVivo a été utilisé pour l’organisation et l’analyse de ces données. (Pour de plus amples renseignements sur les documents examinés, voir les Annexes techniques.)

2.3 Analyse de données administratives

L’analyse de données administratives provenant d’un nombre de systèmes administratifs utilisés par CIC a aidé à répondre aux questions 6, 7 et 8 du cadre d’évaluation. Ces systèmes administratifs sont :

  • SAP, SCEC et Rapports régionaux : Les données provenant du Système intégré des finances et du matériel, également nommé SAPNote de bas de page 5, ont été analysées pour examiner les dépenses réelles (Crédits 1 et 5) de l’Initiative et ont été comparées au budget alloué. L’information provenant de SAP (Crédit 5) a été comparée aux données compilées dans le Système de gestion des ententes de contribution (SGEC)Note de bas de page 6, ainsi qu’à l’information sur les activités identifiées dans les rapports régionaux transmis à la direction générale de la gestion du programme d’intégration. L’information a été synthétisée à partir de ces trois sources de données afin d’élaborer une liste complète de projets liés à l’Initiative, financés par CIC pendant la période de la Feuille de route. Seulement les données financières pour les 2008-09 à 2010-11 étaient disponibles au moment de l’évaluation. Par conséquent, l’analyse de données et la liste de projets correspondent à cette période de trois ans.
  • SSOBL : Les données provenant du Système du soutien des opérations des bureaux locaux (SSOBL)Note de bas de page 7 ont été analysées afin de mieux comprendre le profil des nouveaux arrivants s’établissant dans une CLOSM, particulièrement les immigrants d’expression française s’établissant dans des CFSM. En l’absence d’une définition plus précise, les CFSM réfèrent à toutes les communautés à l’extérieur du Québec où résident des individus d’expression française. Les statistiques sur les nouveaux arrivants d’expression française étaient estimées en fonction d’une combinaison de variables, incluant la langue maternelle, les langues officielles parlées et le pays de naissance. La méthode utilisée afin de dériver cette estimation est décrite en détail à la section 3.2 sur les Résultats.

    Au Québec, les statistiques sur les nouveaux arrivants d’expression anglaise étaient estimées en fonction du nombre de résidents permanents ayant déclaré la langue anglaise comme leur seule langue officielle parlée. Les statistiques présentées sur les nouveaux arrivants dans les CLOSM couvrent une période de 2003 à 2011.
  • iSMRP : Les données provenant du Système de mesure pour la reddition de comptes concernant les programmes de contributions de l’immigration (iSMRP)Note de bas de page 8 ont été utilisés afin de calculer et comparer le nombre de clients qui ont reçu un service pour une évaluation des besoins, l’aiguillage, le soutien ou l’information (EBASI) ou un service pour des connexions communautaires (CC) dans une langue officielle ou dans d’autres langues. En outre, les données sur les FS provenant de ce système ont été analysées afin de mieux comprendre la distribution des services reçus en français dans les régions métropolitaines de recensement (RMR) dans l’ensemble du Canada, et de contribuer à l’estimation de la capacité de livraison des services d’établissement en français dans des régions où CIC en est responsable. Les statistiques présentées sur les clients qui ont reçu les services d’établissement (EBASI et CC) couvrent la période de 2005-06 à 2010-2011.

2.4 Études de cas

Onze études de cas ont été réalisées dans les villes suivantes : Moncton, St-Léonard, Halifax, Ottawa, Toronto, Winnipeg, Régina, Edmonton, Calgary, Brooks, et Vancouver. Plusieurs facteurs ont influencé la sélection des villes couvertes par les visites de terrains :

  • La concentration d’immigrants francophone des CFSM (p. ex. plusieurs centres urbains ayant une concentration d’immigrants francophone relativement importante ont été choisis ainsi que quelques centres ruraux ayant une concentration plus faible);
  • L’emplacement des réseaux en immigration francophone et des représentants du programme;
  • La distribution de fonds pour les services d’établissement; et
  • Les arrangements de financement (p. ex. les provinces avec des arrangements de financement alternatifs ont été incluses).

Les études de cas étaient composées de trois éléments principaux :

  • Un examen approfondi des documents et des systèmes internes;
  • Des entrevues avec des intervenants pertinents; et
  • Des groupes de discussion avec les clients ayant bénéficié des services d’établissement financés par CIC.

À l’exception des questions 2 et 3, les études de cas ont aidé à répondre à toutes les questions du cadre d’évaluation.

Au total, 43 entrevues ont été complétées avec 59 intervenants incluant des représentants des bureaux régionaux et locaux de CIC, des organismes communautaires, des réseaux en immigration francophone et des gouvernements provinciaux.

En plus des entrevues, un groupe de discussion a été réalisé dans chacune des villes visitées (à l’exception de Brooks), comptant d’un total de 10 groupes de discussion. Ces groupes étaient composés de six à dix nouveaux arrivants d’expression française (incluant certains réfugiés).

Les documents, les entrevues et les notes associées aux études de cas ont été analysés par le biais de l’outil NVivo afin de faciliter l’organisation de l’information et de la comparaison entre les perspectives des divers groupes d’intervenants clés. (Pour les outils en appui aux études de cas, voir les Annexes techniques.)

2.5 Limites de la méthodologie retenue

Les principales limites à la méthodologie utilisée sont largement associées à l’analyse des données administratives.

L’examen des données provenant du SAP, du SCEC et de l’information identifiée dans les rapports régionaux a relevé certaines incohérences par rapport à ce qui constitue un projet de l’Initiative (Crédit 5). Par conséquent, les données provenant des trois sources de données ont été intégrées afin de composer une seule liste des projets liés à l’Initiative. Pour cette raison, le niveau d’investissement pour les divers projets identifiés sur la liste ne correspond pas directement à l’allocation réservée pour ces activités dans le budget, mais reflète d’une manière plus globale la portée des activités liées aux objectifs de l’Initiative.

La définition adoptée dans le Plan stratégique indique clairement les critères à utiliser pour identifier ce que constitue un immigrant d’expression française. Cependant, il n’existe pas à l’heure actuelle une seule méthode, validée et acceptée, afin de mesurer cette définition. L’évaluation a dû estimer la population des nouveaux arrivants d’expression française en situation minoritaire utilisant des mesures approximatives, dérivées à partir des données provenant du SSOBL. Le SSOBL ne note pas la langue officielle de préférence, ni celle utilisée par le nouvel arrivant. Seule l’information sur les langues officielles parlées (reposant sur des déclarations volontaires qui ne sont pas vérifiées, et excluant toute information sur le niveau de compétence ou l’usage) et la langue maternelle était disponible au moment de l’évaluation. L’estimation du nombre de nouveaux arrivants « d’expression française » selon la définition du Plan stratégique a soulevé un défi dans la présente évaluation qui est exploré à la section 3.2 du rapport sur les Résultats.

Les chiffres dans l’iSMRP peuvent sous-estimer le niveau de service fourni en français pour les activités d’EBASI et de CC. D’autres évaluations sur les composantes du Programme d’établissement ont démontré une sous-représentation de fournisseurs de services dans l’iSMRPNote de bas de page 9  qui pouvaient causer une sous-représentation de clients pour certaines années durant la période observée pour la présente évaluation. Par ailleurs, en juillet 2010, les règles relatives à la méthode de déclaration par les fournisseurs de services étaient changées. Donc, bien que les résultats provenant de l’iSMRP indiquent l’orientation générale des tendances relatives au niveau de service fourni en français, il faut interpréter ces résultats avec prudence.

Détails de la page

Date de modification :