Évaluation du Plan stratégique concernant les services d’établissement et la formation linguistique de l’Accord Canada-Ontario sur l’immigration (ACOI)

2. Méthodologie de l’évaluation

Cette section présente la méthode employée au cours de l’évaluation, y compris une définition de son champ d’application, de ses sources de données, de ses forces et de ses limites. Pour obtenir de plus amples renseignements sur la méthode, y compris chacune des sources de données, veuillez consulter l’annexe Methodology and Project Profile.

2.1. Portée de l’évaluation

Période visée : L’évaluation couvrait la période allant du lancement du Plan stratégique, à l’exercice 2006-2007, jusqu’en 2009-2010. Puisque l’exercice 2005-2006 a été largement consacré à l’élaboration du plan et n’a pas été touché par ses orientations, les renseignements concernant l’exercice 2005-2006 figurent dans le présent rapport à titre de référence pour l’appréciation de la valeur ajoutée du Plan stratégique.

Financement : Même si l’objectif énoncé du Plan stratégique consistait à guider les nouveaux investissements réalisés en vertu de l’ACOI, le plan a orienté tous les projets menés en Ontario de 2006-2007 à 2009-2010 dans le cadre du PEAI, du programme LINC, du Programme d’accueil et de l’initiative des CLNA. Puisqu’il est impossible de distinguer les projets soutenus par le financement de base des projets financés par les nouveaux fonds, on a présumé que sans l’ACOI, les ressources seraient demeurées au même niveau qu’à l’exercice 2005-2006. Par conséquent, même si le présent document contient des renseignements sur les ressources allouées pour l’exercice 2005-2006, ces renseignements ne sont présentés qu’aux fins de comparaison.

Programmes de CIC : Les principaux programmes de CIC, comme le PEAI, le LINC, l’initiative des CLNA et le Programme d’accueil, relevaient du champ d’application du plan, tandis que les programmes qui ont été menés dans la province, mais soutenus par d’autres initiatives nationales (p. ex. le Plan d’action canadien contre le racisme) et des projets nationaux (p. ex. l’Orientation canadienne à l’étranger) en étaient exclus.

Programmes du MACI : L’évaluation des programmes du MACI n’est que partielle et est principalement axée sur les programmes financés par l’ACOI (RMLI), les projets cofinancés (programmes de formation relais de l’Ontario, CLNA) et l’analyse des liens entre les programmes de CIC et du MACI (p. ex. la langue). Elle n’examine en détail aucun des programmes du MACI. Des exemples de programmes du MACI présentant un lien avec des stratégies précises du plan sont fournis afin de brosser un tableau plus complet des programmes offerts aux nouveaux arrivants et de donner des renseignements de base pour éclairer l’analyse des efforts d’harmonisation entre les deux ordres de gouvernement.

Niveaux de résultats : Le modèle logique du Plan stratégique (illustré dans l’annexe Methodology and Project Profile) a permis de définir les questions de l’évaluation. L’évaluation était axée sur une appréciation du degré d’atteinte des résultats immédiats grâce à la mise en application des quatre stratégies, plutôt que sur une appréciation des résultats des programmes du point de vue des clients.Note de bas de page 11

2.2. Sources de données

Aux fins de l’évaluation, on a utilisé de multiples sources de données afin d’aborder en profondeur les questions et les indicateurs précisés dans la matrice d’évaluation (voir l’annexe Methodology and Project Profile). Ces sources de données sont brièvement décrites ci-dessous, tandis que l’annexe offre une description plus détaillée de la méthode utilisée pour chaque source de données, y compris une description des processus et des défis.

  • Entrevues préliminaires (n = 4) : CIC, en collaboration avec le MACI, a mis au point une méthodologie visant à évaluer le Plan stratégique (y compris la matrice d’évaluation) avant d’engager des consultants pour mener l’évaluation. Les consultants engagés ont ensuite mené quatre entrevues auprès de représentants de CIC et du MACI afin de confirmer et de préciser le champ d’application de l’évaluation, ainsi que de cerner les possibilités et les éventuels défis.
  • Examen de la documentation : On a examiné des documents de politique des gouvernements fédéral et provincial, de la documentation sur les programmes de CIC et du MACI, des documents en lien avec le travail du Comité directeur de l’établissement et de la formation linguistique et ses deux groupes de travail, de récents rapports d’évaluation concernant des programmes d’établissement et de formation linguistique, ainsi que certains documents de recherche et ouvrages accessibles au public (voir l’annexe Methodology and Project Profile). L’examen de la documentation a clarifié l’ensemble des questions de l’évaluation.
  • Entrevues avec des informateurs clés (n = 34) : Des entrevues approfondies ont été menées avec des représentants de CIC à l’administration centrale (AC), ainsi qu’aux bureaux régional et locaux de CIC en Ontario, de hauts dirigeants et des responsables des programmes du MACI, des représentants des municipalités et des représentants des fournisseurs de services. Ces entrevues ont éclairci toutes les questions de l’évaluation.
  • Études de cas (n = 10) : On a réalisé des études de cas sur certains projets financés par l’ACOI ou services offerts par des fournisseurs. Les cas ont été choisis de manière à s’assurer que les stratégies 1 à 3 étaient abordées (la stratégie 4 était couverte par des questions précises dans chacun des cas), qu’ils concernaient de grands centres urbains et des municipalités de plus petite taille, qu’ils fournissaient des exemples de projets axés sur des groupes cibles particuliers et qu’ils abordaient des exemples de nouvelles approches, y compris des projets financés conjointement par le MACI et CIC, des initiatives en ligne, des services itinérants et des partenariats. Toutes les études de cas ont comporté un examen de la documentation du projet et une série d’entrevues avec la direction et le personnel des organismes concernés. Des groupes de consultation avec des clients et d’autres intervenants ont eu lieu pour la moitié d’entre elles. Les études de cas servaient principalement à évaluer le rendement, la conception et l’exécution du plan.
  • Sondage : On a mené un sondage en ligne auprès des fournisseurs de services qui ont obtenu du financement de CIC. Afin d’éviter de recevoir de multiples réponses, un seul sondage a été envoyé à chaque fournisseur. La majorité des sondages étaient adressés au directeur général ou, dans le cas des organismes de plus grande taille, au gestionnaire responsable du programme. Des 350 sondages envoyés, on a reçu 143 sondages dûment remplis (ce qui représente un taux d’achèvement de 43 %). Même si le sondage ne visait pas les organismes exclusivement financés par le MACI, une proportion importante des répondants avaient reçu des fonds à la fois de CIC et du MACI (50 %). Le sondage était divisé en deux sections : des questions liées aux quatre stratégies et des questions relatives à la conception et à l’exécution. Parmi les répondants, 84 ont déclaré appartenir à la catégorie des fournisseurs de services d’établissement et ont répondu aux questions concernant la stratégie 1, tandis que 76 se sont identifiés comme des fournisseurs de services linguistiques et ont répondu aux questions relatives à la stratégie 2. Parmi les autres organismes ayant répondu au sondage, il y avait des organismes à vocation générale (c.-à-d. qui fournissent des services à un vaste éventail de clients, y compris aux nouveaux arrivants [p. ex. des hôpitaux]) (60) et des fournisseurs des services indirects (p. ex. recherche, renforcement des capacités) (55).Note de bas de page 12 Tous les participants ont répondu aux questions sur les stratégies 3 et 4, ainsi que sur la conception et l’exécution. Leurs réponses ont servi à évaluer le rendement, la conception et l’exécution.
  • Analyse des données administratives :
    • Profil des projets : Les projets ont été identifiés à l’aide d’un numéro de matricule unique et ont été définis sur le plan des objectifs, des activités réalisées, de l’agent de prestation (c.-à-d., le FS) et de l’entente ou des ententes de contribution conclue(s). Une analyse des renseignements a été menée après que des données administratives tirées de diverses sources ont été combinées en un seul fichier. Cet exercice a permis la constitution d’une base de données de 982 projets menés en Ontario entre 2005-2006 et 2009-2010, lesquels représentent 99,5 % des dépenses en subventions et contributions (S et C) (crédit 5) de la région au cours de cette période. Un projet peut englober plus d’une activité et constituer un investissement pluriannuel (principalement dans le cas des stratégies 1 et 2) ou un investissement annuel (principalement dans le cas des stratégies 3 et 4). Puisque plusieurs projets englobent de nombreuses activités (p. ex. les activités individuelles et de groupes dans le cadre du PEAI), la principale unité d’analyse présentée dans le rapport est l’activité plutôt que le projet. Cette information a permis d’évaluer le rendement : on a comparé le nombre d’activités réalisées en 2005-2006 par rapport à celui de 2009-2010 pour estimer la valeur ajoutée des nouveaux fonds. Cette mesure n’est basée que sur le volume d’activités, puisque les budgets et les dépenses ne peuvent pas être attribués aux activités.
    • Renseignements sur les clients : Trois bases de données ont été utilisées pour compiler des renseignements sur les clients, lorsqu’on avait accès à de tels renseignements. On a pu recueillir de l’information sur le PEAI, le Programme d’accueil et le programme LINC de la base de données Immigration – Système de mesure pour la reddition de comptes concernant les programmes de contributions (iSMRPNote de bas de page 13) de CIC, tandis que les données sur les activités propres au PEAI, comme le Programme des travailleuses et travailleurs d’établissement dans les écoles (TÉÉ), les Partenariats d’établissement par l’intermédiaire des bibliothèques et Settlement Workers in LINC, ont été obtenues par l’Online Tracking Information System (OTIS). On n’a pu obtenir des données sur les clients de l’initiative des Cours de langue de niveau avancé que pour l’exercice 2009-2010, au moyen du système History of Assessments, Referrals and Training (HART) (système de l’historique des évaluations, de l’aiguillage et de la formation). Ces renseignements ont servi à évaluer le rendement.

2.3. Forces et limites

2.3.1. Forces

  • Sources de données multiples : On a utilisé de multiples sources de données pour éclaircir diverses questions, ce qui a permis d’effectuer la triangulation des données et de renforcer ainsi la confiance dans les constatations de l’évaluation.
  • Base de référence : Une des principales forces de cette évaluation a été l’existence d’une base de référence. L’exercice 2005-2006 a servi de base de comparaison afin d’évaluer les progrès réalisés dans le cadre du Plan stratégique. Les renseignements sur les nombreux projets et les dépenses figurant tout au long du rapport sont fournis pour l’exercice de référence et le dernier exercice évalué. Par conséquent, il est possible d’évaluer la valeur ajoutée des fonds supplémentaires, en fonction du nombre d’activités exécutées, en faisant une comparaison des deux exercices.
  • Consultations et commentaires : On a sollicité des commentaires des intervenants de CIC et du MACI à différentes étapes de l’évaluation, notamment au moment de la planification, de la conception des outils de collecte de données, de l’analyse préliminaire et de la rédaction de l’ébauche du rapport. On a également consulté le personnel responsable des programmes au bureau régional pendant l’élaboration du profil des projets afin de s’assurer que l’information était la plus complète et la plus exacte possible. Les commentaires obtenus tout au long du processus ont permis de s’assurer que l’évaluation répondait aux besoins des intervenants et que tout renseignement pertinent était pris en considération.
  • Conception des outils : Puisque les personnes interrogées et les répondants au sondage, particulièrement les représentants des municipalités et des FS, en savaient probablement peu sur le Plan stratégique, la conception des instruments s’est révélée fondamentale pour fournir aux participants des renseignements contextuels afin de s’assurer que leur apport était pertinent. Les outils étaient adaptés aux divers groupes de participants et comportaient plusieurs annexes présentant des renseignements contextuels pour aider les répondants à fournir de l’information fiable et pertinente. L’annexe Methodology and Project Profile décrit les outils de collecte de données utilisés.
  • Réponses au sondage : Compte tenu du taux de réponse et du recoupement entre les caractéristiques de la population de FS et celles des répondants au sondage, on accorde un degré de confiance élevé aux constatations du sondage (voir l’annexe Methodology and Project Profile pour obtenir une comparaison entre les caractéristiques de la population de FS et celles des répondants). Le taux de réponse, à 43 %, est suffisant aux fins de cette évaluation, puisque le profil des répondants est semblable à celui de la population de FS en Ontario.
  • Données démographiques sur les nouveaux arrivants : Afin d’obtenir des renseignements sur les caractéristiques de base des nouveaux arrivants en Ontario, on a consulté les publications « Faits et chiffres » de CIC portant sur cette province. Même si les chiffres sont basés sur la province de destination prévue plutôt que sur la province de résidence réelle au moment de l’évaluation, la triangulation de ces données avec les renseignements sur les clients laisse présumer que près de 92 % des clients actuels avaient, à l’origine, choisi l’Ontario comme province de destination. Ainsi, l’information recueillie donne un profil démographique précis des nouveaux arrivants en Ontario.

2.3.2. Limites

Les défis qu’on a rencontrés pendant l’évaluation et qui ont eu une incidence sur l’interprétation des données sont décrits ci-dessous :

  • Renseignements sur les projets : L’absence d’une base de données centrale et complète contenant des renseignements détaillés sur les projets, répartis selon les stratégies, a posé un défi. Afin de constituer une telle base de données, on a combiné des renseignements tirés de divers documents administratifs et bases de données de CIC, puis on a réparti les projets par stratégie, selon un système de codage prédéterminé. Les difficultés rencontrées dans la combinaison de ces données ont compliqué la tâche et ont eu une incidence importante sur le calendrier de l’évaluation. Bien que la triangulation des données ait permis de valider des renseignements, lorsque cela a été possible (voir l’annexe Methodology and Project Profile pour obtenir des détails sur la méthode employée), il est possible qu’un ait surestimé ou sous-estimé la fréquence d’exécution de certaines activités.
  • Renseignements sur les clients : Même s’il a été possible, dans une large mesure, de déterminer le nombre de clients que comportait chaque programme, il a été plus difficile de déterminer le nombre de clients visés par stratégie et le nombre de clients uniques ayant bénéficié de tous les services pertinents. Cette situation est attribuable à l’absence de liens entre les diverses bases de données utilisées pour recueillir l’information (p. ex. les données relatives au PEAI A sont consignées dans l’iSMRP, tandis que les données du programme TÉÉ, dans le cadre du PEAI, sont consignées dans le système OTIS). Par conséquent, on connaît, dans une large mesure, le nombre de clients desservis par programme, mais on ignore le nombre total de clients visés par stratégie. En outre, bien que tous les FS indiquent le nombre de clients faisant partie du programme LINC, ce ne sont pas tous les FS qui ont donné ces chiffres pour le PEAI A et le Programme d’accueil. Ainsi, il est possible qu’on ait sous-estimé le nombre de clients bénéficiant de ces programmes.

On a tenu compte de ces limites lors de la conception des outils de collecte de données et pendant les étapes de collecte de données et d’analyse du projet. La sous-représentation ou la surreprésentation de la fréquence de certaines activités de projets et de renseignements sur les clients a joué sur la capacité d’évaluer l’étendue des changements apportés aux programmes et à leur portée et, par le fait même, la valeur ajoutée du Plan stratégique. Les renseignements obtenus sur les divers services ne reflètent que les changements minimums observés au lieu d’en brosser le portrait complet. Or, cela n’a aucune incidence sur l’orientation générale des tendances, seulement sur leur pleine dimension. Ces limites n’ont donc aucune conséquence considérable sur les constatations, les conclusions et les recommandations générales figurant dans le présent rapport.

Détails de la page

Date de modification :