ARCHIVÉ – Initiative des cours de langue de niveau avancé Évaluation formative

4.0 Conséquences pour l’évaluation sommative

L’exécution de cette évaluation formative permet de relever un certain nombre de problèmes en vue de l’évaluation sommative prévue pour 2010, la plupart étant liés aux données disponibles.

Évaluation de la raison d’être du programme

Publiée en 2003, l’Enquête longitudinale de 2003 auprès des immigrants du Canada – S’établir dans un nouveau pays : un portrait des premières expériences renseigne sur les difficultés que les nouveaux arrivants rencontrent sur le marché du travail. Comme on ne s’attend pas toutefois à ce que cette étude soit répétée, on ne disposera probablement pas de données plus à jour sur les questions abordées dans l’ELIC pour l’évaluation sommative. Certaines données concernant l’emploi des immigrants sont disponibles dans le Recensement de 2001 et le sont tous, depuis décembre 2007, dans le Recensement de 2006 [ note 38 ]. De plus, Statistique Canada a publié récemment la première analyse de la situation des immigrants canadiens sur le marché du travail, d’après les résultats de l’Enquête sur la population active (EPA) [ note 39 ]. Le rapport intitulé Les immigrants sur le marché du travail en 2006 : premiers résultats de l’Enquête sur la population active du Canada renseigne sur des indicateurs clés du marché du travail dans le cas des immigrants faisant partie de la population active.

Cela signifie que l’évaluation sommative pourrait s’appuyer sur le Recensement de 2006, l’EPA, l’information tirée des entrevues et des documents du gouvernement pour justifier le programme. Cela n’empêche toutefois pas CIC de s’associer à d’autres projets de recherche (p. ex. ceux réalisés par Metropolis ou les provinces et territoires) pour effectuer des recherches qui aideront à évaluer la raison d’être du programme.

Description des profils des participants et évaluation de leurs résultats

Comme l’indique la section 3.5.4, les données sur les participants aux CLNA – notamment les profils et les résultats – telles qu’elles sont recueillies actuellement, n’étaient pas suffisantes pour la présente évaluation formative. Même si l’on devrait disposer de plus de données sur les participants pour les besoins de l’évaluation sommative, tant qu’on n’aura pas modifié la méthode utilisée pour collecter et saisir ces données (p. ex. présentation de tous les questionnaires par les FS à la fin de l’entente, retards dans la saisie des données), il manquera probablement toujours des questionnaires de participants au moment d’effectuer l’évaluation sommative. En outre, une fois que les dossiers relatifs aux projets pluriannuels seront disponibles, l’exhaustivité des données et leur qualité continueront de poser un problème.

Dans l’ensemble, à moins de s’attaquer aux problèmes de l’exhaustivité et de la qualité des données, on ne disposera pas d’une information suffisante sur le programme pour effectuer une évaluation sommative. En l’absence d’un profil des participants et d’information sur les résultats, il sera difficile, dans le cadre de l’évaluation sommative, d’établir des modèles efficaces et, comme c’est le cas pour la présente évaluation formative, il faudra fonder l’évaluation sur des données qualitatives.

Détermination de l’efficacité par rapport au coût

Faute de données suffisantes sur les projets et les participants, il sera difficile d’évaluer l’efficacité par rapport au coût du programme. En outre, la base de données ne fournit pas à l’heure actuelle, sur les contributions aux projets, des renseignements faciles à analyser ne nécessitant pas un maniement important des données. Les données existantes sur les coûts présentent cette difficulté particulière qu’elles ne distinguent pas les coûts de conception des coûts de prestation. Même dans le cas des projets de prestation, les FS ont utilisé les fonds destinés aux CLNA afin d’élaborer des programmes d’études et des outils pour leurs activités de prestation. Il est important de pouvoir distinguer ces deux types de coûts pour déterminer les coûts de prestation, qui pourront ensuite être évalués en fonction du nombre de participants et de leurs résultats.

Pour évaluer l’efficacité par rapport au coût des CLNA, il faudra en outre trouver un programme avec lequel effectuer une comparaison. Un certain nombre de programmes offrent une formation linguistique et une aide à l’emploi aux nouveaux arrivants (voir la section 3.6). Lors de la préparation de l’évaluation sommative, il sera important de déterminer quels programmes sont toujours offerts, s’ils comportent des composantes similaires à ceux des CLNA et si des données sur les coûts de ces programmes sont disponibles. Si c’est le cas, ces programmes peuvent servir de point de comparaison pour évaluer l’efficacité par rapport au coût des CLNA (ou de leurs composantes). Si ces données ne sont pas disponibles, on ne pourra évaluer l’efficacité par rapport au coût de manière qualitative qu’en demandant aux intervenants si les coûts établis sont raisonnables compte tenu des résultats des CLNA. Même si cette méthode n’est pas rigoureuse, elle est tout de même utile pour recueillir des données sur les coûts de conception et de prestation afin d’en évaluer le caractère raisonnable.

Recherche et analyse d’autres programmes d’intégration à la population active

Dans le cadre de la présente évaluation formative, on a tenté de recueillir de l’information sur d’autres programmes visant à aider les nouveaux arrivants à s’intégrer à la population active. Les données qui ont pu être recueillies lors d’une entrevue avec un représentant provincial n’ont pas suffi à obtenir une description détaillée d’autres programmes offerts à l’échelle provinciale. Au niveau fédéral, l’information était limitée par les entrevues ayant pu être menées avec des représentants d’autres ministères fédéraux. Si l’on veut que l’évaluation sommative englobe un examen raisonnablement détaillé d’autres programmes, ce sujet devra être traité au moyen d’une méthode particulière de collecte de données, qui consisterait notamment à mener de multiples entrevues avec des représentants du gouvernement fédéral et des gouvernements provinciaux et territoriaux, ainsi qu’à collecter et à examiner les documents que ces autres administrations consacrent à leurs programmes. Un examen assez approfondi est nécessaire pour assurer la comparabilité des programmes au chapitre des objectifs, des approches, des conditions d’admissibilité et des résultats. Cet examen devrait également reposer sur un ensemble convenu de critères pour évaluer la comparabilité.

______________

[38] Ces données portent entre autres sur la situation à l’égard de l’emploi, selon la période d’immigration au Canada, et elles sont présentées par sexe.

[39] L’EPA est une enquête mensuelle auprès des ménages qui sert à produire des indicateurs estimatifs du marché du travail, comme le chômage, l’emploi et l’activité.

Détails de la page

Date de modification :