Évaluation du programme de Cours de langue pour les immigrants au Canada (CLIC)

2.0  Méthodologie

Aperçu et limites

La méthodologie adoptée aux fins de l’évaluation du programme CLIC comprend les volets suivants :

  • un examen du programme et de la documentation connexe;
  • des entrevues avec 20 informateurs clés;
  • un sondage téléphonique auprès de 150 fournisseurs de services (FS);
  • 12 groupes de discussion – huit avec des clients ou des participants et quatre avec des diplômés;
  • une analyse intégrée des résultats.

L’approche méthodologique a été choisie en fonction des questions d’évaluation, des indicateurs et des sources de données qui avaient été précisés dans le Cadre d’évaluation des programmes d’établissement de Citoyenneté et Immigration Canada (23 janvier 2004). Dans la mesure du possible, et compte tenu du budget et du temps alloués, nous avons utilisé plusieurs méthodes et des données provenant de sources primaires et secondaires (existantes), de façon à pouvoir garantir que les résultats sont valides et reflètent tous les principaux points de vue sur le programme CLIC. Il convient toutefois de signaler que l’étude présente une limite du fait qu’il a été possible de consulter les clients de façon qualitative seulement – dans les douze groupes de discussion. Par conséquent, quelques-uns des indicateurs quantitatifs suggérés dans le cadre d’évaluation n’étaient pas disponibles (p. ex. le pourcentage de clients qui pensent que la formation linguistique les a aidés à atteindre des objectifs personnels, la proportion de clients qui se croient mieux en mesure d’atteindre des objectifs futurs). Ces questions ont pu être examinées dans une optique qualitative seulement. De plus, comme un sondage n’a pas été effectué auprès des clients, il n’y a pas de groupe témoin de nouveaux arrivants qui n’ont pas participé au programme CLIC – une approche qui aurait généré des résultats plus concluants au sujet des impacts différentiels du programme. La décision de ne pas inclure un sondage est essentiellement d’ordre logistique (et financier), en ce sens qu’il est difficile d’interroger des clients/nouveaux arrivants qui ne se sentent pas entièrement à l’aise d’être interrogés en français ou en anglais (c’est-à-dire que cette approche aurait nécessité la mise sur pied d’une équipe d’intervieweurs parlant de nombreuses langues).

Examen de la documentation

Nous avons examiné la documentation relative au programme et de la documentation connexe dans le but de mieux comprendre le cadre du programme CLIC, son mandat, ses objectifs, ses activités et les résultats escomptés. Cet examen a été amorcé à l’étape de la conception de la recherche afin de guider l’élaboration de la méthodologie et des instruments d’évaluation. De plus, un examen limité de la documentation disponible sur le programme et des statistiques de CIC a permis de répondre à quelques-unes des questions d’évaluation en rapport avec la pertinence du programme et sa mise en oeuvre.

Voici les principales sources de documentation et de données qui ont été examinées :

  • Cadre d’évaluation des programmes d’établissement de Citoyenneté et Immigration Canada, préparé pour CIC par Goss Gilroy inc., 23 janvier 2004.
  • Citoyenneté et Immigration Canada : Rapport sur le rendement pour la période se terminant le 31 mars 2003, ministre des Travaux publics et des Services gouvernementaux, 2003.
  • Citoyenneté et Immigration Canada : Budget des dépenses 2002-2003 Partie III – Rapport sur les plans et les priorités, ministre des Travaux publics et des Services gouvernementaux du Canada, 2002.
  • Information disponible sur le site www.integration-net.cic.gc.ca.
  • Citoyenneté et Immigration Canada : Programmes d’établissement, annexe 4 – Conditions supplémentaires.
  • Les données administratives du programme (entrées par les FS des CLIC) qui sont disponibles dans l’Immigration-Système de mesure pour la reddition de comptes concernant les programmes de contributions (iSMRP). Ce système contient des données sur les services fournis aux clients et les caractéristiques des clients.
  • L’Enquête longitudinale auprès des immigrants au Canada (ELIC), menée par CIC en collaboration avec Statistique Canada, donne de l’information sur l’adaptation et l’intégration des nouveaux immigrants au sein de la société canadienne, ainsi que sur l’incidence des différents services et politiques sur leur intégration.
  • Le Système de données sur les immigrants ayant obtenu le droit d’établissement (SDIODE), qui donne un profil des immigrants (mais pas de coordonnées courantes).
  • La Banque de données longitudinales sur les immigrants (BDIM), qui établit un lien entre le profil des immigrants au moment de l’établissement et les fichiers d’impôt sur le revenu personnel qui sont créés par la suite. Elle offre donc des données longitudinales sur le rendement économique et la mobilité des immigrants.

Entrevues avec des informateurs clés

Au total, 20 entrevues ont été réalisées avec des gestionnaires et des agents de CIC affectés au programme CLIC — à l’Administration centrale et dans les bureaux régionaux et locaux — ainsi qu’avec quelques FS (qui n’ont pas été joints lors du sondage). La liste des noms des participants aux entrevues, accompagnés de leurs coordonnées, a été élaborée avec l’aide du Comité directeur de l’évaluation. Les entrevues, d’une durée de 60 minutes en moyenne, ont été effectuées par téléphone pour la plupart. Quelques-uns des informateurs clés se trouvant dans la région de la capitale nationale et dans les villes où nous avons tenu des séances de discussion ont été interrogés en personne. Tous les participants aux entrevues ont reçu une garantie de confidentialité.

Une lettre d’introduction et un guide d’entrevue ont été rédigés et envoyés à tous les informateurs clés par courrier électronique en prévision de leur rendez-vous, afin qu’ils puissent se préparer à l’entrevue. Deux instruments distincts ont été utilisés (un guide d’entrevue pour les employés et gestionnaires de CIC et un questionnaire pour les FS) [note 3]. Des observations sommaires ont été préparées pour usage interne aux fins de l’étape de l’analyse intégrée.

Sondage auprès des fournisseurs de services (FS)

Un sondage téléphonique a été effectué auprès de 150 fournisseurs de services (FS) qui s’occupent de la formation et/ou de l’évaluation linguistique dans le cadre du programme CLIC. Les entrevues ont été réalisées par des intervieweurs qualifiés de notre centre de sondage chargé des entrevues téléphoniques assistées par ordinateur (ETAO). Les entrevues duraient 30 minutes en moyenne et se déroulaient dans la langue officielle choisie par le répondant. Le questionnaire comportait des questions dirigées (avec échelles ou catégories de réponses) et quelques questions ouvertes. Il contenait également des questions à l’intention des FS qui offrent des services d’évaluation linguistique et de ceux qui offrent de la formation linguistique. Chaque répondant a pu prendre le temps nécessaire pour répondre à toutes les questions.

CIC nous a remis une liste électronique contenant les noms et les coordonnées de 205 fournisseurs de services, certains s’occupant d’évaluations linguistiques, d’autres de formation linguistique, et d’autres encore qui offrent ces deux services. Après la mise à jour de quelques renseignements, nous nous sommes retrouvés avec une liste de 180 FS. La répartition régionale de ces 180 fournisseurs de services est la suivante :

  • Canada atlantique (n=10);
  • Ontario (n=129);
  • Prairies (n=40);
  • Yukon (n=1).

Afin de générer un bon taux de réponse, les 180 FS ont reçu, par courrier électronique ou par télécopieur, une copie du questionnaire avec une lettre d’introduction leur expliquant le but et l’importance du sondage, avec une garantie de confidentialité. Une semaine après environ, on a effectué un essai préliminaire du questionnaire de sondage avec une vingtaine de répondants. L’exercice avait pour but de vérifier la clarté des questions, l’enchaînement logique des questions et le respect de la durée prévue de l’entrevue. Après quelques modifications mineures pour clarifier la formulation de certaines questions, nos intervieweurs ont procédé aux entrevues restantes.

L’échantillon des 150 fournisseurs de services comprenait :

  • des FS qui ont annuellement des nombres différents de classes ou groupes de clients des CLIC – moins de cinq classes (28 p. 100), de cinq à neuf classes (25 p. 100), de 10 à 19 classes (22 p. 100) et 20 classes (25 p. 100);
  • des FS offrant des services d’évaluation (13 p. 100), de la formation linguistique (83 p. 100) ou les deux services (5 p. 100);
  • des FS de toutes les régions participantes – Canada atlantique (6 p. 100), Ontario (72 p. 100), Saskatchewan (6 p. 100), Alberta (15 p. 100) et Yukon (1 p. 100).

Une fois le sondage terminé, on a effectué une analyse quantitative élémentaire des données, incluant la distribution statistique des réponses et, le cas échéant, l’établissement d’une réponse moyenne pour chaque question, ainsi que des tableaux croisés avec des variables d’intérêt (p. ex. taille du FS) [note 4].

Groupes de discussion avec les clients

Au total, 12 groupes de discussion ont été organisés avec des clients des CLIC dans six villes des provinces participantes. La moitié des séances de discussion ont eu lieu en Ontario puisque cette province reçoit le plus grand nombre d’immigrants et de réfugiés ainsi que la majorité des fonds alloués au programme CLIC. Comme le tableau 2.1 l’indique, on comptait, parmi les 12 groupes de discussion, sept groupes de clients des LINC (qui apprennent l’anglais), un groupe de clients des CLIC (qui apprennent le français) et quatre groupes de diplômés des LINC.

Tableau 2.1
Distribution et composition des groupes de discussion

Type de participants
Ville Clients
à temps plein des LINC (anglais)
Clients
à temps partiel des LINC (anglais)
Clients des CLIC (français) Diplômés/ anciens étudiants à temps plein des LINC Diplômés/ anciens étudiants à temps partiel des LINC Total
Calgary 1 groupe 1 groupe 2
Saskatoon 1 groupe 1 groupe 2
Toronto 1 groupe 1 groupe 1 groupe 1 groupe 4
Ottawa 2 groupes 2
Fredericton
[note 5]
1 groupe 1
Halifax 1 groupe 1
Total 6 1 1 3 1 12

En moyenne, chaque groupe de discussion comptait de cinq à neuf participants (hommes et femmes) venant de milieux ethniques et linguistiques variés (p. ex. Iran, Irak, Afghanistan, Corée du Sud, Chine, Thaïlande, Russie, Ukraine, Bélarus, Albanie, Guatemala, Colombie, Égypte, Cameroun, Congo, Soudan et Kenya). Certains groupes de diplômés étaient plus petits cependant, parce qu’il a été difficile de joindre ces personnes (les coordonnées dont nous disposions n’étaient plus à jour).

Pour s’assurer de recruter des participants adéquats dans chaque groupe de discussion, il a d’abord fallu élaborer une liste d’étudiants actuels et de diplômés avec l’aide de FS locaux (qui nous avaient été recommandés par des agents des bureaux locaux et régionaux de CIC). Nous leur avons demandé de nous fournir le nom, le numéro de téléphone et la langue maternelle de participants possibles dans chaque ville. Afin de garantir que les clients actuels possédaient au moins des compétences de base en français ou en anglais, ainsi qu’une expérience du programme suffisante pour formuler des opinions éclairées, les participants des groupes de discussion devaient répondre aux deux critères suivants : 1) avoir atteint les niveaux 5, 6 ou 7 des SLC/CLB en compétences linguistiques; 2) avoir franchi au moins deux niveaux des SLC/CLB dans le cadre des CLIC. Nous avons demandé aux FS de fournir une liste de tous les étudiants existants et des diplômés qui répondaient à ces critères ou, si cela n’était pas possible, un échantillon aléatoire de participants (p. ex. inième nom sur les listes de cours). Nous avons également fourni aux FS une lettre d’introduction à remettre aux clients pour les informer des séances de discussion à venir.

Une fois qu’une liste exhaustive a été dressée, nous avons recruté par téléphone des participants pour chaque groupe. Nous avons décrit le but, l’heure et le lieu de la rencontre, fourni d’autres détails au sujet du groupe de discussion et invité les clients et les diplômés à participer à la discussion. (Dans les cas où nous avons eu de la difficulté à joindre les clients et les diplômés, les FS nous ont aidés en communiquant avec des étudiants de leur établissement.) De plus, chaque participant a reçu un rappel téléphonique la veille de la rencontre prévue. Nous nous sommes efforcés de recruter huit participants par groupe (dans la mesure où nous avions des noms disponibles).

Toutes les séances de discussion se sont tenues dans les installations de FS dans chaque ville. Les FS offrant une salle de réunion recevaient une rétribution de 150 $ par groupe (en guise de dédommagement pour nous laisser utiliser leur salle de réunion et pour l’aide qu’ils ont apportée en donnant des listes de participants potentiels et en prévoyant des collations et des rafraîchissements). Chaque séance de discussion durait deux heures et était animée par un modérateur expérimenté. Chaque discussion a été enregistrée pour nous aider à préparer des observations sommaires aux fins de l’analyse. Des collations et des rafraîchissements ont été servis à chaque groupe, et tous les participants ont reçu une rétribution de 25 $.

Analyse intégrée

À la suite de la collecte des données pour l’évaluation du programme CLIC, les résultats de chaque volet méthodologique ont été analysés. Les résultats des différentes sources ont ensuite été intégrés et organisés selon les questions de l’évaluation. Dans l’analyse intégrée, les données des différentes sources ont fait l’objet de triangulations en vue de cerner les questions sur lesquelles les résultats convergeaient et aussi pour aider à rapprocher tous les résultats incomplets ou contradictoires. Les résultats intégrés sont présentés au chapitre 3.

____________

3. Ces instruments et tous les autres qui ont été utilisés dans le cadre de l’étude font partie d’un document distinct intitulé : Évaluation du programme de Cours de langue pour les immigrants au Canada (CLIC) – Instruments de collecte de données, 30 avril 2004.

4. Les résultats complets du sondage sont présentés dans un document distinct intitulé : Évaluation du programme des Cours de langue pour les immigrants au Canada (CLIC) – Rapport technique sur le sondage auprès des fournisseurs de services, 30 avril 2004.

5. Au départ, on a essayé de former un groupe de discussion avec des clients des CLIC à Ottawa. Mais en raison de la transition d’un FS à un autre à ce moment-là, il n’a pas été possible d’obtenir une liste de clients qui répondaient à nos critères de sélection. Le lieu a donc été changé pour Fredericton.

Date de modification :