Évaluation du Programme des étudiants étrangers

Appendice A : Cadre d’évaluation – modèle logique et matrice d’évaluation

Un exemplaire du modèle logique (annexe A) est disponible sur demande à Research-Recherche@cic.gc.ca.

Matrice d’évaluation
Question Indicateurs Méthode
Pertinence
Q1. Le Programme des étudiants étrangers cadre-t-il avec les objectifs et les priorités de CIC en matière d’immigration?
  • Conformité aux obligations législatives de CIC
  • Harmonisation du PEE avec les objectifs de CIC en matière d’immigration
  • Examen de documents (LIPR, documentation sur le PEE et autres documents traitant du mandat d’immigration, RPP, RMR)
  • Entrevues à l’interneNote de bas de page 115 (Immigration, DGGOC, Politiques et priorités stratégiques)
Q2. Le Programme concourt-il aux priorités et aux objectifs du gouvernement fédéral, et cadre-t-il avec les activités connexes menées dans d’autres ministères?
  • Harmonisation du PEE avec les objectifs et les priorités du gouvernement fédéral
  • Harmonisation avec les activités connexes menées dans d’autres ministères
  • Preuve de l’importance des stratégies d’immigration pour l’avenir économique du Canada
  • Point de vue des partenaires du Programme (autres ministères, provinces et territoires).
  • Examen de documents (discours du Trône, budget fédéral, Avantage Canada, documentation des autres ministères)
  • Entrevues à l’interne (Immigration, DGGOC, Politiques et priorités stratégiques)
  • Entrevues avec les partenaires (MAECI, ASFC, RHDCC, Patrimoine canadien, ACDI, Industrie Canada, provinces et territoires)
Rendement
Description du Programme des étudiants étrangers
Q3. Combien d’étudiants étrangers sont venus étudier au Canada au fil des années?
  • Nombre d’arrivées d’étudiants étrangers au Canada
  • Tendances au fil du temps
  • Bases de données existantes (SSOBL/STIDI)
  • Faits et chiffres
Q4. Leur profil a-t-il changé?
  • Profil des étudiants étrangers arrivant au Canada (sexe, niveau d’études, durée des études, pays d’origine, domaine d’études, distribution régionale par province et par rapport à MTV, les villes et autre)
  • Profil des établissements d’enseignement qui accueillent des étudiants étrangersNote de bas de page 116
  • Tendances au fil du temps
  • Examen de documents (documentation sur le PEE et rapports des intervenants et partenaires, y compris les études du BCEI, sites Web et rapports des provinces et territoires, rapports du MAECI et de l’OCDE)
  • Bases de données existantes (SSOBL/STIDI)
  • Faits et chiffres
  • Enquête sur les étudiants étrangers (par le BCEI)
Atteinte des objectifs d’immigration du Canada
Q5. Le Canada offre-t-il aux étudiants étrangers des possibilités d’études et d’emploi compétitives par rapport à celles offertes ailleurs dans le monde?
  • Variation au fil du temps de la part canadienne du marché de l’éducation internationale
  • Comparaison de la part canadienne du marché de l’éducation internationale avec celle d’autres pays comparables (en tenant compte de facteurs tels que la taille du pays et la taille du secteur de l’éducation)
  • Variation au fil du temps du nombre d’arrivées d’étudiants étrangers
  • Point de vue des étudiants étrangers et des établissements d’enseignement
  • Comparaison à l’échelle internationale des politiques, des programmes et des opérations (délais de traitement, facilité du processus de demande, commercialisation et image de marque) concernant les étudiants étrangersNote de bas de page 117
  • Examen de documents (analyses de CIC et rapports des intervenants et partenaires, y compris les études du BCEI, travaux du MAECI sur l’image de marque, rapport d’Industrie Canada, rapport de la N.-Z.)
  • Statistiques de l’OCDE
  • Bases de données administratives (SSOBL/STIDI)
  • Enquête sur les étudiants étrangers (par le BCEI)
  • Enquête auprès des établissements d’enseignement
  • Recension des écrits (documentation/sites Web sur les programmes de pays comparables (R.-U., N.-Z., É.-U., Australie et France, par exemple).
Q6. Dans quelle mesure le Canada réussit-il à attirer et à garder les étudiants étrangers?
  • Variation au fil du temps de la part canadienne du marché de l’éducation internationale
  • Variation au fil du temps du nombre d’arrivées d’étudiants étrangers
  • Variation au fil du temps du nombre d’étudiants étrangers qui restent pour travailler après l’obtention du diplôme
  • Nombre d’étudiants étrangers qui demandent la résidence permanente (au titre des diverses catégories, dont la CEC, si possible)
  • Nombre d’étudiants étrangers qui obtiennent la résidence permanente
  • Comparaison du programme fédéral au programme du Québec (transition des étudiants étrangers au statut de RP par programme et comparaison des politiques et programmes)
  • Examen de documents (documentation sur le PEE, site Web et rapports du Québec)
  • Bases de données existantes (SSOBL/STIDI)
  • Faits et chiffres
  • Statistiques de l’OCDE
  • Rapports des intervenants (p. ex. études du BCEI)
  • Enquête sur les étudiants étrangers (par le BCEI) pour vérifier leur intention de travailler après l’obtention du diplôme et (ou) de demander la résidence permanente
Q7. Les étudiants étrangers tirent-ils profit des possibilités d’emploi au Canada et acquièrent-ils une expérience de travail canadienne?
  • Nombre d’étudiants étrangers utilisant les programmes de permis de travail (PPTHC, PPTPD)
  • Pourcentage d’étudiants étrangers titulaires d’un permis de travail qui ont obtenu un emploi
  • Durée/fréquence de l’expérience de travail
  • Qualité de l’expérience de travail (p. ex. connexe au domaine d’études, emploi à temps partiel durant les études versus emploi à plein temps après l’obtention du diplôme)
  • Bases de données existantes (SSOBL)
  • Statistiques de la DGGOC
  • Rapports des intervenants (p. ex. études du BCEI)
  • Enquête sur les étudiants étrangers (par le BCEI)
Q8. Quels sont les facteurs qui incitent les étudiants étrangers à tirer profit des possibilités d’emploi au Canada et à acquérir une expérience de travail canadienne?
  • Différences entre le profil des étudiants étrangers qui utilisent les programmes de permis de travail et le profil de ceux qui ne les utilisent pas (sexe, patrimoine familial, etc.)
  • Différences entre le profil des étudiants étrangers qui obtiennent un emploi et le profil de ceux qui n’en obtiennent pas
  • Point de vue et expériences des employeurs (notamment les facteurs influant sur leur décision d’utiliser les programmes d’emploi pour embaucher des étudiants étrangers)
  • Point de vue et expériences des établissements d’enseignement (RDEE)
  • Bases de données existantes (SSOBL/STIDI)
  • Faits et chiffres
  • Statistiques de l’OCDE
  • Rapports des intervenants (p. ex. études du BCEI)
  • Enquête sur les étudiants étrangers (par le BCEI)
  • Sondage auprès des employeurs
  • Enquête auprès des établissements d’enseignement
Q9. Le profil des étudiants étrangers qui choisissent de rester au Canada cadre-t-il avec les objectifs d’immigration du Canada?
  • Profil des étudiants étrangers participant au PPTPD qui demandent la résidence permanente (sexe, niveau d’études, distribution régionale par province et par rapport à MTV, aux villes et autre)
  • Domaine d’études des étudiants étrangers participant au PPTPD qui demandent la résidence permanente
  • Nombre d’étudiants étrangers participant au PPTPD qui demandent et obtiennent la résidence permanente
  • Comparaison du programme fédéral au programme du Québec (transition des étudiants étrangers au statut de RP par programme et comparaison des politiques et programmes)
  • Examen de documents (documentation sur le PEE, site Web et rapports du Québec)
  • Bases de données existantes (SSOBL/STIDI)
  • Statistiques de l’OCDE
  • Rapports des intervenants (p. ex. études du BCEI)
  • Enquête sur les étudiants étrangers (par le BCEI) pour vérifier leur intention de travailler après l’obtention du diplôme et (ou) de demander la résidence permanente, incluant un lien avec le domaine d’études et d’autres caractéristiques du profil
Q10. Quels sont les avantages sociaux, culturels et économiques générés par les étudiants étrangers qui étudient et travaillent au Canada?
  • Preuve des avantages économiques pour les étudiants étrangers, les établissements d’enseignement, les collectivités et le Canada (revenus pour les établissements d’enseignement, montant dépensé par les étudiants étrangers en moyenne chaque année, nombre d’étudiants étrangers qui ont obtenu un emploi, nombre d’étudiants étrangers qui obtiennent la résidence permanente, y compris la distribution régionale, les tendances au fil du temps, ainsi que leurs revenus économiques/d’emploi)
  • Preuve des avantages sociaux et culturels pour les étudiants étrangers, les établissements d’enseignement, les collectivités et le Canada (diversité des étudiants étrangers, distribution régionale des étudiants étrangers au Canada, participation des étudiants étrangers à des associations ou groupes culturels et sociaux, point de vue des étudiants étrangers et des établissements d’enseignement, distribution des étudiants étrangers entre les établissements d’enseignement, diversité et distribution régionale des étudiants étrangers qui obtiennent la résidence permanente)
  • Examen de documents (rapports/études des intervenants et des partenaires, dont le BCEI, l’AUCC, l’ACCC, les établissements d’enseignement, les provinces et territoires et le Québec, MAECI/Édu-Canada) [Commentaire : Contacter Pari Johnson à l’AUCC.]
  • Statistiques de l’OCDE
  • Bases de données administratives (SSOBL)
  • BDIM et autres données de Statistique Canada
  • Enquête sur les étudiants étrangers (par le BCEI)
  • Enquête auprès des établissements d’enseignement
Intégrité du Programme
Q11. L’information et les outils relatifs au Programme appuient-ils une prise de décisions de qualité?
  • Portée, rapidité de diffusion et qualité des conseils techniques, des communications et du soutien sur place
  • Preuve de surveillance et de saisie de données à l’égard de la qualité de la prise de décisions (y compris les taux d’acceptation et de refus, les motifs de refus à l’étranger, dans les bureaux intérieurs et aux PDE)
  • Efficacité des procédures et mécanismes existants pour la prise de décisions de qualité (pratiques de surveillance, saisie de données, analyse stratégique, rapports, bulletins/directives aux bureaux locaux, échange d’information et coordination, etc.)
  • Point de vue des agents des visas de CIC, des agents du CTD de Vegreville et des agents des services frontaliers de l’ASFC
  • Preuve d’un manque d’uniformité/de qualité dans la prise de décisions
  • Examen de documents (DGGOC, RI, documentation du CTD de Vegreville, site Web de CIC)
  • Bases de données existantes (SSOBL/STIDI)
  • Statistiques et analyses de la RI, de la DGGOC et du CTD-V
  • Entrevues à l’interne (DGGOC, RI, CTD-V)
  • Entrevues avec les partenaires (ASFC)
  • Enquête auprès des agents des visas de CIC, des agents du CTD-V ainsi que des agents d’intégrité des programmes et des services frontaliers de l’ASFC
  • Entrevues avec les intervenants (CCEII, TRNCE, groupes FPT)
  • Enquête sur les étudiants étrangers (par le BCEI)
  • Enquête auprès des établissements d’enseignement
  • Sondage auprès des employeurs
Q12.
  • Le PEE est-il la cible d’une utilisation abusive et de fraude?
  • Quels mécanismes ont été mis en place pour surveiller et prévenir la fraude et l’utilisation abusive?
  • Existe-t-il des solutions de rechange à la structure et au mode de prestation actuels du PEE qui permettraient d’améliorer l’intégrité du Programme?
  • Preuve d’utilisation abusive et de fraude selon la source (étudiants étrangers, établissements d’enseignement, tiers)
  • Preuve d’utilisation abusive et de fraude selon le type d’établissement d’enseignement et le niveau d’études
  • Nombre de cas transmis à l’ASFC pour investigation
  • Preuve d’activités de surveillance et de saisie de données concernant l’utilisation abusive et la fraude
  • Efficacité des procédures et mécanismes existants pour la vérification de la fraude (pratiques de surveillance, saisie de données, analyse stratégique, rapports, bulletins/directives sur la lutte antifraude aux bureaux locaux, coordination et échange d’information au sein de CIC et avec l’ASFC, etc.)
  • Facteurs de réussite, lacunes et obstacles à une vérification efficace de la fraude
  • Incidence éventuelle des lacunes et des ambiguïtés dans la Loi et le Règlement
  • Comparaison à l’échelle internationale des politiques, des programmes et des opérations concernant les étudiants étrangers pour la vérification et la prévention de l’utilisation abusive et de la fraude
  • Comparaison du programme fédéral au programme du Québec (politiques, programmes et opérations pour la vérification et la prévention de l’utilisation abusive et de la fraude)
  • Examen de documents (documentation sur les systèmes et les procédures, rapports produits par CIC et les organismes d’exécution de la loi, site Web et rapports du Québec)
  • Bases de données existantes (STIDI/SSOBL)
  • Statistiques – RI/DGGOC/CTD-V/ASFC
  • Entrevues à l’interne (Immigration et DGGOC, RI, bureaux régionaux/conseillers de programmes régionaux et CTD-V)
  • Entrevues avec les partenaires (MAECI, ASFC, GRC, provinces et territoires, Québec)
  • Entrevues avec les intervenants (CCEII, TRNCE, groupes FPT)
  • Enquête auprès des agents des visas de CIC, des agents du CTD-V ainsi que des agents d’intégrité des programmes et des services frontaliers de l’ASFC
  • Recension des écrits (documentation/sites Web sur les programmes de pays comparables (R.-U., N.-Z., É.-U., Australie et France, par exemple)
Gestion du Programme
Q13. La prestation du Programme est-elle coordonnée, efficace et efficiente?
  • Preuve d’activités de coordination et d’échange d’information au sein de CIC et avec l’ASFC (ou d’autres autorités d’exécution de la loi) et les provinces/territoires (PPTPD)
  • Portée, rapidité de diffusion et qualité des conseils techniques, des communications et du soutien sur place
  • Variation dans les délais de traitement / l’arriéré (bureaux intérieurs et missions)
  • Taux d’acceptation et de refus
  • Niveau de satisfaction des intervenants à l’égard du service
  • Point de vue des agents des visas de CIC, des agents du CTD-V et des agents des services frontaliers de l’ASFC
  • Facteurs de réussite, lacunes et obstacles associés à la prestation efficiente, efficace et coordonnée du Programme
  • Comparaison à l’échelle internationale de l’exécution des programmes concernant les étudiants étrangers
  • Examen de documents (DGGOC, RI, documentation du CTD-V, protocoles d’entente et autres accords officiels)
  • Bases de données existantes (STIDI/SSOBL)
  • Statistiques : RI/DGGOC/CTD-V/ASFC
  • Entrevues à l’interne (Immigration et DGGOC, RI, CTD-V, BIS)
  • Entrevues avec les partenaires (MAECI, ASFC, provinces et territoires)
  • Entrevues avec les intervenants (CCEII, TRNCE, groupes FPT)
  • Enquête auprès des agents des visas de CIC, des agents du CTD-V ainsi que des agents d’intégrité des programmes et des services frontaliers de l’ASFC
  • Recension des écrits (documentation/sites Web sur les programmes de pays comparables (R.-U., N.-Z., É.-U., Australie et France, par exemple)
Élaboration de politiques et de programmes
Q14. Les intervenants et les partenaires du Programme ont-ils une compréhension uniforme des rôles et responsabilités ainsi que des objectifs des politiques et des programmes concernant les étudiants étrangers?
  • Degré de compréhension de la part des partenaires et de consensus quant aux rôles, aux responsabilités et aux objectifs
  • Degré de compréhension de la part des intervenants (établissements d’enseignement, employeurs) et de consensus quant aux rôles, aux responsabilités et aux objectifs
  • Examen de documents (comptes rendus des réunions du CCEII, de la TRNCE et des groupes FPT, protocoles d’entente et autres accords officiels, autre documentation des partenaires et intervenants, y compris des rapports et des documents des intervenants et des provinces/territoires concernant le recrutement d’étudiants étrangers, selon les disponibilités)
  • Entrevues à l’interne (Immigration, DGGOC, RI, CTD-V, Politique et priorités stratégiques, BIS)
  • Entrevues avec les partenaires (MAECI, ASFC, RHDCC, Patrimoine canadien, ACDI, Industrie Canada, provinces et territoires)
  • Entrevues avec les intervenants (CCEII, TRNCE, groupes FPT)
  • Enquête auprès des établissements d’enseignement
  • Sondage auprès des employeurs
Q15. Les intervenants et les partenaires du Programme travaillent-ils ensemble à la réalisation des objectifs du PEE?
  • Preuve de réunions, de consultations, de présentations, de groupes de travail, de protocoles d’entente et d’autres accords officiels avec les partenaires et les intervenants
  • Nombre et pourcentage de provinces et territoires faisant partenariat avec CIC et d’établissements d’enseignement admissibles faisant partenariat avec les provinces et territoires (p. ex., pour le PPTHC)
  • Qualité des mécanismes utilisés pour impliquer les partenaires et les intervenants (CCEII, TRNCE, groupes FPT) et officialiser les relations (protocoles d’entente et autres accords officiels avec les partenaires)
  • Qualité des relations avec les partenaires et les intervenants
  • Preuve d’une planification concertée (engagement des ressources nécessaires)
  • Preuve d’initiatives conjointes et de cadres de collaboration
  • Examen de documents (documentation sur le PEE et autres documents traitant du mandat en immigration, RPP, RMR, comptes rendus des réunions du CCEII, de la TRNCE et des groupes FPT, rapports des intervenants, protocoles d’entente et autres accords officiels, rapports des provinces et territoires)
  • Entrevues à l’interne (Immigration, DGGOC, RI, CTD-V, Politique et priorités stratégiques)
  • Entrevues avec les partenaires (MAECI, ASFC, RHDCC, Patrimoine canadien, ACDI, Industrie Canada, provinces et territoires)
  • Entrevues avec les intervenants (CCEII, TRNCE, groupes FPT)
  • Enquête auprès des établissements d’enseignement
  • Sondage auprès des employeurs
Q16. Les politiques et les programmes du PEE répondent-ils aux besoins des intervenants et des partenaires et facilitent-ils l’accès des étudiants étrangers aux possibilités d’études et d’emploi?
  • Preuve des modifications apportées aux politiques et aux programmes et de la rapidité de diffusion
  • Preuve des mesures prévues ou en cours pour améliorer les politiques et les programmes
  • Preuve des questions stratégiques qui n’ont pas encore été abordées ou réglées
  • Point de vue des étudiants étrangers, des établissements d’enseignement et des employeurs (satisfaction/insatisfaction à l’égard des politiques et programmes, etc.)
  • Nombre d’arrivées d’étudiants étrangers
  • Nombre d’étudiants étrangers qui utilisent les programmes de permis de travail
  • Examen de documents (documentation sur le PEE et autres documents traitant du mandat en immigration, comptes rendus des réunions du CCEII, de la TRNCE et des groupes FPT, rapports des intervenants, protocoles d’entente et autres accords officiels, rapports des provinces et territoires, banque de communiqués et synthèse quotidienne)
  • Bases de données existantes (SSOBL)
  • Entrevues à l’interne (Immigration, DGGOC, RI, CTD-V, Politique et priorités stratégiques)
  • Entrevues avec les partenaires (MAECI, ASFC, RHDCC, Patrimoine canadien, ACDI, Industrie Canada, provinces et territoires)
  • Entrevues avec les intervenants (CCEII, TRNCE, groupes FPT)
  • Enquête sur les étudiants étrangers (par le BCEI)
  • Enquête auprès des établissements d’enseignement
  • Sondage auprès des employeurs
Q17. Le PEE s’appuie-t-il sur un cadre de politique et de programme uniforme, logique et complémentaire?
  • Niveau d’intégration et d’harmonisation du PEE avec les autres objectifs de CIC pour l’immigration
  • Preuve de complémentarité des objectifs visés par les politiques des autres ministères et des provinces/ territoires
  • Preuve de priorités conflictuelles ainsi que de politiques et de programmes non uniformes au sein de CIC et avec les autres ministères et les provinces/ territoires
  • Examen de documents (documentation sur le PEE et autres documents traitant du mandat en immigration, RPP, RMR, comptes rendus des réunions du CCEII, de la TRNCE et des groupes FPT, rapports des intervenants, protocoles d’entente et autres accords officiels, rapports des provinces et territoires)
  • Entrevues à l’interne (Immigration, DGGOC, RI, CTD-V, Politique et priorités stratégiques)
  • Entrevues avec les partenaires (MAECI, ASFC, RHDCC, Patrimoine canadien, ACDI, Industrie Canada, provinces et territoires, BCP)
  • Entrevues avec les intervenants (CCEII, TRNCE, groupes FPT)
Rapport coût-efficacité
Q18. Les coûts du PEE sont-ils comparables à ceux escomptés pour d’autres programmes similaires?
  • Coût d’exécution du PPE versus coût d’exécution du Programme des travailleurs étrangers temporaires (PTET)Note de bas de page 118
  • Examen/comparaison des coûts associés aux programmes d’autres pays (Australie, R.-U., N.-Z., É.-U.)Note de bas de page 119
  • Bases de données existantes (STIDI/SSOBL)
  • Modèle de gestion des coûts
  • Recension des écrits (documentation/sites WEB sur le PEE et les programmes de pays comparables (R.-U., N.-Z., É.-U., Australie et France, par exemple)
Q19. Existe-t-il des solutions de rechange à la structure et au mode de prestation actuels du PEE qui permettraient d’améliorer l’efficience et l’efficacité?
  • Examen/comparaison des méthodes de conception et de prestation d’autres pays (Australie, R.-U., N.-Z., É.-U.)
  • Modification/améliorations à la conception et à la prestation du PEE
  • Tendances relatives aux délais de traitement/aux demandes en attente pour les étudiants étrangers
  • Tendances relatives au nombre de transactions avec CIC (demandes de permis d’études et de travail, demandes de modification ou de prorogation)
  • Temps alloué au traitement des demandes au titre du PEE par les agents des visas de CIC par rapport au temps de traitement des demandes de TET
  • Temps relatif alloué au traitement des demandes au titre du PEE pour différents types d’établissements d’enseignement (universités, collèges, écoles privées)
  • Recension des écrits (documentation/sites Web sur le PEE et les programmes de pays comparables (R.-U., N.-Z., É.-U., Australie et France, par exemple)
  • Entrevues à l’interne (Immigration, DGGOC, RI, CTD-V, BIS)
  • Enquête auprès des agents des visas de CIC, des agents du CTD-V ainsi que des agents d’intégrité des programmes et des services frontaliers de l’ASFC
  • Bases de données existantes (STIDI/SSOBL)
  • Statistiques : DGGOC/RI/CTD-V
  • Rapports du BIS (selon les disponibilités)
Q20. Y a-t-il eu des résultats imprévus?
  • Modifications à l’orientation des politiques et programmes
  • Résultats imprévus des programmes et des politiques
  • Examen de documents (vérifications, évaluations/examens, rapports)
  • Entrevues à l’interne (Immigration, DGGOC, RI et CTD-V)
  • Entrevues avec les partenaires (MAECI, ASFC, RHDCC, Patrimoine canadien, ACDI, Industrie Canada, provinces et territoires)
  • Entrevues avec les intervenants (CCEII, TRNCE, groupes FPT)
Date de modification :