ARCHIVÉ – Évaluation formative du Programme d’examen des risques avant renvoi

2.0 Évaluation : thèmes et méthodologie

Cette partie du rapport présente en résumé les questions et la méthode utilisées dans le cadre de l’évaluation, y compris les limites. Les thèmes et questions d’évaluation sont indiqués à l’annexe 1.

2.1 Évaluation : thèmes et questions

La présente étude se fonde sur une matrice d’évaluation mise au point en novembre 2006. Durant la phase de planification de l’évaluation, en janvier 2007, les méthodes utilisées ont été confirmées, et la disponibilité des données, évaluée. Le modèle logique figure à l’annexe A, et la matrice d’évaluation à l’annexe B.

Les questions ont été regroupées sous les thèmes de la pertinence; de la conception et de l’exécution (formation et ressources, homogénéité d’application du programme dans toutes les régions); de l’intégrité du programme; des résultats du programme; et du rapport coût-efficacité. Ces thèmes ont été évalués au moyen des 16 questions indiquées dans le tableau ci-dessous.

Thème Question
Pertinence
  • Le programme d’ERAR est-il toujours nécessaire?
  • Le programme d’ERAR cadre-t-il avec les priorités de CIC et du gouvernement fédéral?
Conception et exécution : Homogénéité de l’application d’une région à l’autre
  • Dans quelle mesure les politiques et procédures d’ERAR sont-elles appliquées de façon homogène dans l’ensemble des bureaux régionaux?
  • Dans quelle mesure l’AC de CIC et les bureaux régionaux responsables du programme d’ERAR se concertent-ils pour planifier et exécuter le programme?
  • Les agents d’ERAR ont-ils les aptitudes, les connaissances et les outils nécessaires pour traiter efficacement les cas?
Conception et exécution : Processus décisionnel
  • Les évaluations et les décisions d’ERAR sont-elles judicieuses et justes?
  • Les décisions sont-elles rendues dans les délais prescrits?
  • Quelles ont été les répercussions le modèle du « décideur unique » (en ce qui a trait à la charge de travail, au traitement des dossiers)?
Conception et exécution : Intégrité du programme
  • L’intégrité du programme est-elle constamment assurée?
  • A-t-on défini et communiqué des améliorations qui pourraient être apportées afin de guider l’orientation et la réalisation du Programme?
Résultats du programme
  • L’ERAR a-t-il réussi à accorder une protection aux personnes qui en avaient besoin?
  • Dans quelle mesure le programme appuie-t-il les obligations internationales du Canada et son adhésion au principe de non-refoulement?
  • CIC et l’ASFC se concertent-ils pour planifier et exécuter le programme (aux niveaux national et régional)?
  • Quelles ont été les répercussions du programme d’ERAR sur le processus de renvoi?
  • Y a-t-il eu des résultats inattendus?
Rapport coût-efficacité
  • Les activités d’ERAR sont-elles efficaces par rapport au coût?

2.2 Méthode

On a conçu l’évaluation de façon à utiliser de multiples sources de données et en se fondant sur des méthodes de recherche qualitative et quantitative. On trouvera ci-dessous une description de chacune de ces méthodes.

Étude des documents

L’annexe C comprend la liste des documents étudiés pour cette évaluation. En voici quelques exemples :

  • Des documents généraux et contextuels tels que les cartes des processus, les notes du Comité permanent et le rapport Thompson[note 9];
  • Des documents propres au programme tels que la matrice d’évaluation, les rapports sur les bonnes pratiques, les outils d’AQ, les comptes rendus de conférence sur l’ERAR;
  • Des documents opérationnels, entre autres les guides de traitement, les modèles de décision d’ERAR, les documents de formation et les présentations.

Entrevues

On a mené quarante entrevues, au téléphone et en personne, auprès des intervenants du programme d’ERAR. Tous les participants ont reçu d’avance les guides d’entrevue. Les résultats de ces entretiens ont été résumés et analysés en fonction de chaque indicateur de rendement, conformément au cadre d’évaluation. Le détail des entrevues apparaît au tableau 2 (voir l’annexe D pour la liste détaillée des participants et l’annexe E pour les guides d’entrevue).

Tableau 2. Nombre d’entrevues, par groupe d’intervenants

Groupe d’intervenants Nombre d’entrevues
Administration centrale de CIC 7
Bureaux d’ERAR de CIC 14
Agence des services frontaliers du Canada (régions et AC) 8
Ministère de la Justice (régions et AC) 6
Organisations non gouvernementales 5
Total 40

Groupes de discussion composés d’agents d’ERAR

On a créé au total six groupes de discussion composés d’agents d’ERAR, un groupe dans chaque bureau responsable du programme. Au total, 37  personnes ont participé aux séances, ce qui équivaut à environ la moitié des agents (voir le tableau 3). Avec l’aide des coordonnateurs d’ERAR, on a sélectionné des participants ayant des niveaux d’expérience variables et des antécédents différents, pour que la discussion englobe tous les aspects pertinents. Voir l’annexe F pour les documents ayant trait au groupe de discussion.

Tableau 3. Participants aux groupes de discussion

Bureau d’ERAR Nombre de participants
Colombie-Britannique et Yukon 8
Prairies et Territoires du Nord-Ouest 4
Mississauga[note 10] 8
Niagara Falls 7
Québec 9
Atlantique[note 11] 1
Total 37

En plus de recueillir des renseignements sur des aspects liés à la conception, à l’exécution et au succès du programme, les groupes de discussion ont abordé la procédure d’ERAR utilisée dans chaque région pour évaluer les demandes. On a utilisé les résultats de ces discussions pour élaborer des cartes de processus propres à chaque bureau, illustrant les ressemblances et les différences présentées par le traitement des demandes dans les six bureaux. Il est à noter que ces cartes de processus ont été intégrées dans les études de cas d’ERAR (voir la description ci-dessous).

Exercice d’assurance de la qualité (AQ)

On a mené un exercice d’AQ dans le but d’examiner les questions d’évaluation sur le caractère judicieux et l’équité des décisions d’ERAR, ainsi que l’homogénéité de l’application des politiques et procédures, à l’échelle des régions. On a mis au point un modèle en utilisant des outils d’AQ conçus antérieurement, sa structure correspondant au modèle décisionnel d’ERAR employé par les agents. On l’a simplifié en se basant sur les données régionales, et mis à l’essai dans l’un des bureaux. (Voir l’annexe G en ce qui a trait à l’outil d’AQ).

Chaque agent d’ERAR a dû désigner un coordonnateur (ou plusieurs coordonnateurs) pour effectuer l’exercice, l’objectif étant que chacun d’eux remplisse cinq modèles[note 12]. Les coordonnateurs ont reçu des instructions sur la manière d’obtenir un échantillon aléatoire de dossiers classés à évaluer, en exécutant un rapport dressant la liste des cas réglés (et en faisant abstraction de tous les cas réglés n’impliquant pas de décision rendue par écrit). Les données ont été classées par ordre ascendant de numéro d’ID du SSOBL, ce qui a eu pour effet de mélanger les types de cas et les décideurs pour obtenir un échantillon plus aléatoire.

Les résultats ont été examinés avec les coordonnateurs lors de la conférence des coordonnateurs d’ERAR (les 24 et 25 mai 2007) afin de déterminer si l’outil d’AQ comportait des limites et de s’assurer que l’on interprétait les résultats correctement. Les coordonnateurs d’ERAR ont également envisagé la mise en place d’un processus continu d’AQ pour l’ERAR et examiné les avantages éventuels, les difficultés potentielles et les options pour l’application de l’AQ.

Analyse des données

On a eu recours à des données complètes, y compris des données ventilées sur une base annuelle ou régionale, pour presque chaque indicateur de la matrice d’évaluation. Toutefois, ces données ne sont pas recueillies sur une base permanente, et la Direction générale des réfugiés a dû fournir des efforts importants pour rassembler l’information.

Données relatives au programme d’ERAR

Le Système national de gestion des cas (SNGC) a constitué la principale source de données sur les cas d’ERAR. Il s’agit d’un système Web de suivi électronique des dossiers, disponible sur l’intranet de CIC au moyen d’une base de données centralisée. Les employés de CIC et de l’ASFC dans les bureaux locaux et à l’AC l’utilisent. Il constitue pour le personnel chargé de l’exécution un outil essentiel de suivi des cas dans de nombreux domaines, notamment les renvois, le traitement des demandes d’asile, les détentions, les audiences et les crimes de guerre. Les agents d’ERAR de CIC saisissent dans le système les renseignements relatifs aux dossiers. Le SNGC comporte des modèles de rapport prédéfinis que l’on peut utiliser pour générer de l’information générale sur les cas d’ERAR, par exemple les volumes de demandes, le nombre de décisions et les proportions de demandes en attente. Afin d’obtenir des données plus précises concernant de nombreux indicateurs (p. ex. le pays d’origine, le volume de demandeurs d’asile par rapport aux demandeurs autres que réfugiés), il a fallu traiter de grandes quantités de données brutes. On a eu accès à ces données par l’entremise des Services de l’entrepôt de données de CIC.

Données juridiques

Le ministère de la Justice a fourni des renseignements sur les contestations judiciaires d’ERAR grâce à son système de suivi iCase. Ce système permet de suivre le nombre de contestations judiciaires auxquelles donnent lieu les décisions d’ERAR à la Cour fédérale, ainsi que leurs résultats.

Sources de données supplémentaires

Les bureaux d’ERAR ont fourni des renseignements sur les ressources propres à chaque région et des données statistiques sur les volumes de cas et les demandes en attente. La Direction générale des finances a quant à elle fourni des renseignements sur les ressources du programme réelles et prévues au budget.

Études de cas

Afin d’obtenir un portrait d’ensemble du programme d’ERAR dans chaque bureau, l’équipe d’évaluation a mis au point six études de cas, qui portent sur d’importantes statistiques, le processus d’ERAR, les leçons tirées et des questions clés à considérer. Chaque étude comprend une carte illustrant la méthode utilisée pour évaluer les dossiers. Les études de cas font l’objet d’une publication distincte (Évaluation formative du Programme d’examen des risques avant renvoi : Études de cas régionales).

Analyse globale

Pour effectuer l’analyse globale des résultats de l’évaluation, on a mis au point un ensemble de matrices de données. Les résultats pour chaque indicateur ont été intégrés dans une matrice en fonction de la source de données utilisée. Puis les matrices individuelles concernant chaque source de données ont été regroupées dans un résumé de tous les résultats, pour ensuite être recoupées avec les questions d’évaluation.

2.3 Limites de la méthode

La méthode comporte certaines limites, surtout en ce qui concerne l’exercice d’assurance de la qualité.

Exercice d’AQ

Pour des raisons pratiques, et après avoir consulté les coordonnateurs et les représentants du programme, il a été convenu que les coordonnateurs d’ERAR évalueraient les décisions à partir de leur propre bureau, plutôt que de transférer les cas entre les régions. Le fardeau administratif conjugué à la difficulté logistique de créer un échantillon en « double aveugle » en éliminant tous les identificateurs liés au cas et au bureau, et de faire circuler ces cas entre les différents bureaux, comportait trop de difficultés de gestion compte tenu de l’échéancier de l’étude. Le fait de limiter l’évaluation de l’AQ au sein de chaque région a eu, dans une certaine mesure, des conséquences sur le caractère aléatoire de l’exercice, mais on a adopté des mesures pour rendre l’échantillon aussi aléatoire que possible (voir le point ci-dessus pour connaître les détails).

Au total, on a mis au point 32 modèles d’AQ dans cinq bureaux d’ERAR[note 13]. Étant entendu que la taille de l’échantillon n’était pas représentative, les résultats ont plutôt constitué un indicateur parmi d’autres de la cohérence et de la qualité du processus décisionnel. Ils ont ainsi servi à corroborer d’autres données et à appuyer les résultats qualitatifs obtenus dans ce domaine.

______________

9. Le rapport Thompson constitue un examen condensé du Programme d’ERAR, achevé en 2003.

10. Y compris deux participants du bureau de CIC/Toronto-St. Clair.

11. Étant donné que la région ne compte qu’un seul agent d’ERAR, le guide prévu de discussion en groupe à servi dans le cadre d’une entrevue.

12. Fait à signaler, aucun des cas examinés ne provenait de la Région de l’Atlantique étant donné qu’elle ne compte aucun coordonnateur.

13. C.-B./Yn (10), P/T.N.-O. (5), Mississauga (6), Niagara Falls (5), Québec (6). Étant donné que le bureau de Halifax ne comptait pas de coordonnateur d’ERAR, l’agent d’ERAR a été exclu de l’exercice d’AQ, et le bureau de Vancouver a accepté d’évaluer cinq cas supplémentaires.

Détails de la page

Date de modification :