ARCHIVÉ – Évaluation formative du Programme d’examen des risques avant renvoi
2.0 Évaluation : thèmes et méthodologie
Cette partie du rapport présente en résumé les questions et la méthode utilisées dans le cadre de l’évaluation, y compris les limites. Les thèmes et questions d’évaluation sont indiqués à l’annexe 1.
2.1 Évaluation : thèmes et questions
La présente étude se fonde sur une matrice d’évaluation mise au point en novembre 2006. Durant la phase de planification de l’évaluation, en janvier 2007, les méthodes utilisées ont été confirmées, et la disponibilité des données, évaluée. Le modèle logique figure à l’annexe A, et la matrice d’évaluation à l’annexe B.
Les questions ont été regroupées sous les thèmes de la pertinence; de la conception et de l’exécution (formation et ressources, homogénéité d’application du programme dans toutes les régions); de l’intégrité du programme; des résultats du programme; et du rapport coût-efficacité. Ces thèmes ont été évalués au moyen des 16 questions indiquées dans le tableau ci-dessous.
Thème | Question |
---|---|
Pertinence |
|
Conception et exécution : Homogénéité de l’application d’une région à l’autre |
|
Conception et exécution : Processus décisionnel |
|
Conception et exécution : Intégrité du programme |
|
Résultats du programme |
|
Rapport coût-efficacité |
|
2.2 Méthode
On a conçu l’évaluation de façon à utiliser de multiples sources de données et en se fondant sur des méthodes de recherche qualitative et quantitative. On trouvera ci-dessous une description de chacune de ces méthodes.
Étude des documents
L’annexe C comprend la liste des documents étudiés pour cette évaluation. En voici quelques exemples :
- Des documents généraux et contextuels tels que les cartes des processus, les notes du Comité permanent et le rapport Thompson[note 9];
- Des documents propres au programme tels que la matrice d’évaluation, les rapports sur les bonnes pratiques, les outils d’AQ, les comptes rendus de conférence sur l’ERAR;
- Des documents opérationnels, entre autres les guides de traitement, les modèles de décision d’ERAR, les documents de formation et les présentations.
Entrevues
On a mené quarante entrevues, au téléphone et en personne, auprès des intervenants du programme d’ERAR. Tous les participants ont reçu d’avance les guides d’entrevue. Les résultats de ces entretiens ont été résumés et analysés en fonction de chaque indicateur de rendement, conformément au cadre d’évaluation. Le détail des entrevues apparaît au tableau 2 (voir l’annexe D pour la liste détaillée des participants et l’annexe E pour les guides d’entrevue).
Tableau 2. Nombre d’entrevues, par groupe d’intervenants
Groupe d’intervenants | Nombre d’entrevues |
---|---|
Administration centrale de CIC | 7 |
Bureaux d’ERAR de CIC | 14 |
Agence des services frontaliers du Canada (régions et AC) | 8 |
Ministère de la Justice (régions et AC) | 6 |
Organisations non gouvernementales | 5 |
Total | 40 |
Groupes de discussion composés d’agents d’ERAR
On a créé au total six groupes de discussion composés d’agents d’ERAR, un groupe dans chaque bureau responsable du programme. Au total, 37 personnes ont participé aux séances, ce qui équivaut à environ la moitié des agents (voir le tableau 3). Avec l’aide des coordonnateurs d’ERAR, on a sélectionné des participants ayant des niveaux d’expérience variables et des antécédents différents, pour que la discussion englobe tous les aspects pertinents. Voir l’annexe F pour les documents ayant trait au groupe de discussion.
Tableau 3. Participants aux groupes de discussion
En plus de recueillir des renseignements sur des aspects liés à la conception, à l’exécution et au succès du programme, les groupes de discussion ont abordé la procédure d’ERAR utilisée dans chaque région pour évaluer les demandes. On a utilisé les résultats de ces discussions pour élaborer des cartes de processus propres à chaque bureau, illustrant les ressemblances et les différences présentées par le traitement des demandes dans les six bureaux. Il est à noter que ces cartes de processus ont été intégrées dans les études de cas d’ERAR (voir la description ci-dessous).
Exercice d’assurance de la qualité (AQ)
On a mené un exercice d’AQ dans le but d’examiner les questions d’évaluation sur le caractère judicieux et l’équité des décisions d’ERAR, ainsi que l’homogénéité de l’application des politiques et procédures, à l’échelle des régions. On a mis au point un modèle en utilisant des outils d’AQ conçus antérieurement, sa structure correspondant au modèle décisionnel d’ERAR employé par les agents. On l’a simplifié en se basant sur les données régionales, et mis à l’essai dans l’un des bureaux. (Voir l’annexe G en ce qui a trait à l’outil d’AQ).
Chaque agent d’ERAR a dû désigner un coordonnateur (ou plusieurs coordonnateurs) pour effectuer l’exercice, l’objectif étant que chacun d’eux remplisse cinq modèles[note 12]. Les coordonnateurs ont reçu des instructions sur la manière d’obtenir un échantillon aléatoire de dossiers classés à évaluer, en exécutant un rapport dressant la liste des cas réglés (et en faisant abstraction de tous les cas réglés n’impliquant pas de décision rendue par écrit). Les données ont été classées par ordre ascendant de numéro d’ID du SSOBL, ce qui a eu pour effet de mélanger les types de cas et les décideurs pour obtenir un échantillon plus aléatoire.
Les résultats ont été examinés avec les coordonnateurs lors de la conférence des coordonnateurs d’ERAR (les 24 et 25 mai 2007) afin de déterminer si l’outil d’AQ comportait des limites et de s’assurer que l’on interprétait les résultats correctement. Les coordonnateurs d’ERAR ont également envisagé la mise en place d’un processus continu d’AQ pour l’ERAR et examiné les avantages éventuels, les difficultés potentielles et les options pour l’application de l’AQ.
Analyse des données
On a eu recours à des données complètes, y compris des données ventilées sur une base annuelle ou régionale, pour presque chaque indicateur de la matrice d’évaluation. Toutefois, ces données ne sont pas recueillies sur une base permanente, et la Direction générale des réfugiés a dû fournir des efforts importants pour rassembler l’information.
Données relatives au programme d’ERAR
Le Système national de gestion des cas (SNGC) a constitué la principale source de données sur les cas d’ERAR. Il s’agit d’un système Web de suivi électronique des dossiers, disponible sur l’intranet de CIC au moyen d’une base de données centralisée. Les employés de CIC et de l’ASFC dans les bureaux locaux et à l’AC l’utilisent. Il constitue pour le personnel chargé de l’exécution un outil essentiel de suivi des cas dans de nombreux domaines, notamment les renvois, le traitement des demandes d’asile, les détentions, les audiences et les crimes de guerre. Les agents d’ERAR de CIC saisissent dans le système les renseignements relatifs aux dossiers. Le SNGC comporte des modèles de rapport prédéfinis que l’on peut utiliser pour générer de l’information générale sur les cas d’ERAR, par exemple les volumes de demandes, le nombre de décisions et les proportions de demandes en attente. Afin d’obtenir des données plus précises concernant de nombreux indicateurs (p. ex. le pays d’origine, le volume de demandeurs d’asile par rapport aux demandeurs autres que réfugiés), il a fallu traiter de grandes quantités de données brutes. On a eu accès à ces données par l’entremise des Services de l’entrepôt de données de CIC.
Données juridiques
Le ministère de la Justice a fourni des renseignements sur les contestations judiciaires d’ERAR grâce à son système de suivi iCase. Ce système permet de suivre le nombre de contestations judiciaires auxquelles donnent lieu les décisions d’ERAR à la Cour fédérale, ainsi que leurs résultats.
Sources de données supplémentaires
Les bureaux d’ERAR ont fourni des renseignements sur les ressources propres à chaque région et des données statistiques sur les volumes de cas et les demandes en attente. La Direction générale des finances a quant à elle fourni des renseignements sur les ressources du programme réelles et prévues au budget.
Études de cas
Afin d’obtenir un portrait d’ensemble du programme d’ERAR dans chaque bureau, l’équipe d’évaluation a mis au point six études de cas, qui portent sur d’importantes statistiques, le processus d’ERAR, les leçons tirées et des questions clés à considérer. Chaque étude comprend une carte illustrant la méthode utilisée pour évaluer les dossiers. Les études de cas font l’objet d’une publication distincte (Évaluation formative du Programme d’examen des risques avant renvoi : Études de cas régionales).
Analyse globale
Pour effectuer l’analyse globale des résultats de l’évaluation, on a mis au point un ensemble de matrices de données. Les résultats pour chaque indicateur ont été intégrés dans une matrice en fonction de la source de données utilisée. Puis les matrices individuelles concernant chaque source de données ont été regroupées dans un résumé de tous les résultats, pour ensuite être recoupées avec les questions d’évaluation.
2.3 Limites de la méthode
La méthode comporte certaines limites, surtout en ce qui concerne l’exercice d’assurance de la qualité.
Exercice d’AQ
Pour des raisons pratiques, et après avoir consulté les coordonnateurs et les représentants du programme, il a été convenu que les coordonnateurs d’ERAR évalueraient les décisions à partir de leur propre bureau, plutôt que de transférer les cas entre les régions. Le fardeau administratif conjugué à la difficulté logistique de créer un échantillon en « double aveugle » en éliminant tous les identificateurs liés au cas et au bureau, et de faire circuler ces cas entre les différents bureaux, comportait trop de difficultés de gestion compte tenu de l’échéancier de l’étude. Le fait de limiter l’évaluation de l’AQ au sein de chaque région a eu, dans une certaine mesure, des conséquences sur le caractère aléatoire de l’exercice, mais on a adopté des mesures pour rendre l’échantillon aussi aléatoire que possible (voir le point ci-dessus pour connaître les détails).
Au total, on a mis au point 32 modèles d’AQ dans cinq bureaux d’ERAR[note 13]. Étant entendu que la taille de l’échantillon n’était pas représentative, les résultats ont plutôt constitué un indicateur parmi d’autres de la cohérence et de la qualité du processus décisionnel. Ils ont ainsi servi à corroborer d’autres données et à appuyer les résultats qualitatifs obtenus dans ce domaine.
______________
9. Le rapport Thompson constitue un examen condensé du Programme d’ERAR, achevé en 2003.
10. Y compris deux participants du bureau de CIC/Toronto-St. Clair.
11. Étant donné que la région ne compte qu’un seul agent d’ERAR, le guide prévu de discussion en groupe à servi dans le cadre d’une entrevue.
12. Fait à signaler, aucun des cas examinés ne provenait de la Région de l’Atlantique étant donné qu’elle ne compte aucun coordonnateur.
13. C.-B./Yn (10), P/T.N.-O. (5), Mississauga (6), Niagara Falls (5), Québec (6). Étant donné que le bureau de Halifax ne comptait pas de coordonnateur d’ERAR, l’agent d’ERAR a été exclu de l’exercice d’AQ, et le bureau de Vancouver a accepté d’évaluer cinq cas supplémentaires.
Détails de la page
- Date de modification :