2. Méthodologie

2.1. Enjeux et questions de l’évaluation

L’évaluation s’est déroulée conformément aux exigences de la Directive sur la fonction d’évaluation (Secrétariat du Conseil du Trésor, 2009) et a porté sur la pertinence et le rendement. Les questions de l’évaluation, organisées par enjeu essentiel, sont présentées au tableau 2.1 (voir à l’annexe A l’ensemble complet des questions de l’évaluation, des indicateurs et des méthodologies). Le modèle logique de la réglementation des consultants en immigration se trouve à l’annexe B.

Tableau 2.1 : Questions de l’évaluation : Réglementation des consultants en immigration

2.2. Portée de l’évaluation

La démarche et la méthode d’évaluation ont été fixées dans un plan d’évaluation élaboré avant le début de l’évaluation. La phase de planification s’est déroulée entre octobre 2012 et janvier 2013 avec le concours de toutes les directions générales de CIC qui s’occupent de la réglementation des consultants en immigration, de même qu’avec le CRCIC. L’évaluation est alignée sur le Plan d’évaluation du ministère axé sur les risques, conçu partiellement sur la base d’une évaluation qui fournit à la haute direction des renseignements sur les façons dont le ministère assure la surveillance judicieuse des programmes, en fonction du niveau de risque. Le niveau d’effort exigé par l’évaluation a été étalonné pour s’assurer que le ministère respecte bien ses modalités de couverture. ^{Note de bas de page 11}

Compte tenu du fait que le CRCIC est de création récente, l’évaluation a été conçue comme évaluation de mise en œuvre et elle a déterminé dans quelle mesure le CRCIC a réussi à atteindre ce qui était énoncé dans l’accord de contribution dans les domaines du renforcement des capacités, des communications, des compétences et de la conformité. Compte tenu de la chronologie de l’évaluation, seuls les résultats immédiats attendus ont été analysés :

• le CRCIC est un organisme viable, transparent, responsable et bien administré;
• les groupes d’intervenants possèdent des renseignements sur le secteur des consultants en immigration, notamment sur l’accréditation, les risques de fraude et les mécanismes de recours;
• les membres bénéficient de l’accréditation et de possibilités de perfectionnement professionnel pour constamment enrichir leurs compétences et leurs qualifications;
• des procédures disciplinaires et de règlement des plaintes justes, transparentes et accessibles sont établies.

L’évaluation a porté sur les activités du CRCIC depuis sa création à titre d’organisme officiel de réglementation de la profession de consultant en immigration entre juin 2011 et décembre 2012. Néanmoins, étant donné que l’accord de contribution a été signé avant que le CRCIC n’entre en service (en mars 2011), l’évaluation a également porté sur les activités qui se sont déroulées entre le moment où l’accord a été signé et le mois de juin 2011. Les activités de l’organisme de réglementation préalable, la SCCI, étaient hors de la portée de cette évaluation. En outre, étant donné que l’évaluation s’est concentrée sur les activités du CRCIC, elle n’a pas analysé en profondeur la question des représentants non autorisés. ^{Note de bas de page 12}

2.3. Méthodes de collecte de données

L’évaluation s’appuie sur plusieurs sources de renseignements et méthodes de recherche complémentaires pour garantir la fiabilité des informations et des données recueillies. La collecte des données pour cette évaluation a été effectuée entre janvier et avril 2013, avec une mise à jour de l’évaluation des données financières complétée en février 2014. Chacune des sources de renseignement auxquelles l’évaluation a fait appel est décrite plus en détail ci-après.

2.3.1. Examen des documents

Un examen ded documents pertinents sur le programme a été réalisé afin de le mettre en contexte, ce qui a contribué à l’évaluation de l’utilité et du rendement du CRCIC. Certains documents officiels du gouvernement, comme les discours du Trône, les discours du budget et les documents politiques et stratégiques ont été examinés pour y trouver des renseignements généraux contextuels et des renseignements sur les priorités de CIC et du gouvernement du Canada. Les rapports gouvernementaux préalables sur la profession de consultant en immigration ont été examinés pour recueillir des renseignements sur le secteur et la nécessité de le réglementer. Certains documents de référence du Ministère, notamment les documents sur les accords de contribution et les guides de traitement ont été utilisés pour répondre à certaines questions d’évaluation. Voir les annexes techniques pour une liste des documents examinés.

2.3.2. Analyse des données administratives

Les données administratives du CRCIC ont servi à brosser un profil des membres du CRCIC et également à évaluer les progrès réalisés par le CRCIC dans le cadre des activités et des extrants mentionnés dans l’accord de contribution. La Division de la gestion financière des subventions et contributions (GFSC) de la Direction générale de la gestion financière de CIC a également procédé à une analyse de la situation financière du CRCIC, qui a éclairé l’évaluation quant à la viabilité financière de l’organisme, de son utilisation des ressources et de la capacité globale, selon les renseignements présentés à l’époque, du CRCIC à respecter le calendrier de remboursement négocié.

Les données administratives de CIC extraites du Système mondial de gestion des cas (SMGC) ont servi à déterminer dans quelle mesure les immigrants au Canada se prévalent des services de consultants en immigration. D’autres données administratives de CIC provenant de la DGGOC ont permis de connaître le nombre et le type de plaintes reçues par le Ministère au sujet de consultants en immigration. Les données administratives de l’ASFC ont également été analysées pour examiner le volume de cas qui lui ont été adressés par le CRCIC ou par CIC, de même que les résultats de ces renvois.

2.3.3. Entrevues

Au total, 38 entrevues ont été réalisées pour les besoins de l’évaluation (tableau 2.2). Les entrevues ont eu lieu avec quatre grands groupes d’intervenants (voir les annexes techniques pour les guides d’entrevue). Parmi ces groupes, il faut mentionner la haute direction de CIC et les agents de programme qui collaborent avec le CRCIC; les représentants du CRCIC (y compris les présidents-directeurs généraux préalable et actuel, le personnel du CRCIC et les membres du conseil d’administration); les représentants d’autres ministères gouvernementaux (AMG) impliqués dans la réglementation de la profession de consultant en immigration (c.-à-d., l’Agence des services frontaliers du Canada, Emploi et Développement social Canada et la Commission de l’immigration et du statut de réfugié); et d’autres intervenants du secteur des représentants en immigration (les groupes de pression en immigration).

Tableau 2.2 : Tableau récapitulatif des entrevues réalisées

Les entrevues se sont déroulées en personne et au téléphone. Lorsque des données qualitatives sont présentées dans ce rapport, l’échelle illustrée au tableau 2.3 a été utilisée. ^{Note de bas de page 13}

Tableau 2.3 : Échelle d’analyse des données d’entrevue

Une visite sur place a eu lieu en mars 2013 au siège social du CRCIC à Burlington (Ontario). Cette visite a permis aux membres de l’équipe d’évaluation d’interroger des membres du personnel du CRCIC en personne, d’observer les installations que le CRCIC s’est procurées par le biais de l’accord de contribution, et de mieux comprendre l’environnement opérationnel du CRCIC.

Outre les 15 entrevues qui ont été menées avec des représentants de CIC, l’équipe d’évaluation a également posé des questions sur la validation des représentants autorisés et sur les mécanismes de dépôt de plaintes dans cinq bureaux de CIC à l’étranger. Ces questions ont été posées à des agents de CIC à Delhi, Beijing, Hong Kong, Londres et Paris à l’occasion de visites sur place organisées à l’appui d’autres études d’évaluation. Ces données ne représentent pas une source de données distincte, mais elles ont permis de mieux mettre en contexte les résultats de l’évaluation.

2.3.4. Sondage auprès des membres du CRCIC

Pour connaître les points de vue des membres du CRCIC, CIC a conçu un sondage en ligne (de concert avec le CRCIC). Ce sondage comportait des questions sur l’expérience vécue par les membres lorsqu’ils sont devenus membres du CRCIC, sur la qualité des renseignements reçus de la part du CRCIC et sur la procédure en matière de plaintes et de discipline du CRCIC, ainsi que sur leurs points de vue sur la réglementation de la profession de consultant en immigration, sans oublier des questions sur les caractéristiques démographiques (voir l’instrument de sondage dans les annexes techniques).

Des invitations à répondre à ce sondage ont été transmises aux membres par l’entremise de la liste des membres du CRCIC et le sondage a fait l’objet d’un test prélable avant d’être administré à la totalité des membres. Au total, 2 436 membres ^{Note de bas de page 14} ont été invités à répondre au sondage, et 1 263 membres ont rempli le sondage entre mars et avril 2013 (tableau 2.4).

Tableau 2.4 : Taux de réponse au sondage auprès des membres du CRCIC

Le sondage a atteint une marge d’erreur de ±1,91 % en utilisant un intervalle de confiance de 95 %. ^{Note de bas de page 15}

2.4. Limites et considérations

L’évaluation comporte un ensemble équilibré de sources de données quantitatives et qualitatives qui permettent de faire la triangulation des résultats. Même si elles sont atténuées par l’utilisation de sources de données multiples, il convient de signaler certaines limites dans les méthodes d’évaluation :

• Les données administratives disponibles étaient limitées pour analyser et dégager les tendances relatives au recours à des consultants en immigration. Avant l’entrée en service du SMGC, les systèmes de CIC ne permettaient pas de colliger de l’information à propos de l’organisme de réglementation dont le représentant faisait partie. La première année complète pour laquelle ces données sont disponibles est 2012.
• Étant donné que le CRCIC a été créé comme organisme indépendant, les personnes interrogées en dehors de l’organisme avaient des connaissances limitées de son fonctionnement. L’absence de points de vue extérieurs tirés des entrevues a été atténuée par l’utilisation de renseignements provenant de l’examen des données administratives, ainsi que du sondage auprès des membres du CRCIC.
• Les entrevues avec les membres de CIC travaillant dans des missions à l’étranger n’ont pas été intégrées dans l’évaluation comme source de données distincte. Toutefois, il a été déterminé par la suite qu’il était possible de mieux comprendre les processus en place pour valider le recours à des représentants et pour porter plainte en recueillant des renseignements auprès de certaines missions dans le cadre d’études de cas menées pour d’autres évaluations. Afin de renforcer les résultats relatifs à ces processus, des représentants de la Région du traitement centralisé (RTC) de CIC ont également été interrogés.
• Il y a certaines différences entre les répondants au sondage et la population générale des membres du CRCIC, notamment une légère sous-représentation des membres du CRCIC qui étaient au préalable membres de la SCCI et une légère surreprésentation des membres qui possèdent une moindre expérience de la profession de consultant en immigration. Les différences dans les résultats du sondage entre les deux groupes étaient cependant minimes, d’où le niveau élevé de confiance dans les résultats obtenus.

• Précédent
• 1
• 2
• 3
• 4
• 5
• 6 (présent)
• 7
• 8
• 9
• 10
• Suivant