2. Méthode

NOTE : Le nom du Ministère de l’Immigration et des Communautés culturelles (MICC) a été changé pour le Ministère de l’Immigration, de la Diversité et de l’Inclusion (MIDI).

2.1. Approche, conception et méthodes

Le mandat de cette évaluation, y compris la méthodologie et la matrice d’évaluation, ont été approuvées par le Comité d’évaluation ministériel de CIC avant le début de cette évaluation.

Le niveau d’effort et les sources de données dont il est fait état dans cette évaluation ont été pondérés pour tenir compte du fait que l’élément évalué est une subvention. Une subvention est un « paiement de transfert effectué en fonction de critères préétablis d’éligibilité et d’admissibilité » et « n’est [pas] assujettie à une reddition des comptes par le bénéficiaire. […] Il se peut que le bénéficiaire doive fournir des rapports sur les résultats obtenus. »Note de bas de page 7 Dans  le présent cas, le bénéficiaire, le gouvernement du Québec, n’est pas tenu de faire rapport au sujet des résultats obtenus. Par conséquent, la quantité de renseignements disponibles pour cette évaluation était limitée et l’évaluation a été adaptée en conséquence.

Cette évaluation repose sur une approche fondée sur les objectifs. Cette approche permet d’établir la pertinence et le rendement de la subvention par rapport à son but/objectif clé, qui consistait à fournir une juste compensation à la province à la suite du retrait du gouvernement fédéral, pourvu que les services, considérés dans leur ensemble, correspondraient aux services offerts par le Canada dans le reste du pays, et que les services fournis par le Québec seraient offerts sans discrimination à tout résident permanent du Québec.

Pour la majeure partie de l’évaluation, une conception non expérimentale, s’appuyant fortement sur un examen des documents entourant le programme et sur des entrevues, a été utilisée pour répondre aux questions d’évaluation. Cela dit, un modèle quasi expérimental sous-tend l’analyse de données longitudinales employées pour établir le profil économique des immigrants au Québec.

La collecte des données et des informations a été effectuée au moyen de cinq grandes sources : un examen des documents, des entrevues avec des informateurs clés, une analyse des données administratives, une analyse des données longitudinales, ainsi qu’une évaluation de l’information financière. Les méthodes utilisées et la quantité de renseignements recueillis ont fait l’objet de certaines restrictions, qui sont décrites plus loin dans la présente section.

La collecte des données pour cette évaluation a été réalisée entre juin et décembre 2011.

2.1.1. Examen des documents

L’examen des documents a constitué la principale source de données pour cette évaluation. L’examen des documents internes a fourni des renseignements sur les origines et les objectifs de la subvention. Les documents concernant les services d’établissement et d’intégration offerts au Québec ont été trouvés principalement grâce à une recherche sur le Web. Cette recherche a également permis de relever des rapports et des articles de recherche liés aux relations fédérales-provinciales et à l’offre de services d’établissement. L’annexe II présente la liste des principaux documents examinés.

2.1.2. Entrevues

Des entrevues ont été réalisées pour obtenir de l’information sur la pertinence de la subvention, en particulier en ce qui concerne le contexte dans lequel la subvention a été créée et sa correspondance actuelle avec les priorités de CIC, les mécanismes en place pour surveiller la subvention, ainsi que la formule de financement utilisée pour calculer le montant de la subvention.

Des consultations auprès des directions générales des relations internationales et intergouvernementales et de l’intégration de CIC ont permis d’identifier des informateurs clés, qui ont été sélectionnés en fonction de leur connaissance de la subvention et de leur participation à sa gestion. La Division de l’évaluation a élaboré une série de questions pour guider les entrevues, en se basant sur la matrice d’évaluation. La liste des personnes interrogées et la liste de questions se trouvent à l’Annexe III.

En tout, treize personnes ont été interrogées par téléphone ou en personne (voir le Tableau 2.1). La plupart des entrevues ont été réalisées auprès de membres actuels du personnel de CIC dans les directions générales des relations internationales et intergouvernementales et de l’intégration à l’administration centrale (AC) ou dans la Région du Québec. Une entrevue a également été menée auprès d’un représentant de la communauté des fournisseurs de services au Québec. Aucune entrevue n’a été réalisée auprès de représentants provinciaux ou d’autres intervenants au Québec, pour les motifs exposés dans la section portant sur les limites du présent rapport. Les entrevues ont duré entre 20 minutes et 90 minutes.

Tableau 2.1 : Sommaire des personnes interrogées
Groupe de personnes interrogées Nombre de personnes interrogées
AC de CIC 10
CIC – Région du Québec 2
Intervenant externe 1

2.1.3. Analyse de données administratives

Des données du Système de soutien des opérations des bureaux locaux (SSOBL) de CIC ont été utilisées pour établir un profil des résidents permanents du Québec. Étant donné que la subvention accordée au Québec a été mise en place en 1991, ce profil porte sur les vingt dernières années. Aux fins d’établissement de ce profil, tous les résidents permanents qui ont déclaré le Québec comme destination prévue, peu importe qu’ils aient été sélectionnés par la provinceNote de bas de page 8, ont été inclus dans le profil, étant donné que l’offre de services d’établissement ne se limite pas aux immigrants sélectionnés par le Québec, mais qu’elle s’adresse à tous les immigrants qui résident au Québec. Aux fins de comparaison, l’analyse fournit également des renseignements sur les résidents permanents qui arrivent dans le reste du Canada.

2.1.4. Analyse de données longitudinales

La Banque de données longitudinales sur les immigrants (BDIM) a servi de source d’information pour l’analyse de données longitudinales. La BDIM est une base de données gérée par Statistique Canada au nom d’un consortium fédéral-provincial dirigé par CIC. Elle relie les dossiers du SSOBL de CIC aux dossiers fiscaux de l’Agence du revenu du Canada (principalement les données que l’on trouve sur la Déclaration T1 générale). Il s’agit d’une base de données des déclarants qui renferme de l’information sur tous les immigrants arrivés au Canada depuis 1980 qui ont produit au moins une déclaration de revenus. Au moment de l’évaluation, la BDIM contenait des renseignements jusqu’à l’année d’imposition 2008 inclusivement.

Aux fins de la présente évaluation, un sous-ensemble précis de la population incluse dans la BDIM a été analysé, à savoir les immigrants à destination du QuébecNote de bas de page 9, pour dégager un profil économique des résidents permanents au Québec.

2.1.5. Évaluation des informations financières

Deux types de données financières ont été recueillies : des données sur le montant de la subvention versée chaque année depuis 1991 (première année de l’Accord) et des données sur les coûts administratifs encourus par CIC pour la gestion de la subvention. Aux fins de comparaison, de l’information sur le financement des services d’établissement et d’intégration dans d’autres provinces et sur les coûts administratifs que cela représentait pour CIC a également été recueillie.

2.2. Limites

Avant de commencer cette évaluation, une lettre a été envoyée aux représentants provinciaux pour les informer de la tenue de l’évaluation et pour leur demander s’ils étaient prêts à partager des documents pertinents et à collaborer avec CIC. La province a décliné l’invitation à participer.

En vertu de l’Accord, la province de Québec a le pouvoir exclusif de l’administration et de la prestation des services d’établissement, de réétablissement et d’intégration pour les clients dans cette province. Le Québec n’a pas l’obligation de faire rapport au gouvernement fédéral au sujet de l’utilisation des fonds. En outre, comme le gouvernement fédéral s’est retiré de la prestation de services qui doivent être fournis par le Québec, CIC n’a que des interactions limitées avec les organismes fournisseurs de services dans la province.

Par conséquent, seuls les documents accessibles au public ont été utilisés pour informer cette évaluation et aucune entrevue n’a été réalisée auprès d’un quelconque représentant du gouvernement provincial. Pour pallier l’absence d’accès direct à des groupes d’intervenants ou à des nouveaux arrivants, une entrevue a été réalisée avec un représentant d’un organisme qui représente plus de cent fournisseurs de services dans la province de Québec.

De plus, le ministère de l’Immigration et des Communautés culturelles (MICC) du Québec publie bien un rapport annuel qu’il soumet à l’Assemblée nationale, mais ce rapport ne présente pas de ventilation de la façon dont l’argent de la subvention est utilisé au sein du Ministère ou par d’autres ministères du gouvernement provincial. Par conséquent, il n’est pas possible de lier les fonds à des programmes précis offerts aux immigrants dans la province.

Enfin, bien que la BDIM ait permis de procéder à une analyse des résultats économiques des immigrants à destination du Québec, il demeure difficile de déterminer dans quelle mesure ces résultats sont attribuables aux services d’établissement financés par la province grâce à la subvention accordée au Québec. Comme il a été impossible de distinguer les personnes qui ont bénéficié de services d’établissement de celles qui n’en ont pas reçu, parmi les personnes relevées dans la BDIM, il n’est pas possible de les relier aux différents programmes offerts aux immigrants.

Date de modification :