STRATÉGIE D'ÉVALUATION DES
PROGRAMMES D'ÉTABLISSEMENT
Juin 2003
TABLE DES MATIÈRES
INTRODUCTION
IMPUTABILITÉ DU GOUVERNEMENT DU CANADA
CADRE D'IMPUTABILITÉ POUR LES PROGRAMMES DE CONTRIBUTIONS
(CIPC) DE CIC
Mesure du rendement
Évaluation
Processus lié aux ententes de contribution
Cadre de contrôle de gestion
Imputabilité provinciale-territoriale
ÉLABORER UNE STRATÉGIE D'ÉVALUATION
DU CIPC
HYPOTHÈSES, QUESTIONS ET FACTEURS CONNEXES
Plan de travail/Calendrier
Coûts
Rôles et responsabilités des intervenants
du programme
ANNEXES
Annexe
A
Annexe B
Annexe C
INTRODUCTION
La participation des nouveaux arrivants à la société
canadienne est dans l'intérêt social et économique
du Canada. Afin d'encourager cette participation, Citoyenneté et
Immigration Canada (CIC) verse des fonds à divers organismes offrant
des services d'établissement. Les services d'établissement
sont appuyés par trois programmes d'établissement de CIC
qui informent les immigrants et les réfugiés sur la vie
au Canada et qui les aident à se prévaloir des services
publics, à acquérir les compétences linguistiques
de base dans l'une des langues officielles et à devenir des membres
à part entière de la société :
- Cours de langue pour les immigrants au Canada (CLIC)
- Programme d'établissement et d'adaptation des immigrants (PEAI)
- Programme d'accueil
CIC appuie également le réétablissement par l'entremise
du Programme d'aide au réétablissement (PAR).
Les programmes d'établissement de CIC sont en place dans toutes
les provinces et territoires du Canada, à l'exception du Manitoba,
du Québec et de la Colombie-Britannique. Ces trois provinces reçoivent
des paiements de transfert de CIC pour être en mesure de gérer
et d'offrir des programmes d'établissement comparables. En 2001-2002,
le fédéral a dépensé environ 333 millions
de dollars pour les programmes d'établissement.
IMPUTABILITÉ DU GOUVERNEMENT DU CANADA
Résultats pour les Canadiens
Comme c'est le cas pour tous les programmes financés par les pouvoirs
publics, il existe une obligation de rendre compte de la manière
dont les fonds sont dépensés et des avantages retirés
des initiatives de programmes par les participants et la société
canadienne. Le 30 mars 2000, le Conseil du Trésor du Canada a publié
Des résultats pour les Canadiens et les Canadiennes ? Un cadre
de gestion pour le gouvernement du Canada. Ce document insiste sur l'importance
d'aller au-delà des activités pour se concentrer plutôt
sur les résultats et les avantages pour les Canadiens. On y mentionne
également que la mesure et l'évaluation des résultats
permettent aux organismes de récompenser le succès, de tirer
des leçons des expériences vécues et de bâtir
la confiance du public.
Politique sur les paiements de transfert du Conseil du Trésor
Tous les ministères qui gèrent des programmes de subventions
et de contributions doivent se conformer aux exigences de la Politique
sur les paiements de transfert du Conseil du Trésor (CT), entrée
en vigueur le 1er juin 2000. La politique du CT stipule que les ministères
qui mettent en œuvre des programmes de paiements de transfert doivent
obtenir l'approbation du CT avant le 31 mars 2005 pour remplacer ou renouveler
les modalités et les conditions relatives à ces programmes.
D'après la Politique, les ministères doivent mettre en place
un Cadre de gestion et de responsabilisation axé sur les résultats
(CGRR).
Le CGRR comprend ce qui suit :
- une description des rôles et responsabilités des principaux
partenaires qui participent à la mise en œuvre du programme;
- un modèle logique axé sur les résultats illustrant
les activités, les extrants et un enchaînement de résultats
à l'égard du programme;
- une stratégie de mesure du rendement démontrant comment
les progrès seront suivis et quels indicateurs seront utilisés
pour mesurer le progrès sur une base continue et pour apporter
des modifications et des améliorations;
- une description des activités d'évaluation prévues,
y compris ce qui sera évalué, comment, quand et, si possible,
quels en seront les coûts;
- la manière dont se feront les rapports, ce qu'ils comprendront,
qui les déposera et à qui ils s'adresseront.
CIC adoptera des pratiques de gestion axées sur les résultats
comme préalable pour que les évaluations de programmes soient
valables. CIC entreprendra donc un exercice pour définir les résultats
et les indicateurs de chaque étape du programme avant de procéder
à l'évaluation officielle de ses programmes d'établissement.
Rapport de la Vérificatrice générale du Canada
de 2001
Le Rapport de la Vérificatrice générale de 2001
sur les subventions et les contributions votées encourageait CIC
à poursuivre ses efforts visant à mesurer et à rendre
compte des résultats de ses programmes d'établissement.
CADRE D'IMPUTABILITÉ POUR LES PROGRAMMES
DE CONTRIBUTIONS DE CIC
En 1999, CIC a commencé à élaborer un cadre d'imputabilité
pour ses programmes de contributions d'établissement et de réétablissement.
Le Cadre d'imputabilité pour les programmes de contributions (CIPC)
de CIC vise à assurer l'imputabilité liée aux dépenses
ministérielles pour les programmes d'établissement et de
réétablissement, à contrôler la prestation
des services, et à évaluer l'efficacité de ces programmes
pour répondre aux besoins des nouveaux arrivants. L'information
recueillie sera aussi utilisée pour déterminer les modifications
à apporter aux programmes en vue d'améliorer la capacité
des nouveaux arrivants à s'intégrer à la société
canadienne.
Le CIPC comporte cinq composantes :
- Mesure du rendement
- Évaluation
- Processus lié aux ententes de contribution
- Cadre de contrôle de gestion
- Imputabilité provinciale-territoriale
Les priorités du dernier exercice (2002-2003) étaient axées
sur la mesure du rendement, le processus lié aux ententes de contribution,
l'imputabilité provinciale-territoriale et une meilleure communication
avec les intervenants.
Mesure du rendement
Le Immigration-Système de mesure pour la reddition de comptes
concernant les programmes de contributions (iSMRP), utilisé par
les fournisseurs de services pour rendre compte à CIC des services
fournis, est l'élément central de la composante «
Mesure du rendement ». Il a été mis en place pour
deux programmes (PAR, CLIC) et il est à l'étape de
projet pilote pour les deux autres programmes (PEAI, Programme d'accueil).
Sa mise en œuvre intégrale est prévue pour 2003-2004.
Les données recueillies à l'aide du iSMRP sont généralement
de nature quantitative.
Le Comité consultatif sur la mesure du rendement (CCMR), représentant
divers intérêts et groupes d'intervenants, a guidé
la mise en œuvre d'activités de mesure du rendement au cours
des deux dernières années.
CIC a également collaboré avec les intervenants pour régler
les questions de protection des renseignements personnels et de sécurité
relativement à la collecte des renseignements personnels des clients.
CIC a pris de nombreuses mesures pour faire en sorte que les renseignements
sur les clients contenus dans le iSMRP soient protégés et
utilisés conformément aux dispositions de la Loi sur la
protection des renseignements personnels et d'autres lois et politiques
fédérales. Plus précisément, CIC a appliqué
les recommandations formulées par le Commissaire à la protection
de la vie privée du Canada; nous avons retenu les services d'une
tierce partie indépendante pour effectuer une évaluation
des facteurs relatifs à la vie privée; et nous avons élaboré
des outils d'information et de formation, comme un dépliant et
une affiche informant les clients du but dans lequel est recueillie l'information
dans l'iSMRP, ainsi qu'un guide sur la protection des renseignements personnels
à l'intention des employés de CIC.
Afin d'étudier les questions de sécurité,
CIC a recruté des tierces parties indépendantes pour effectuer
deux évaluations des menaces et des risques du iSMRP. CIC a aussi
mis en place des exigences de sécurité pour les fournisseurs
de services et s'est assuré que nous utilisons des technologies
de pointe et sécuritaires.
Évaluation
Cette stratégie d'évaluation sera axée sur les dimensions
qualitatives de l'évaluation du programme et utilisera les
données quantitatives recueillies à l'aide du iSMRP.
Parmi les dimensions qualitatives, mentionnons la qualité des services
offerts, la satisfaction de la clientèle, la conception du programme
et les facteurs de gestion. Les cadres d'évaluation pour chaque
programme d'établissement ont été élaborés
en 2000 par la firme Goss Gilroy inc. Ils donnent des directives sur les
questions liées à l'évaluation, les indicateurs,
les méthodes et les sources de données. Les documents abordent
également les défis, les options et les coûts liés
à l'évaluation, ainsi que les rapports sur le rendement.
Processus lié aux ententes de contribution
Le but du processus lié aux ententes de contribution est d'élaborer
et d'instaurer des liens de contribution comparables et uniformes entre
CIC et les fournisseurs de services. Les agents d'établissement
de partout au pays utilisent présentement des modèles normalisés
pour leurs ententes avec les fournisseurs de services. Ces formulaires
seront mis à jour sur une base régulière.
Cadre de contrôle de gestion
Le Cadre de contrôle de gestion définira et appuiera de
bonnes pratiques administratives pour les bureaux de CIC touchés
par les programmes de contributions. Ces pratiques comprennent la formation,
la supervision et la vérification du personnel. CIC s'attaquera
à cette composante en 2004-2005.
Imputabilité provinciale-territoriale
Cette composante du Cadre est axée sur l'imputabilité des
provinces qui reçoivent des fonds du gouvernement fédéral,
mais qui gèrent leurs propres programmes d'établissement.
L'objectif est d'offrir des services raisonnablement comparables partout
au pays, et d'obtenir de l'information comparable qui contribuera à
l'analyse du programme national.
ÉLABORER UNE STRATÉGIE D'ÉVALUATION
DU CIPC
CIC est prêt à se concentrer sur la mise en œuvre de
la composante d'évaluation du CIPC. Une stratégie d'évaluation
des programmes d'établissement aidera l'équipe chargée
de l'imputabilité (ECI) à planifier les activités
d'évaluation pour les deux prochains exercices financiers.
CIC propose de suivre les étapes suivantes pour chaque programme
d'établissement, en commençant par les CLIC en 2003-2004,
puis le PEAI et le Programme d'accueil en 2004-2005 :
- Mener des consultations sur la stratégie d'évaluation
des programmes d'établissement;
- Élaborer une stratégie de communication pour l'évaluation
des programmes d'établissement;
- Recueillir de l'information sur les énoncés de résultats
et les indicateurs pour les programmes d'établissement;
- Rédiger des énoncés de résultats pour
les programmes d'établissement (résultats et indicateurs
pour chaque étape du programme);
- Examiner et valider les cadres d'évaluation des programmes
d'établissement;
- Embaucher un organisme externe pour effectuer les évaluations;
- Diffuser les résultats des évaluations des programmes
d'établissement et prendre les mesures qui s'imposent.
Vous trouverez, ci-dessous, plus de détails sur chaque étape,
ainsi qu'un calendrier d'exécution à l'annexe
A.
1. Mener des consultations sur la stratégie d'évaluation
des programmes d'établissement
De février à avril 2003, l'ECI a produit l'ébauche
d'une stratégie d'évaluation et l'a améliorée
grâce aux commentaires des collègues de CIC. L'ECI
et le Comité consultatif sur la mesure du rendement (CCMR) ont
examiné cette stratégie les 22 et 23 mai 2003. Le CCMR a
convenu d'élargir son mandat pour y inclure l'évaluation,
en raison des liens importants entre l'évaluation et la mesure
du rendement. Les membres du CCMR ont également fait des propositions
concernant la stratégie. Le présent document en tient compte.
Délai d'exécution : février 2003 – juin
2003
2. Élaborer une stratégie de communication pour l'évaluation
des programmes d'établissement
Des communications régulières avec les intervenants sont
nécessaires pour l'élaboration et la mise en œuvre
de la stratégie d'évaluation des programmes d'établissement.
La stratégie de communication qui sera élaborée fera
grand usage, entre autres, du bulletin d'information du CIPC, du
site Web du CIPC et du courrier électronique. Voir la Stratégie
de communication à l'annexe
B.
Délai d'exécution : mars – avril 2003
3. Recueillir de l'information sur les énoncés de résultats
et les indicateurs pour les programmes d'établissement
L'ECI a recueilli de l'information auprès des fournisseurs de
services, des partenaires provinciaux, d'autres intervenants et
de pays portant sur les résultats et les indicateurs pour les programmes
d'établissement. Ce sondage aidera l'ECI à élaborer
une série d'ébauches d'énoncés de résultats
et d'indicateurs à des fins de discussion générale.
Par exemple, nous sommes au courant que les gouvernements de l'Alberta
et de la Colombie-Britannique collaborent actuellement avec leurs partenaires
d'établissement provinciaux en vue d'élaborer
des énoncés de résultats pour leurs programmes. Nous
espérons pouvoir profiter des travaux en cours.
Voir, à l'annexe
C, une liste des organisations et documents consultés pour
préparer les énoncés de résultats et les indicateurs.
Si vous connaissez d'autres organismes qu'il conviendrait
de consulter, veuillez communiquer avec un membre de l'Équipe
chargée de l'imputabilité.
Délai d'exécution : mai – juin 2003
4. Rédiger des énoncés de résultats et des
indicateurs pour les programmes d'établissement
D'après le sondage sur les résultats et les indicateurs,
l'ECI produira une série d'ébauches pour les énoncés
de résultats et les indicateurs, et consultera les collègues
de CIC, le CCMR et une sélection d'intervenants relativement
à ces ébauches. Les clients qui ont reçu des services
d'établissement et qui acceptent d'être interrogés
seront également consultés. L'ECI demandera aux fournisseurs
de services de lui indiquer quels clients pourraient être approchés.
L'ECI embauchera un organisme externe ayant une expertise en gestion
axée sur les résultats (GR) pour organiser des ateliers
de GR dans chaque région avec les fournisseurs de services et d'autres
intervenants. L'objectif de ces ateliers sera d'obtenir de
la rétroaction concernant les ébauches des énoncés
de résultats et des indicateurs. L'ECI peut également
assister à des événements déjà planifiés,
comme la réunion du Conseil canadien pour les réfugiés,
la conférence TESL, etc., afin d'obtenir des commentaires
au sujet des énoncés. Cela dépendra du délai
prévu pour les consultations. Il est également possible
de recueillir des commentaires par sondages ou entrevues téléphoniques
ou au moyen de questionnaires écrits, s'il est impossible
d'organiser des ateliers de GR ou de rencontrer directement les
personnes.
Les commentaires des fournisseurs de services et des intervenants seront
utilisés par CIC pour achever les énoncés de résultats
et les indicateurs pour ses programmes d'établissement. Ces énoncés
et indicateurs seront communiqués à toutes les parties intéressées
et serviront de base pour l'évaluation officielle.
Délai d'exécution : juillet – octobre 2003
(CLIC seulement)
5. Examiner et valider les cadres d'évaluation des programmes
d'établissement (2000)
L'ECI examinera, mettra à jour et résumera les cadres d'évaluation
qu'a préparés Goss Gilroy inc. pour CIC en 2000. Ces
cadres contiennent de l'information précieuse, recueillie dans
le cadre de vastes consultations internes et externes. Cette information
devra être mise à jour afin de refléter les changements
dans les politiques, les processus et les leçons apprises. Des
changements seront peut-être aussi requis à la lumière
des énoncés de résultats qui se dégageront
du processus de collaboration avec les intervenants.
CIC présentera les cadres mis à jour au CCMR et sollicitera
ses commentaires sur des questions précises, comme les méthodes
et les outils de collecte des données, les questions d'évaluation,
la portée, etc. Vous trouverez des copies des cadres d'évaluation
originaux sur le site Web du CIPC : http://integration-net.ca/francais/ini/caf-cipc/index.htm.
Nous recommandons que les cadres des programmes d'établissement
élaborés par Goss Gilroy pour chaque programme soient réunis
en un seul cadre d'évaluation avec, au besoin, des outils précis
pour chaque programme d'établissement en annexe. Cette méthode
permettra d'adopter une approche commune pour tous les programmes,
et fera en sorte que ces derniers participent à l'atteinte
des objectifs généraux de CIC et des résultats attendus,
tout en respectant les différences qu'il y a entre les trois
programmes.
Délai d'exécution : septembre – novembre 2003
(CLIC seulement)
6. Embaucher un organisme externe pour effectuer les évaluations
des programmes d'établissement
Le cadre d'évaluation qui comprend les rôles des intervenants,
les outils d'évaluation et le plan d'évaluation sera complété
et adopté. Un cadre de référence sera élaboré
et une organisation sera recrutée, par voie de concours, afin de
procéder aux évaluations. À l'heure actuelle,
le Ministère évalue le PAR. Des trois programmes d'établissement,
celui du CLIC sera évalué en premier.
Délai d'exécution : octobre 2003 – mars 2004
(CLIC seulement)
7. Diffuser les résultats des évaluations des programmes
d'établissement et prendre les mesures qui s'imposent
Une fois les évaluations terminées, CIC diffusera les résultats
aux intervenants et aux fournisseurs de services. CIC prendra ensuite
les mesures qui s'imposent, selon les résultats obtenus.
Les renseignements recueillis grâce aux évaluations des programmes
d'établissement formeront une base solide qui s'avérera
utile pour les évaluations à venir.
Délai d'exécution : mars – mai 2004 (CLIC seulement)
HYPOTHÈSES, QUESTIONS ET FACTEURS
CONNEXES
Un certain nombre d'hypothèses et d'autres facteurs doivent être
pris en considération pour compléter la stratégie
d'évaluation, dont :
Plan de travail/calendrier
Toutes les évaluations des programmes d'établissement devraient
être terminées d'ici 2005. Les évaluations des CLIC
auront lieu en 2003-2004, alors que celles du PEAI et du Programme d'accueil
auront lieu en 2004-2005.
Coûts
Les fonds pour la mise en œuvre du CIPC sont limités. Il
s'agit d'un facteur particulièrement important si l'on
considère a) l'étendue des consultations sur les énoncés
de résultats et les indicateurs, et b) la portée des évaluations.
Rôles et responsabilités des
intervenants des programmes
L'efficacité de l'évaluation des programmes repose
sur une approche de collaboration et des rôles bien définis
parmi les intervenants des programmes d'établissement. Il sera
important de clarifier les rôles que joueront les différents
intervenants dans l'évaluation et de déterminer le temps
que chaque intervenant pourra consacrer au processus.
Actuellement, tous les intervenants clés sont représentés
au sein du CCMR. Tel qu'il a été proposé plus
tôt, le mandat du CCMR devrait être élargi pour inclure
l'évaluation ainsi que la mesure du rendement. Les observations
au sujet des activités d'évaluation devraient être
sollicitées principalement par l'intermédiaire du
CCMR.
Les rôles actuels de divers intervenants du programme sont décrits
ci-dessous et accompagnés de suggestions pour les responsabilités
modifiées :
- L'équipe chargée de l'imputabilité (ECI) de CIC
gère l'élaboration et la mise en œuvre du CIPC
et est composée de représentants de l'administration centrale
(AC) et des régions. Ce groupe élaborera la stratégie
d'évaluation des programmes d'établissement, proposera
des résultats en vue d'une discussion avec les intervenants,
et dirigera l'examen et l'approbation des cadres d'évaluation
des programmes d'établissement.
- Les gestionnaires de programmes de l'AC de CIC fournissent des directives
sur la gestion des programmes d'établissement afin d'assurer
l'uniformité et la mise en place de normes partout au pays. Ce
groupe formulera des observations sur la stratégie d'évaluation
et sa mise en oeuvre.
- Le personnel régional/local de CIC participe à la gestion
et à la mise en œuvre des programmes d'établissement
à différents niveaux. Il gère les ententes de contribution
avec les fournisseurs de services. Toutes les régions sont représentées
au sein du CCMR par des représentants de CIC.
- Priorités, planification et recherche de CIC ? Planification
stratégique (PPR) gère l'élaboration du cadre
de référence pour procéder aux évaluations,
ainsi que le processus d'évaluation officiel. PPR est également
chargée de la liaison avec le Secrétariat du Conseil du
Trésor, et fera appel à l'analyste CIC du Conseil du Trésor,
au besoin.
- Les fournisseurs de services (FS) agissent à titre de collaborateurs
pour les activités d'évaluation en fournissant de l'information,
des données et leur perspective en se basant sur leur expérience
des programmes. Ils devraient fournir des observations concernant l'élaboration
des résultats. Les FS sont représentés au sein
du CCMR.
- D'autres intervenants, comme des organismes cadres, des partenaires
provinciaux et des groupes de revendication, agissent à titre
de collaborateurs pour l'évaluation, et offrent leurs points
de vue sur le programme selon leur expérience. Ils devraient
donner leurs observations concernant l'élaboration des résultats.
Les divers intervenants sont représentés au sein du CCMR.
- Les participants/clients du programme sont les bénéficiaires
des programmes et des services et, par conséquent, ils ont un
point de vue valable pour les activités d'évaluation.
- Les évaluateurs sont les professionnels indépendants
sélectionnés par voie de concours pour procéder
aux évaluations.
Annexe
A
Annexe B
Annexe C
Guide de ressources
| 
Centre multimédia