Guide sur la sélection d'un programme efficace de prévention du crime

Guide sur la sélection d'un programme efficace de prévention du crime Version PDF (498 Ko)

© Sa Majesté la Reine du chef du Canada, 2015

No PS114-15/2015F-PDF au catalogue.

ISBN 978-0-660-23204-1

Sommaire

Depuis plusieurs années, l'approche fondée sur des données probantes (evidence-based approach) a été utilisée dans le domaine de la prévention du crime afin de soutenir les programmes ayant démontré leur efficacité pour ce qui est de réduire la criminalité et de renforcer la sécurité des collectivités. L'approche fondée sur des données probantes, laquelle fait référence à l'efficacité des programmes, s'appuie sur les résultats des évaluations rigoureuses menées à partir de standards scientifiques stricts sur l'efficacité des programmes. Ajoutons à cela que les répertoires et les bases de données accessibles au public permettent une large diffusion des programmes fondés sur des données probantes. La notion de « donnée probante » (evidence) est opérationnalisée (c'est-à-dire se matérialise, concrétise) à travers ce qu'on appelle un continuum de l'efficacité des programmes qui va des « programmes modèles » aux « programmes prometteurs » et, finalement, aux « programmes inefficaces ». Il est donc important que les autorités locales comprennent bien l'approche fondée sur des données probantes et l'appliquent correctement dans le cadre des pratiques et des programmes mis en œuvre dans les collectivités locales.

De cette conceptualisation, plusieurs questions émergent dont certaines demeurent en suspens. Par exemple, parmi l'ensemble des programmes en prévention du crime fondés sur des données probantes, comment choisir le programme le plus approprié en fonction des demandes des bailleurs de fonds, des besoins de la population et des capacités de l'organisation responsable? Où trouver de l'information sur les programmes et les pratiques fondés sur des données probantes? Comment s'assurer que les stratégies efficaces et les défis potentiels seront pris en compte?

Le présent rapport a été élaboré pour apporter des réponses à ces questions sur l'utilisation des programmes fondés sur des données probantes par les praticiens et les décideurs politiques. Les programmes de prévention du crime fondés sur des données probantes peuvent certes donner de meilleurs résultats que les programmes traditionnels, mais pour ce faire, il est nécessaire de sélectionner un programme indiqué pour la clientèle et de le mettre en œuvre au moyen de stratégies efficaces. Sans prétendre à l'exhaustivité, le présent rapport fournit des conseils pratiques pour aider les gens à mieux comprendre l'approche fondée sur des données probantes en matière de prévention du crime; propose un cadre par étapes pour les guider dans le choix et la mise en œuvre d'un programme; et suggère des éléments clés afin de pérenniser les programmes. Le présent guide est une version actualisée et enrichie d'un document antérieur publié sur le site web de Sécurité publique Canada (Guide de sélection des programmes prometteurs et modèles pour prévenir la criminalité;2012).

Note des auteures

Les opinions exprimées dans le présent document sont celles des auteures et ne traduisent pas nécessairement celles de Sécurité publique Canada. Prière d'acheminer toute correspondance à propos du présent rapport à l'adresse suivante :

Introduction

Dans son acception la plus large, la prévention du crime est définie comme l'ensemble des stratégies et des mesures proactives qui visent à intervenir et à modifier les facteurs de risque que présentent des individus, des familles ou un environnement, afin de réduire la propension à commettre une infraction ou à récidiver, ou la probabilité que des actes criminels soient commisNote 1. Peu importe que l'objectif consiste à prévenir la violence chez les jeunes, l'adhésion à des gangs ou la récidive, il est important de sélectionner le(s) programme(s) et la/les pratique(s) Note 2 de prévention du crime les plus appropriés, et cette sélection doit reposer sur certains facteurs clés. Étant donné le grand nombre d'options sur les interventions et programmes offerts en matière de prévention du crime, il s'avère parfois ardu de faire le bon choix. Étant donné qu'il y a littéralement des centaines de programmes en prévention du crime (en nombre et en genre) qui sont disponbiles, il est important de faire le point et d'identifier les principaux facteurs et éléments clés à considérer pour aider à sélectionner le programme le plus approprié.

Le processus décisionnel de sélection du bon programme à mettre en œuvre est complexe, exige beaucoup de temps et d'engagement et repose sur divers facteurs, notamment : le contexte de la criminalité et les enjeux de sécurité à l'échelle locale; les ressources et les capacités de l'organisation responsable; et l'adéquation et la concordance du programme (avec, par exemple, la clientèle cible, les facteurs de risque identifiés et les capacités de l'organisation). Par exemple, afin d'identifier les problèmes de sécurité locaux, les communautés devront classer l'ensemble des approches et des stratégies qui sont possibles de mettre en œuvre mais puisque tout ne peut pas être fait, un nombre restreint de programme(s)/intervention(s)/initiative(s) spécifique sera mis de l'avant afin de faire progresser l'agenda en matière de prévention de la criminalité. Mais quel(s) programme(s) doit être choisi(s) et selon quels critères? De plus, la question de la continuité du programme après le financement initiale (ou dit autrement, la pérennisation du programme) doit être adressée dès les premières étapes et doit être considérée comme un autre facteur important dans le processus de prise de décision du programme à sélectioner. Dit autrement, les programmes potientiels à mettre en œuvre doivent être comparés entre eux afin d'identifier ceux dont les probabilités de continuation sont les plus élevées. En effet, il semble logique de choisir un programme dont la continuité pourra être plus facilement assurée. 

S'il est de plus en plus admis que les projets qui s'appuient sur des données probantes rigoureusesNote 3 obtiennent de meilleurs résultats, il y a eu relativement peu de recherches sur le contexte local dans lequel se produit le processus de sélection d'un programme et/ou sur les critères qui devraient influencer ou orienter cette décision. Jusqu'à présent, et surtout au Canada, aucune «feuille de route détaillée" a fourni des directives claires sur l'utilisation de l'approche fondée sur des données probantes à la fois par les décideurs politiques et par les communautés locales. Les recherches et les études d'évaluation ont porté principalement sur la présentation des résultats et des impacts des programmes (sur le plan de la réduction de la criminalité); seul un petit nombre de travaux se sont penchés sur le processus de sélection d'un programme et sur les motifs/explications de la sélection.

Ce présent rapport a donc été rédigé dans le but de combler ces lacunes et mieux comprendre le processus décisionnel. Sans prétendre à l'exhaustivité, il présente une démarche par étapes, ainsi que des considérations et des questions clés destinées à aider les intervenants et les collectivités à prendre les décisions les plus éclairées possibles au moment de sélectionner un programme à mettre en œuvre dans leur collectivité.

À qui s'adresse le présent document?

En tant qu'outil pour aider les futurs responsables de programmes locaux à choisir le ou les programmes les plus appropriés, ce document est destiné à toute personne intéressée par le processus de sélection d'un programme basé sur des données probantes dans le domaine de la prévention du crime, ou dans un domaine connexe, et en apprendre davantage sur les meilleures pratiques et stratégies pour la réussite lors de la sélection du programme, la mise en œuvre et la pérennisation.

Le présent guide saura être utile aux membres des organisations qui travaillent en collaboration dans le but d'examiner les possibilités puis de sélectionner et de mettre en œuvre un programme répondant aux besoins de leur population locale, ainsi que des bailleurs de fonds et de la collectivité.

Comment utiliser le présent document

Le présent document, qui suit une démarche par étapes, a pour principal objectif de faciliter et d'orienter la sélection du programme fondé sur des données probantes qui cadre le mieux avec les besoins des collectivités locales et de fournir des conseils sur la mise en œuvre et la pérennisation des programmes. Comme son titre le suggère, ce document doit être utilisé comme un guide et document de référence dès les premières étapes dans le processus décisionnel. 

L'approche fondée sur des données probantes en prévention du crime

L'approche fondée sur des données probantes fait référence aux programmes et aux pratiques dont l'efficacité a été prouvée grâce à une méthodologie de recherche et d'évaluation rigoureuse, et dont les résultats ont connu une tendance positive constanteNote 4. Identifier les pratiques efficaces qui fonctionnent (le what works) et appliquer les connaissances relatives à l'approche fondée sur des données probantes dans le développement des programmes est essentiel afin d'assurer l'utilisation des meilleures pratiques dans plusieurs domaines: la prévention du crime et les affaires correctionnelles, les services de santé physique et mentale, et l'éducation.

Il est largement reconnu et établi que plus le devis d'évaluation est rigoureux (par exemple, essais cliniques randomisés et devis quasi-expérimentaux), plus les données de recherche sont évocatrices. Au cours des dernières années, la promotion de l'approche fondée sur des données probantes a été facilitée par des développements méthodologiques (par exemple, les examens systématiques et méta-analyses), et par des avancés technologiques via des répertoires et des bases de données publics sur les programmes fondés sur des données probantes tels que Blueprints for Healthy Youth Development et Crime Solutions. L'annexe 1 présente des exemples de ces répertoires ainsi que les définitions utilisées pour décrire les différents types de programmes (par ex. les programmes modèles, prometteurs, inefficaces)Note 5.

L'adoption d'une approche fondée sur des données probantes nécessite également l'application de principes éprouvés. Par exemple, lorsqu'il s'agit des interventions auprès des délinquants et des jeunes à risque de violence et de délinquance, les principes suivants sont considérés comme des principes éprouvés : l'utilisation d'outils valides de dépistage et de mesure des risques et des besoinsNote 6, l'application d'un modèle fondé sur les principes du risque, du besoin et de la réceptivité afin de choisir les interventions en fonction des participants (degré d'intervention et d'intensité des interventions personnalisées), et l'obtention de la participation de diverses organisations/agences. Note 7

La notion d'un programme fondé sur des données probantes n'est pas une notion statique du « tout ou rien » mais fonctionne plutôt à partir d'une échelle ou d'un continuum de l'efficacitéNote 8. Ce continuum de l'efficacité est un outil qui sert à déterminer où se situe un programme de prévention sur le continuum de l'efficacité de l'approche fondée sur des données probantes. À une extrémité du continuum se trouvent les meilleurs programmes lesquels ont été évalués rigoureusement et ont démontré des résultats statistiques significatifs. À l'autre extrémité du continuum se trouvent les programmes inefficaces qui ont également été rigoureusement évalués mais dont les résultats ont démontré qu'ils n'ont eu aucun effet ou, plus problématique, des effets néfastes pour les participants. Enfin, entre ces deux extrêmités, (c.-à-d. entre les meilleurs programmes et les programmes inefficaces) se trouvent les programmes prometteurs lesquels ont atteint des résultats encourageants, mais pour lesquels d'autres projets de réplications accompagnés d'évaluations rigoureuses sont encore nécessaires.

Afin de juger du degré d'efficacité des programmes, un devis rigoureux d'évaluation est nécessaire et les résultats doivent être supportés par les preuves (c.-à-d. les données probantes). Savoir ce qui fonctionne et ce qui ne fonctionne pas est tout aussi important. Les programmes inefficaces coûtent des milliards de dollars aux contribuables, et certains d'entre eux peuvent être nuisibles pour les participants. De plus, le coût social et financier du maintien des politiques et des programmes non fondés sur les données probantes est énormeNote 9. Dans ces circonstances, l'élaboration des politiques fondées sur des données probantes doit utiliser les meilleures recherches disponibles et les résultats des programmes afin d'orienter les décisions à toutes les étapes du processus politiqueNote 10.

Au Canada, il n'en demeure pas moins qu'un grand nombre de programmes en prévention du crime ne suivent pas l'approche fondée sur des données probantes. Un inventaire préliminaire inédit de programmes en prévention du crime au CanadaNote 11 indique que près de 60 %Note 12 des programmes échantillonnés n'ont jamais été évalués en contexte canadien. Dit autrement, aucun résultat en provenance d'études d'évaluations ne permet de supporter ces programmes, et en l'absence de données probantes, il est impossible de connaitre le degré d'efficacité de ces programmes (par ex. où ces programmes se situent sur le continuum d'efficacité). L'évaluation des impacts est ce qui permet de savoir si un programme fonctionne, de reconnaître les signes de changements dans le comportement des participants, et de vérifier si ces changements découlent de leur participation au programmeNote 13. En l'absence d'évaluations de ce genre et de bons mécanismes de suivi des résultatsNote 14, l'approfondissement des connaissances sur les programmes efficaces en prévention du crime au Canada est freiné.

La rentabilité de l'approche fondée sur des données probantes

L'approche fondée sur des données probantes va également de pair avec les perspectives de rentabilité et d'économie. Peu importe le domaine, il est toujours plus judicieux d'investir dans un service ou programme qui a déjà fait ses preuves. Les donnes probantes sur les programmes efficaces qui s'adressent aux facteurs de risque criminogiques dans les populations à risque devraient être utilisées autant pour informer le développement de projets que pour les décisions de financement.

En plus de générer de meilleurs résultats, les investissements dans des programmes éprouvés et fondés sur la recherche se traduisent par des économies notables de fonds publics. L'annexe 2 présente des détails supplémentaires sur l'analyse coût-efficacité et l'analyse coûts-avantages. L'un des plus grands avantages sociaux de la mise en œuvre de programmes fondés sur les données probantes auprès des jeunes à risque demeure les économies pour les contribuablesNote 15. Les investissements dans des programmes fondés sur des données probantes restent le meilleur moyen de réduire la victimisation et d'accroître la sécurité publique tout en gérant les coûts liés aux services correctionnelsNote 16. Plus précisément, l'analyse coûts-avantages permet aux décideurs et analystes d'évaluer les programmes de prévention du crime et de justice pénale d'un point de vue économique, ce qui oriente leurs décisions à savoir s'il convient de modifier ou de clore les projets, ou encore d'en élargir la portéeNote 17.

Aux États-Unis, le Washington State Institute for Public Policy (WSIPP)Note 18 a prouvé de façon crédible que chaque dollar investi dans les programmes de prévention fondés sur des données probantes génère plus d'un dollar en retombées (c.-à-d. que les avantages dépassent les coûts). Précisons que cette organisation a entrepris un grand nombre d'analyses coûts-avantages et de comparaisons systématiques des programmes de prévention du crime pour éclairer la prise de décisions stratégiques.

Les étapes de la démarche fondée sur des données probantes

Dans l'ensemble, il y a plusieurs raisons pour soutenir l'utilisation de l'approche fondée sur des données probantes. Voici seulement quelques exemplesNote 19 qui indiquent pourquoi tous les niveaux de gouvernement devraient poursuivre un agenda fondé sur des données probantes :

• Les programmes fondés sur des données probantes reposent sur des études rigoureuses, leur efficacité est avérée, et leurs résultats sont positifs.
• Lorsqu'ils sont mis en œuvre correctement avec une assistance technique et une conformité rigoureuse, ces programmes peuvent entraîner des améliorations substantielles, de même qu'une réduction importante de la criminalité. De plus, les programmes fondés sur des données probantes représentent des investissements judicieux.
• Même dans les situations les plus difficiles, ces programmes s'avèrent positifs et ils apportent des bienfaits considérables à des milliers de familles et de collectivités vulnérables.

Afin d'aider les autorités locales à choisir le programme fondé sur des données probantes qui convient le mieux à leurs besoins, la démarche proposée repose sur une démarche en quatre étapesNote 20 :

• Étape 1 – Évaluer la situation locale : Quels sont les problèmes de criminalité et de sécurité dans la collectivité, ainsi que leurs liens avec d'autres situations problématiques? Quel groupe de population le programme doit-il atteindre? Quelles sont les principales caractéristiques de ce groupe? Quelles sont les ressources et les initiatives locales en matière de prévention du crime? Cette étape concerne le contexte local et laisse entrevoir l'importance de procéder à une évaluation des besoins locaux.
• Étape 2 – Sélectionner un programme efficace de prévention du crime : Quel programme cadre avec les priorités et les enjeux relevés? Quel programme correspond le mieux aux caractéristiques et aux besoins de la population ciblée? Cette étape sert à apporter des réponses aux questions soulevées lors de l'évaluation de la situation locale, et à cerner les pratiques exemplaires et les programmes qui figurent actuellement dans les répertoires sur les programmes efficacesNote 21. À cette étape, la décision finale est prise concernant le programme à mettre en œuvre.
• Étape 3 – Mettre en œuvre un programme efficace de prévention du crime : Quels sont les facteurs de réussite de la mise en œuvre? Cette étape cible les composantes clés et les conditions qui ont une incidence positive sur la mise en œuvre d'un programme. Les programmes ne parviennent pas tous à une mise en œuvre réussie de la même façon. Cette étape tient compte des leçons tirées d'autres expériences de mise en œuvre et prend appui sur les éléments clés d'une réplication réussie.
• Étape 4 – Travailler à la pérennisation du programme : Quels sont les éléments qui favorisent le maintien d'un programme? Cette étape aborde l'analyse des facteurs et clés de la réussite de la pérennisation. La probabilité d'intégration dans un système existant ou d'obtention d'un financement durable à long terme n'est pas la même pour tous les programmes, même ceux étant une réussite. C'est pourquoi il est important de tenir compte de ces éléments lors du processus de sélection. En fait, même si cette étape semble constituer la suite logique de l'achèvement du programme, la pérennisation doit être prise en considération dès le début du processus de sélection. En outre, même s'il n'y a aucune garantie, il est plus judicieux de choisir un programme dont les activities et services pourraient être maintenus par l'organisation responsable après le financement initial.

Figure 1. Les quatres étapes de l'approche fondée sur des données probantes en prévention du crime

Description de l'image

La figure 1, un diagramme de base en étoile comportant quatre cases qui partent d'une case centrale, montre les quatre étapes de l'approche fondée sur des données probantes en prévention du crime qu'il convient d'appliquer pour sélectionner le programme le plus approprié.

Case centrale : Approche fondée sur des données probantes en prévention du crime

Étape 1 (case du haut) : Évaluer la situation locale

Étape 2 (case de droite) : Sélectionner un programme efficace de prévention du crime

Étape 3 (case du bas) : Mettre en œuvre un programme efficace de prévention du crime

Étape 4 (case de gauche) : Travailler à la pérennisation du programme

Bien qu'il puisse s'avérer nécessaire de déployer davantage d'efforts pour sélectionner et mettre en œuvre un programme fondé sur des données probantes, les avantages sont aussi plus nombreux pour les participants ainsi que pour les collectivités locales. En plus de prévenir la criminalité et la victimisation, les programmes bien planifiés favorisent la sécurité des collectivités. Or, pour assurer l'efficacité du programme et générer des effets positifs, il est important de sélectionner le programme qui répond le mieux aux besoins des populations et des collectivités locales, et qui cadre le mieux avec les capacités organisationnelles.

Étape 1. Évaluer la situation locale

La première étape consiste à dresser un portrait/diagnostic de la situation locale au moyen de diverses méthodes de collecte de données; c'est ce qu'on appelle aussi une analyse environnementale ou encore une évaluation des besoins stratégiquesNote 22. Ce portrait vise à saisir la réalité locale, la nature et les tendances des enjeux actuels et émergeants entourant la sécurité et la criminalité, les caractéristiques des populations touchées, les facteurs en cause, la gamme des services déjà en place, et les ressources offertes dans la collectivité.

L'importance de cette analyse locale ne doit jamais être sous-estimée : une perception faussée de la situation locale et des enjeux de sécurité et de criminalité peut conduire à un mauvais choix dans la sélection du programme de prévention à mettre en œuvre. Si la nature, les caractéristiques et l'ampleur des enjeux sont mal définies, le programme retenu risque de ne pas cibler la bonne clientèle, ou encore de conduire à des interventions inappropriées. Non seulement le programme ainsi mis en œuvre n'atteindra pas les résultats escomptés, mais il pourrait entraîner des effets contre-productifs. Par exemple, selon des recherches sur l'intervention correctionnelle en milieu communautaire, des interventions auprès de clientèles qui n'en n'ont pas besoin (dans ce cas-ci les délinquants à faible risque) peuvent mener à des effets néfastesNote 23.

À la lumière d'un projet de recherche portant sur l'analyse des évaluations des processus réalisée à partir d'un échantillon de projets en prévention du crimeNote 24, il semble que les responsables de 23% des projets ont procédé à une évaluation des besoins locaux avant de mettre en œuvre leur projet, tandis que 20% ne l'ont pas fait; pour les 58% restant, il n'existe aucune donnée à cet égardNote 25.

Procéder à une analyse du contexte local est essentiel et pour ce faire, plusieurs sources de renseignements peuvent être consultés : par exemple, les rapports et les données des services de police, des services de santé et des services sociaux, des établissements d'enseignement et des organismes socioéconomiques. Il est important que les informations et les données utilisées soient actuelles, les plus objectives possibles et fondées sur des méthodes de collecte de données valides.

Une fois le (ou les) principal enjeu prioritaire défini, la prochaine étape consiste à recueillir des renseignements pour comprendre à fond la nature et les caractéristiques des personnes et des circonstances en cause. Connaître certaines caractéristiques telles que l'âge, le sexe et l'origine ethnique des personnes touchées par la situation aidera dans la sélection du programme à mettre en oeuvre. Par exemple, connaitre ces caractéristiques chez les jeunes qui adoptent des comportements violents facilitera la sélection d'un programme approprié pour eux. De même, il est important de connaître les lieux que ces jeunes fréquentent, les moments auxquels les comportements violents surviennent, ainsi que tout autre facteur conduisant à des actes de violence, afin de sélectionner le programme qui offre les meilleures chances de lutter contre le crime et la violence dans ce contexte précis.

Avant de décider du programme à mettre en place, il est également important de connaître les services et programmes offerts dans la communauté. Cet inventaire des ressources offre l'avantage de cerner les lacunes des services actuellement disponibles, de réduire les dédoublements et de trouver des partenaires potentiels pour la mise en œuvre d'une nouvelle initiative dans la collectivité. Chaque programme en prévention du crime exige des ressources particulières, et ce n'est qu'en comprenant bien ce qui est disponible qu'une décision éclairée peut se prendre sur les programmes dont la mise en œuvre est pertinente dans le contexte de la collectivité en question.

L'encadré ci-dessus présente des questions clés pour orienter l'établissement d'un portrait local ou d'un diagnostic. Comparer ensuite les données recueillies et le programme retenu permet de veiller à ce que le programme cadre bien avec la population et la collectivité en question et de supporter la décision du programme à mettre en oeuvre.

Étape 2. Sélectionner un programme efficace de prévention du crime

En ayant en main le rapport final sur l'analyse de la situation locale, la deuxième étape consiste maintenant à identifier et sélectionner le/les programme potentiel qui pourrait être mis en œuvre afin de réduire/prévenir les situations/comportements problématiques. Au moment de la sélection du programme, l'approche fondée sur des données probantes en prévention du crime s'assure que les meilleures données disponibles soient prises en considération. Par exemple, c'est à cette étape que les répertoires sur les programmes efficaces sont très utiles à consulter afin de recueillir des informations sur l'efficacité des programmes et mieux comprendre leurs caractéristiques de fonctionnement. Puisqu'il existe littéralement des centaines de programmes en prévention du crime, l'encadré ci-présent propose des questions clés à se poser pour déterminer le type de recherches et de données probantes qui existent pour démontrer et appuyer l'efficacité du/des programme sélectionné.

En plus de s'assurer du degré d'efficacité du/des programme potentiel à mettre en œuvre, trois autres variables, souvent négligées, doivent pourtant orienter la prise de décisions durant le processus de sélection :

• L'adéquation et la concordance du programme;
• Les capacités et les ressources organisationnelles; et
• Le degré d'adaptation du programme.

Adéquation et concordance du programme

La concordance du programme retenu avec les capacités de l'organisation responsable du projet, les principaux facteurs de risque et les caractéristiques de la clientèle représentent les variables ayant la plus grande incidence sur le degré d'adéquation du programmeNote 26.

Plus le programme correspond aux valeurs et aux objectifs de l'organisation responsable du projet, aux facteurs de risque définis dans l'évaluation des besoins, et aux caractéristiques du groupe cible, plus son degré d'adéquation est élevé. Évidemment, plus le degré d'adéquation est élevé, plus grandes sont les chances que le programme soit le mieux approprié. L'analyse du degré d'adéquation du/des programme potentiel est donc une variable important à considérer lors des décisions finales. Par exemple, même si le programme se classe parmi les meilleurs, si son adéquation est faible, des difficultés lors de la mise en œuvre sont envisageables ce qui affectera négativement l'atteinte des résultats. Les éléments suivant sur l'adéquation et la concordance du programme doivent influencer dans le choix final du programme qui sera sélectionné.

Adéquation et concordance du programme avec l'organisation responsable du projet

Même si cela semble aller de soi, la concordance du programme avec la mission de l'organisation responsable du projet est souvent négligéeNote 27. Plus le programme cadre avec la philosophie et les valeurs de l'organisation, plus les chances augmentent qu'il soit accepté par le personnel et les autres membres de la collectivité. De même, plus le programme s'adresse à une clientèle déjà visée par l'organisation, plus ses chances de joindre la bonne clientèle augmentent.

Un autre facteur qui devrait être examiné ici concerne la complémentarité du programme avec les autres programmes offerts par l'organisation responsable ou par d'autres organisations de la collectivité. Les nouveaux programmes mis en œuvre dans une collectivité devraient donner suite aux lacunes et offrir des services afin de répondre aux besoins qui ne sont pas comblés. Cette complémentarité aidera à élaborer une approche exhaustive qui, à long terme, pourra mener à une plus grande efficacité et durabilité des interventions.

Adéquation et concordance du programme avec les facteurs de risque

Le deuxième élément de concordance examine dans quelle mesure le programme tient compte du niveau et de la complexité des facteurs de risque que présente le groupe cible. Cette dimension fait notamment référence à la durée et à l'intensité du programme. Afin de réduire l'impact de certains des facteurs de risque chez les participants (par exemple la toxicomanie ou l'impulsivité), il faut des interventions qui dureront assez longtemps pour entraîner un changement de comportement chez les participants. Au moment de choisir un programme, il est donc fondamental de comprendre les principaux facteurs de risque présents et les types d'interventions appropriés pour agir sur ces facteurs.

Adéquation et concordance du programme avec le groupe de participants

Enfin, le dernier élément à examiner concerne la concordance du programme avec les caractéristiques du groupe/population cible. Chaque programme est développé et conçu pour fonctionner dans des contextes et avec des groupes particuliers – par exemple, il sera très différent de travailler avec une clientèle en milieu scolaire par rapport à une clientèle de jeunes de la rue. À cet égard, il est important d'accroître la probabilité que la clientèle visée par le programme participe à l'entièreté du programme afin que les changements escomptés se produisent. Dit autrement, il s'agit de se questionner sur l'effort exigé pour participer au programme pendant la période requise et de voir s'il correspond à l'effort que peut fournir la clientèle. Par exemple, quelle est la probabilité que des jeunes en difficulté participent à un programme qui s'échelonne sur une longue période et qui exige des rencontres régulières? Il faut également se demander si le lieu et le moment des rencontres conviendront à la clientèle visée.

Capacités et ressources organisationnelles

Les capacités et ressources organisationnelles représentent une autre catégorie de variables qui doivent être prises en considération dans le processus de sélection d'un programme fondé sur des données probantes.

L'analyse des capacités et ressources organisationnelles est trop souvent mise de côté. Or, les programmes fondés sur des données probantes varient dans leur complexité et dans le niveau et le type de ressources et d'effort requis par les organisations pour en réussir la mise en œuvre. Tous les programmes ne peuvent pas être mis en œuvre n'importe où : il faut tenir compte des ressources et des capacités organisationnelles.

La mise en œuvre d'un programme fondé sur des données probantes requiert un investissement en argent, en documentation, en temps et en ressources humaines. Même si le programme présente un haut niveau d'adéquation et de concordance, si l'organisation responsable du projet et ses partenaires n'ont pas les ressources et les capacités nécessaires, les probabilités d'obtenir les résultats escomptés sont limitées.

Divers facteurs organisationnels facilitent la mise en œuvre d'un programme de haute qualité, tels que :

• la capacité opérationnelle – par exemple la présence de personnel qualifié, le maintien, la formation et la supervision de l'effectif, l'existence d'un système de suivi;
• la capacité financière – par exemple des contrôles financiers appropriés, du personnel qualifié pour surveiller et présenter l'information financière;
• l'expérience antérieure dans la mise en œuvre de programmes similaires auprès de la même population; et
• des partenariats et des réseaux solides et efficaces dans la collectivité.

Degré d'adaptation du programme

Le degré d'adaptation du programme représente un facteur majeur à examiner lors de la sélection d'un programme. Certains programmes sont conçus pour être plus flexibles et il est possible de les adapter sans affecter les composantes clés ni compromettre les résultats attendus. À l'inverse, d'autres programmes sont plus rigides et ne devraient pas faire l'objet d'adaptations, car ces changements sont susceptibles de nuire à l'atteinte des résultats. Selon le contexte dans lequel le programme sera mis en œuvre, les possibilités d'adapter le programme afin de répondre à des caractéristiques ou situation particulière doivent être examinées durant le process de sélection.

Au-delà du degré de flexibilité du programme, des études ont également démontré que certaines adaptations sont acceptables, d'autres risquées. Le tableau 1 suivant présente des exemples de ces adaptations.

Avant d'apporter des adaptations il est essentiel de comprendre la raison d'être du programme afin de pas donner lieu à des résultats inattendus, voire involontaires. Le non-respect des composantes clés du programme peut conduire à ce qu'on appelle la dérive du programme (program drift), ce qui peut empêcher l'atteinte des résultats attendus. L'adaptation d'un programme, même lorsque nécessaire, exige des ressources supplémentaires (personnel, temps, argent) ainsi qu'une planification et des évaluations additionnelles afin d'effectuer les suivis et en évaluer les effets.

À titre d'exemple, il est nécessaire de prendre certaines précautions au moment d'adapter un programme donné en fonction des valeurs et de la culture du groupe cible. Sauf quelques programmes spécialement élaborés pour les communautés culturelles, la majorité des interventions préventives évaluées ne tiennent pas compte des dimensions ethnoculturelles. Par ailleurs, peu de programmes adaptés à la culture ont été évalués selon des normes d'évaluation rigoureuses. Dans de nombreux cas, lorsqu'une collectivité souhaite apporter des modifications culturelles au programme, les adaptations doivent être faites avec le consentement et sous la supervision des développeurs du programme. Finalement, les adaptations devraient toujours être indiquées et surveillées par des données sur le rendement et des évaluations.

Étape 3.Mettre en œuvre un programme efficace de prévention du crime

À cette étape, la sélection du programme est pratiquement fixée, et les décideurs doivent maintenant se pencher sur la manière dont l'organisation mettra en œuvre le programme retenu.

Il a été bien établi que la qualité de la mise en œuvre des programmes en prévention du crime a une incidence sur l'atteinte des résultats escomptésNote 28. La science de la mise en œuvre a démontré que les effets négatifs ou mixtes de l'évaluation des impacts d'un programme peuvent être liés à une mise en œuvre de faible qualité et ne pas nécessairement signifier que le fondement du programme ne fonctionne pasNote 29. Par exemple, un programme prometteur mis en œuvre efficacement a plus de chances de produire des résultats positifs qu'un programme modèle dont la mise en œuvre se heurte à de nombreuses lacunes et limites. En d'autres mots, même l'intervention la mieux conçue peut aboutir à de mauvais résultats si la mise en œuvre est mal exécutéeNote 30. De plus, autre example illustrant l'importance de la mise en œuvre, un programme évalué comme ayant des effets neutres peut être reproduit dans des conditions différentes et obtenir des résultats positifs.

Au moment de planifier la mise en œuvre, il convient de distinguer deux catégories d'activités et d'effets : les activités du programme qui génèrent les résultats du programme, et les activités de mise en œuvre qui génèrent les résultats de la mise en œuvre. Il convient de définir et d'évaluer les résultats de la mise en œuvre séparément des résultats du programme. Autrement dit, lorsqu'un programme se solde par un échec, il faut se demander si cet échec découle du mauvais fonctionnement des services ou des traitements (échec dans les activités du programme), ou plutôt d'une mauvaise mise en œuvre des services ou des traitements (échec de la mise en œuvre)Note 31.

Les méta-analyses portant sur les processus de mise en œuvre ont démontré la nécessité d'adopter une approche à niveaux multiples afin de tenir compte de l'ensemble des facteurs pouvant avoir une incidence positive ou négative sur la mise en œuvre d'un programme (par ex., les caractéristiques des programmes, des praticiens et des collectivités; les capacités organisationnelles; la formation et l'assistance technique sont quelques examples de facteurs pouvant affecter le processus de mise en oeuvre)Note 32. L'annexe 3 présente différents facteurs à examiner au moment de mettre en œuvre un programme, de même que les composantes clés de la mise en œuvre qui devraient être en placeNote 33.

Les programmes ne présentent pas tous le même degré de complexité, et leur mise en œuvre en sera influencée. Les conditions de mise en œuvre doivent être considérées comme un élément central dans l'atteinte ou non des résultats. En plus d'augmenter les chances de réussite, les stratégies de mise en œuvre efficaces entraînent de meilleurs résultats pour les participants. De plus, un contexte dynamique, engagé, ouvert et réceptif aux changements facilitera l'intégration du programme.

Afin de développer les connaissances sur les programmes et les stratégies de mise en œuvre efficaces en prévention du crime au Canada, il convient de mener systématique des évaluations rigoureuses des processus et des impacts. De plus, il est important de mettre en place de solides mécanismes de suivi afin de vérifier que la mise en œuvre du programme se déroule de façon adéquate. Ces mécanismes de suivi visent à s'assurer que les programmes fondés sur des données probantes sont exécutés avec fidélité et intègrent les éléments essentiels à leur efficacité (par exemple, avoir de la formation, disposer d'un soutien technique, avoir des rencontres régulières sur la performance du programme sont quelques examples de stratégies à mettre de l'avantNote 34).

Étape 4. Travailler à la pérennisation du programme

La pérennisation consiste à s'assurer que les organisations appliquent des stratégies qui contribuent à la réussite du programme à long terme. Même si cela peut sembler surprenant, la pérennisation est une dimension dont il faut tenir compte dès la sélection du programme.

La probabilité d'un programme d'être combiné ou intégré au système existant de l'organisation ou de recevoir un financement durable, n'est pas la même pour tous les programmes, même pour ceux ayant réussis. Au moment de la sélection du programme, des questions doivent être posées à savoir si le programme pourrait être inclus ou maintenu dans la structure actuelle de l'organisation une fois le financement initial terminé. Certains programmes pouvent s'insérer plus facilement que d'autres dans les structures organisationnelles et c'est d'ailleurs la raison pour laquelle l'adéquation et la concordance du programme avec la structure de l'organisation constituent un facteur important à prendre en considération.

L'identification de stratégies permettant de maintenir la prestation des programmes et des services avant la fin du financement est souvent citée comme un défi de taille. En effet, le coût du programme, sans être la seule variable, est un facteur important à prendre en considération, puisqu'il semble que les programmes qui requièrent un investissement financier majeur sont plus sujets à être abandonnés après le financement. Toutefois, la pérennisation n'est pas uniquement une question de financement : il s'agit aussi de créer et de soutenir l'élan nécessaire en réorganisant et en optimisant les ressources. La pérennisation consiste à tirer parti des partenariats et des ressources afin de continuer à offrir les programmes, les services et les activités stratégiques.

Selon le contexte, la pérennisation peut se définir et se refléter de nombreuses façonsNote 35 :

• l'institutionnalisation de la totalité ou d'une partie d'un programme;
• l'élan qui mobilise et mène à une réorganisation (par exemple, dans l'offre de services);
• le maintien de la totalité ou d'une partie des composantes du projet grâce à une entente de financement permanent;
• la transformation des politiques, des structures de gouvernance, des dispositions fiscales et des pratiques de service en place;
• l'adaptation à l'évolution constante de la technologie, des politiques et des cycle de financement; et
• la communication des effets positifs pour favoriser le soutien local et la prestation de services de haute qualité.

Élaborer un plan de pérennisation

Chaque organisation doit élaborer son propre plan de pérennisation en fonction de sa vision du future, de ses besoins et de ses programmes. Dit autrement, il n'y a pas de stratégie « universelle » de pérennisation.

La planification de la pérennisation doit être tout aussi concrète que la planification de la mise en œuvre. À l'image de la mise en œuvre des programmes, la planification de la pérennisation n'est pas une activité ponctuelle ni un processus linéaire. Il s'agit plutôt d'un processus dynamique continu au cours duquel de nombreuses activités se dérouleront de façon simultanéeNote 36. La planification de la pérennisation doit être flexible, ajustée en fonction des besoins locaux et adaptée à l'environnement opérationnel de chaque organisation. L'annexe 4 présente quelques-uns des facteurs clés qui influenceront si un service, programme, ou activités seront maintenus dans le temps. Enfin, l'un des aspects les plus importants de la planification de la pérennisation est de garder le plan de pérennisation actif. Le plan est un document évolutif qui ne doit pas être mis de côté une fois terminé. Ce plan doit faire l'objet d'examens réguliers et être modifié en fonction des conditions dans lesquelles le programme opère.

Conclusion

De nos jours, les programmes de prévention du crime reposent sur une approche scientifique, laquelle apporte des résultats à la fois tangibles et quantifiables. Il existe maintenant des données probantes qui démontrent l'efficacité des programmes pour prévenir et réduire la criminalité. Cela dit, l'approche fondée sur des données probantes nécessite toutefois que la sélection et la mise en œuvre des programmes reposent sur certains éléments clés. Dans cette optique, la première étape consiste à s'assurer que le programme sélectionné cadre à la fois avec les besoins identifiés lors de l'évaluation de la situation locale et avec les capacités de l'organisation responsables du projet. Même si ces deux aspects semblent aller de soi, ils sont rarement appliqués correctement lors du processus de sélection. Pourtant, l'omission de ces variables peut entraîner des répercussions sur la mise en œuvre et, en conséquence, compromettre les résultats attendus du programme.

En se questionnant sur la concordance et l'adéquation d'un programme avec les réalités et les besoins des participants éventuels, les objectifs et les ressources de l'organisation responsable, le contexte organisationnel et social dans lequel s'insère le nouveau programme de prévention et le degré d'adaptation du programme afin de répondre à des situations/caractéristiques particulières sont autant de facteurs qui doivent influencer et orienter le processus décisionnel vers la sélection finale du bon programme à mettre en œuvre. Comprendre comment identifier un programme de prévention du crime fondé sur des données probantes, comment s'assurer de son adéquation avec la population et l'organisation, comment le mettre en œuvre, et comment le pérenniser, sont des éléments essentiels autant pour les praticiens que pour les décideurs politiques.

Dans le domaine de la prévention du crime, il existe un grand nombre de ressources (notamment des répertoires, des bases de données, des guides, des listes de vérification), lesquelles offrent des outils conviviaux et favorisent le recours à des programmes de prévention qui ont été rigoureusement évalués dans des communautés locales. Au Canada, les ressources exhaustives qui s'adressent aux praticiens et décideurs politiques qui détaillent l'approche fondée sur des données probantes sont encore limitées. C'est d'ailleurs une des raisons pour laquelle ce guide a été développé. Or, reconnaissant la nature changeante du domaine, ce rapport ne doit pas être considéré comme un rapport statique.

La façon dont un programme est mis en oeuvre a une grande incidence sur la façon dont celui-ci est capable ou incapable d'atteindre les résultats escomptés. L'importance du processus de mise en œuvre en vue d'atteindre les résultats attendus du programme est de plus en plus reconnue et l'attention des spécialistes est maintenant tournée vers « comment » et « le contexte » dans lequel les programmes efficaces sont mis en œuvre. Des résultats mitigés ne découlent pas automatiquement d'une mauvaise conception du programme, mais peuvent découler de difficultés dans la mise en œuvre. Pour s'assurer que la mise en œuvre se déroule correctement, il est important d'effectuer une collecte et un suivi fréquents des données sur des indicateurs spécifiques liés à la mise en œuvre.

Dans l'ensemble des domaines en science sociale, y compris en matière de prévention du crime et de la délinquance, l'approche fondée sur des données probantes nécessite autant le développement et l'accumulation de nouvelles connaissances que le transfert et l'application des connaissances. Sans disposer de mécanismes de diffusion et de promotion des programmes probants auprès des praticiens et des décideurs politiques, ces programmes ne seraient pas intégrés aux politiques publiques ni même répliqués dans les collectivités locales. Autant il est central de maintenir à jour les bases de données sur les programmes probants et procéder à des évaluations rigoureuses des impacts, autant il est vital de diffuser mais surtout de promouvoir l'application de ces données probantes dans les contextes de vie afin d'adresser les situations problématiques identifiées, voire prévenir le développement ou l'aggravation de certains comportements à risque. Recueillir des données probantes est un aspect important, mais l'utilisation qu'on en fait est ce qui importe le plus.

Annexe 1. Systèmes de classification des programmes de prévention du crime fondé sur des données probantes

La présente annexe montre les principaux systèmes de classification des programmes de prévention du crime et de la délinquance fondés sur des données probantesNote 37. Le tableau 2 offre un aperçu des lignes directrices suivies par chacun des systèmes de classification pour la cotation des programmes de prévention du crime fondés sur des données probantes décrits ci-dessous.

Blueprints for Healthy Youth Development

Site web : http://www.colorado.edu/cspv/blueprints/ (en anglais seulement)

Le Blueprints for Healthy Youth Development est un projet de recherche du Center for the Study and Prevention of Violence de l'Université de Colorado Boulder, aux États-Unis. Ce projet a pour objectif de recenser des programmes de prévention et d'intervention fondés sur des données probantes qui sont efficaces pour réduire les comportements antisociaux et promouvoir le sain développement des jeunes.

Chacun des programmes inscrits dans ce répertoire a été soumis à l'examen d'un groupe indépendant formé d'évaluateurs qualifiés, qui ont déterminé que ces programmes répondent à un ensemble de normes scientifiques bien définies. Les programmes conformes à ces normes ont démontré une certaine capacité à modifier les comportements ciblés ainsi qu'à provoquer les effets escomptés sur le plan développemental.

Crime Solutions et Model Programs Guide

Crime Solutions, l'Office of Justice Programs

Site web : http://www.crimesolutions.gov/default.aspx (en anglais seulement)

Model Programs Guide, l'Office of Juvenile Justice and Delinquency Prevention

Site web : http://www.ojjdp.gov/mpg/ (en anglais seulement)

L'initiative CrimeSolutions.gov de l'Office of Justice Programs et l'initiative Model Programs Guide  de l'Office of Juvenile Justice and Delinquency Prevention emploient une base de données commune, et elles font appel à des recherches rigoureuses pour conseiller les praticiens et les décideurs sur les pratiques efficaces dans les domaines de la justice pénale, de la justice pour les jeunes et des services aux victimes de crime.

Ces deux sites publient des recherches sur l'efficacité des programmes et des pratiques soumis à l'évaluation d'examinateurs. Faciles à comprendre, les cotes utilisées reposent sur des données probantes, lesquelles indiquent si un programme ou une pratique a su atteindre ses objectifs.

Coalition for Evidence-Based Policy – Top Tier Evidence Initiative

Site web : http://coalition4evidence.org/ (en anglais seulement)

L'initiative Coalition for Evidence-Based Policy cherche à accroître l'efficacité au sein de l'appareil gouvernemental grâce à des données rigoureuses sur les pratiques efficaces. Des études sérieuses ont permis de recenser un petit nombre de stratégies et de modèles de programmes hautement efficaces. La Coalition appuie de nombreux types de recherches visant à relever les interventions les plus prometteuses sur le plan social.

La Coalition gère aussi l'initiative  Top Tier Evidence Initiative dont l'objectif est de recenser les programmes sociaux qui sont soutenus par des preuves solides comme ayant une incidence importante sur la vie des participants. Lors de travaux d'évaluation systématique amorcés en 2008, le groupe de spécialistes chargés de l'initiative a classé les interventions selon les catégories dites de « niveau supérieur » et de « niveau élevé ».

National Registry of Evidence-based Programs and Practices (NREPP) - Substance Abuse and Mental Health Services Administration (SAMHSA)

Site web : http://www.nrepp.samhsa.gov/Index.aspx (en anglais seulement)

Le NREPP, est une base de données qui contient plus de 330 interventions dans les domaines de la santé mentale et de la toxicomanie. Toutes les interventions qui y sont recensées répondent aux exigences minimales de l'examen du NREPP, et elles ont fait l'objet d'évaluations indépendantes portant sur la qualité de la recherche et sur leur état de préparation à être diffusées.

L'objectif du NREPP est d'aider les praticiens à mieux connaître les programmes et pratiques fondés sur des données probantes offerts et à choisir l'option qui correspond le mieux aux besoins identifiés. Le NREPP est l'un des moyens mis en œuvre par la SAMHSA afin d'améliorer l'accès aux renseignements sur les interventions évaluées et réduire le délai entre l'acquisition des données probantes et leur application pratique sur le terrain.

Annexe 2. Analyse coût-efficacité et analyse coûts-avantages

S'il existe un grand nombre d'approches pour évaluer les programmes sur le plan économique, les deux techniques les plus utilisées demeurent toutefois l'analyse coût-efficacité et l'analyse coûts-avantages. Note 38 La principale différence entre ces deux techniques tient au fait que l'analyse coût-efficacité tient compte des coûts uniquement sous l'angle pécuniaire, tandis que l'analyse coûts-avantages va plus loin et quantifie également les avantages résultant du programme pour la société. Note 39 En règle générale, les deux approches se déroulent suivant le processus illustré ci-dessous :

Figure 2. Schéma du processus de l'analyse coût-efficacité et coûts-avantages

Description de l'image

La figure 2, un diagramme de processus descendant comportant six cases, décrit les procédures standards à suivre pour réaliser une analyse économique.

Étape 1 (case du haut) : Définir et mesurer les effets du programme

Étape 2 (deuxième case à partir du haut) : Définir la nature et les paramètres de l'analyse économique

Étape 3 (troisième case à partir du haut) : Définir les intrants du programme et en établir la valeur monétaire

Étape 4 (quatrième case à partir du haut) : Comparer les coûts liés aux intrants avec les effets du programme

Étape 5 (cinquième case à partir du haut) : Définir les avantages du programme pour la société et en établir la valeur monétaire

Étape 6 (sixième case à partir du haut) : Comparer les coûts liés aux avantages des effets du programme pour la société avec les coûts liés aux intrants du programme

Une analyse coût-efficacité englobe généralement les étapes 1 à 4 (les quatre premières cases à partir du haut), tandis qu'une analyse coûts-avantages comprend les six étapes

Analyse coût-efficacité

L'analyse coût-efficacité permet de calculer le coût total d'un programme, puis de comparer ce montant avec l'impact ou l'efficacité du programme – par exemple, le changement du nombre d'arrestations par la police. Le rapport coût-efficacité qui résulte de cette comparaison permet d'établir le coût unitaire des résultats du programme – par exemple, un investissement de 5 000$ dans le programme permet de prévenir un incident d'arrestation par la police.

Rapport coût-efficacité = Coût total du programme / Efficacité nette du programme

Analyse coûts-avantages

Pour pousser l'analyse économique plus loin et évaluer la valeur ultime d'un programme, il convient de procéder à une analyse coûts-avantages. Cette analyse estime le rendement financier du programme pour la société en associant une valeur monétaire à chaque résultat du programme; cette valeur est ensuite comparée aux coûts du programme. Ce calcul donne lieu à une formule appelée rapport avantages-coûts indépendant de ses unités – par exemple, une épargne de 10$ pour la société pour chaque dollar investi dans le programme. L'analyse coûts-avantages est un outil qui permet de comparer les avantages et les inconvénients de l'application d'un programme ou d'une politique par rapport à d'autres avenues, dont celle de ne rien faire, en plus d'associer une valeur pécuniaire aux avantages et aux inconvénientsNote 40.

Rapport avantages-coûts = Total des épargnes, des avantages ou des coûts évités pour la société / Coût total du programme

Un rapport avantages-coûts supérieur à 1,0 signifie que les avantages des programmes l'emportent sur leurs coûts, ce qui donne lieu à un « taux de rendement » positif. Plus le rapport avantages-coûts est élevé, plus grand est le rendement de l'investissement. Inversement, un rapport avantages-coûts inférieur à 1,0 indique que les coûts du programme sont plus élevés que les avantages acquis.

À titre d'exemple d'analyse économique, une étude publiée récemment fait état des avantages pécuniaires et des coûts du programme intitulé Stop Now And Plan-Under 12 Outreach Project (SNAP-ORP), lequel comprend une formation sur les habiletés cognitivo-comportementales et la maîtrise de soi, quand il s'agit de prévenir la délinquance ultérieure chez les garçonsNote 41. Le coût total de la participation d'un garçon « moyen » au SNAP s'élève à 4 641 $CAN (le coût total de la participation au programme SNAP-ORP était de 1 729 $CAN pour les participants à faible risque, de 4 166 $CAN pour les participants à risque modéré, et de 8 503 $CAN pour les participants à risque élevé). En ce qui concerne les condamnations, les résultats de l'étude ont démontré que chaque dollar investi dans le programme entraîne une économie de 2,05 à 3,75 $CAN. Par ailleurs, lorsque l'on tient compte des infractions non détectées, la fourchette des économies se situe alors entre 17,33 et 31,77 $CAN pour chaque dollar investi dans le programme.

Annexe 3. Mise en œuvre des programmes

De plus en plus, les praticiens et chercheurs dans le domaine de la prévention du crime sont confrontés à un défi commun : la mise en œuvre réussie et efficace des pratiques fondées sur des données probantes. L'émergence de cet intérêt pour les enjeux de mise en œuvre coïncide avec la réalisation que le seul fait de choisir un programme efficace n'est pas suffisant, et que même si des guides de pratiques exemplaires sont élaborés, diverses expériences sur le terrain ont démontré que des programmes pourtant efficaces n'ont pas conduit aux résultats escomptés. Le seul fait de sélectionner un programme modèle n'est pas une garantie dans l'atteinte des résultats attendus. Un programme efficace doit être jumelé à une mise en œuvre de grande qualité afin d'augmenter les probabilités d'occasionner des effets positifs chez les clients servisNote 42.

Aux fins de la diffusion des connaissances pratiques qui peuvent être utilisées comme lignes directrices, un guide sur l'état des connaissances sur la mise en œuvre a été récemment publiéNote 43. Ce guide comporte des listes de vérification des activités liées aux étapes de mise en œuvre qui peuvent être utilisées pour évaluer, planifier et surveiller les activités de mise en œuvre à chacune des étapes du processus. Comme le but ici n'est pas de répéter l'information déjà présentée dans le guide, seuls les renseignements les plus pertinents à prendre en considération lors de la sélection d'un programme de prévention du crime seront fournis dans le présent rapport.

Étapes de la mise en œuvre

Comme l'illustre la figure 3, les recherches ont démontré que le processus de mise en œuvre est essentiellement composé de quatre étapes. Ces étapes ne suivent pas un processus linéaire, mais elles représentent plutôt un processus dynamique et itératif. Elles sont aussi liées entre elles et influencées par divers facteurs organisationnels internes et externes, et les difficultés résolues (ou non) au cours d'une étape donnée auront des répercussions sur l'ensemble du processus de mise en œuvre (par exemple, une organisation pourrait devoir revenir à une étape précédente de la mise en œuvre en raison d'un taux élevé de roulement du personnel).

Figure 3. Étapes de la mise en œuvre

Description de l'image

La figure 3, un diagramme de processus alterné, montre les étapes du processus de mise en œuvre d'un programme, qui comporte les quatre étapes suivantes :

Étape 1. Exploration et adoption : Acquisition de renseignements sur les programmes fondés sur des données probantes et détermination du programme le plus approprié.

Étape 2. Préparation et installation : Une fois la décision prise quant au choix du programme, préparation active du site.

Étape 3. Mise en œuvre initiale : Application initiale du programme au sein de l'organisation; il s'agit de l'étape la plus difficile.

Étape 4. Mise en œuvre complète : Le programme est intégré dans la collectivité ainsi qu'aux politiques et aux procédures de l'organisation.

Facteurs influençant le processus de mise en œuvre

Durant le processus de sélection du programme, il est important de prendre en considération un certain nombre de facteurs pouvant influencer la mise en œuvre du programme. Un portrait détaillé des facteurs associés au contexte social, à l'organisation, aux praticiens et au programme permettra de mieux comprendre la nature de ces facteurs et de la mesure dans laquelle ils peuvent avoir des répercussions positives (en tant que facilitateurs) ou négatives (en tant qu'obstacles) sur le processus de mise en œuvre. Par exemple, dans une étude concernant la mise en œuvre d'un programme de santé mentale en milieu scolaire, Kam et coll. (2003) ont observé une corrélation importante entre le soutien de la direction envers le programme et la fidélité de la mise en œuvre par les enseignants. Lorsque ces deux facteurs étaient élevés, des résultats positifs significatifs ont été notés chez les élèves; par contre, lorsque le soutien de la direction était faible, des changements négatifs ont été observés chez les élèves.

* Les facteurs identifiés par un astérisque (*) représentent les composantes clés de la mise en œuvre.

Composantes clés de la mise en œuvre

On entend par composantes clés de la mise en œuvre  (implementation drivers)Note 44 les éléments qui influencent positivement la réussite d'un programme. Leur présence permet d'augmenter les probabilités de succès dans la réplication des programmes. Les composantes clés font référence aux capacités, à l'infrastructure et au fonctionnement des organisations et se retrouvent dans trois catégories :

1. Composantes clés liées aux compétences : il s'agit des mécanismes pour mettre en œuvre, maintenir et offrir une intervention comme prévu afin d'en faire bénéficier les participants au programme et la collectivité. Les composantes clés relatives à cette catégorie sont les suivantes :
   • sélection du personnel;
   • formation; et
   • coaching.
2. Composantes clés liées aux organisations : il s'agit des mécanismes pour créer et maintenir des conditions propices dans lesquelles le programme sera développé et ainsi favoriser la prestation de services efficaces. Les composantes clés relatives à cette catégorie sont les suivantes :
   • arrimage avec d'autres réseaux externes et partenariats;
   • mobilisation et engagement de la direction; et
   • système de gestion de l'information à l'appui de la prise de décisions.
3. Composantes clés liées au leadership : il s'agit des stratégies de leadership à mettre en place pour surmonter les différents types de défis. Bon nombre de défis sont liés à l'intégration du nouveau programme, et les dirigeants doivent être capables d'adapter leur style de leadership (leadership adapté), de prendre des décisions, de fournir des conseils et de soutenir le fonctionnement de l'organisation (leadership technique). Les composantes clés relatives à cette catégorie sont les suivantes :
   • leadership (adapté et technique).

Figure 4. Composantes clés de la mise en œuvre (adaptation de Fixsen et Blase, 2006)

Description de l'image

La figure 4, un diagramme cyclique comportant trois cases, illustre les différentes composantes clés de la mise en œuvre dans un flux circulaire.

Composantes clés liées aux compétences (case du haut) : sélection du personnel, formation et coaching.

Composantes clés liées aux organisations (case du bas à droite) : partenariats et réseaux, mobilisation de la direction et prise de décisions fondée sur les données.

Composantes clés liées au leadership (case du bas à gauche) : leadership adapté et leadership technique.

Annexe 4. Pérennisation des programmes

La pérennisation est un défi non seulement pour les programmes de prévention du crime, mais aussi pour la vaste majorité des programmes offrant des services aux enfants, aux jeunes et aux familles. La pérennisation des programmes est une composante essentielle qui a une incidence sur le changement à long terme des comportements, mais de nombreux programmes et services sont confrontés à de multiples défis. Bon nombre de programmes qui produisent d'excellents résultats finissent par disparaître, car ils sont incapables d'obtenir les ressources nécessaires pour poursuivre leurs activités. Parmi les programmes fructueux, on relève plusieurs éléments communs responsables de leur réussite. 

Par exemple, l'Office of Adolescent Health (OAH)Note 45, au moyen de conversations informelles avec les titulaires de subventions, met en lumière plusieurs obstacles à la pérennisation, notamment l'obtention de financement; la prestation de services à des populations particulières; la planification stratégique et l'établissement des priorités dans la planification de la pérennisation; la participation à l'échelle locale; l'établissement et le maintien de partenariats; et l'obtention du soutien des administrations locales. En revanche, parmi les réussites dans ces domaines figurent la capacité de diversifier les volets de financement; d'adapter les services à des populations particulières; d'utiliser des évaluations pour classer les services par ordre de priorité; d'obtenir le soutien de la collectivité; et d'accroître la collaboration avec les réseaux locaux. Ces défis et réussites correspondent à ceux que l'on trouve au sein des programmes de santé pour les adolescents, mais de nombreuses similitudes peuvent être établies avec les programmes de prévention du crime.

Un cadre et un guide de pérennisation ont été élaborés à partir de recherches approfondies et des commentaires des titulaires de subventions de l'OAH. Le tableau ci-dessous présente huit facteurs de la pérennisation à prendre en considération ainsi que les clés de réussite pour chacun d'eux.

Bibliographie

Andrews, D. A., et Bonta, J. (2012). The psychology of criminal conduct (5e éd.), New York, NY: Routledge.

Aos, S., et coll. (2001). The comparative costs and benefits of programs to reduce crime (version 4.0). Olympia. Wasahington, DC : Washington State Institute for Public Policy.

Bania, M., et Kandalaft, A. (2013). En quête de durabilité: six stratégies essentielles pour orienter vos démarches. Ottawa, ON : Programme de mentorat YOUCAN.

Baum, K., Blakeslee, M., Lloyd, J., et Petrosine, A. (2013). Violence prevention: Moving from evidence to implementation. Discussion paper. Washington, DC : National Academy of Sciences.

Blandford, A., et Osher, F. (2012). A checklist for implementing evidence-based practices and programs (EBPs) for justice-involved adults with behavioral health disorders. Delmar, NY: SAMHSA's GAINS Center for Behavioral Health and Justice Transformation.

Blase, K., et Fixen, D. (2013). ImpleMap: Exploring the implementation landscape. Chapel Hill, NC: National Implementation Research Network.  Frank Porter Graham Child Development Institute, University of North Carolina Chapel Hill.

Blase, K., et Fixsen, D. (2013). Stages of implementation analysis: Where are we? Chapel Hill, NC: University of North Carolina at Chapel Hill.

Coalition for Evidence-Based Policy Working Group (2006). Which study designs can produce rigorous evidence of program effectiveness? A brief overview. Coalition of Evidence-Based Policy working paper. Disponible à : http://coalition4evidence.org/wp- content/uploads/2012/12/RCTs_first_then_match_c-g_studies-FINAL.pdf

Cohen, M. A. (2000). Measuring the costs and benefits of crime and justice. Measurement and analysis of crime and justice, publié sous la direction de G. LaFree. Washington, DC : National Institute of Justice, US Department of Justice.

Crosse, S., et coll. (2011). Prevalence and implementation fidelity of research-based prevention programs in public schools - Final report. Préparé pour le département de l'Éducation des États-Unis, Policy and Program Studies Service de l'Office of Planning, Evaluation and Policy Development. Rockville, MD: Westat.

Dhiri, S., et Brand, S. (1999). Analysis of costs and benefits: Guidance to evaluators. Crime Reduction Programme Guidance Note 1. London, UK: Home Office.

Durlak, J., et DuPre, E. (2008). Implementation matters: A review of research on the influence of implementation on program outcomes and the factors affecting implementation. American Journal of Community Psychology, 41, 327-350.

Evidence-Based Associates – Strengthening Families, Supporting Communities (sans date). Evidence-based programs. Disponible à : http://www.evidencebasedassociates.com/the_difference/evidence-based_programs.html

Farrington, D. P., et Koegl, C. J. (2014). Monetary benefits and costs of the Stop Now And Plan program for boys aged 6–11, based on the prevention of later offending. Journal of Quantitative Criminology, (poing en ligne) DOI: 10.1007/s10940-014-9240-7.

Fixsen, D., et K. Blase. (2006). “What works” for implementing “what works” to achieve consumer benefits. Tampa, FL : National Implementation Research Network, University of South Florida, Louis de la Parte Florida Mental Health Institute.

Fixsen, D., et coll. (2005). Implementation research: A synthesis of the literature. Tampa, FL: National Implementation Research Network, University of South Florida, Louis de la Parta Florida Mental Health Institute.

Fixsen, D., et coll. (2009). Core implementation components. Research on Social Work Practice, 19(5), 531-540.

Fixsen, D., et coll. (2013). Implementation drivers: Assessing best practices. Tampa, FL: National Implementation Research Network, University of South Florida, Louis de la Parte Florida Mental Health Institute.

Fratello, J., et coll. (2013). Measuring success: A guide to becoming an evidence-based practice. Models for Change – Systems Reform in Juvenile Justice. New York, NY : Vera Institute of Justice. 

Gabor, T. (2011). Evidence-based crime prevention programs: A literature review. Soumis au Palm Beach County Board of County, Commissioners and Criminal Justice Commission.

Gray, M., et coll. (2012). Implementing evidence-based practice: A review of the empirical research literature. Research on Social Work Practice, 23(2), 257-266.

Greenwood, P. W., et Welsh, B. C. (2012). Promoting evidence-based practice in delinquency prevention at the state level. Criminology & Public Policy, 11(3), 493-513.

Groupe de travail fédéral-provincial-territorial sur la prévention du crime. (2014a). Document de cadrage – Prévention du crime fondée sur des données probantes et pérennisation. Rapport non publié. Ottawa, ON : Sécurité publique Canada.

Groupe de travail fédéral-provincial-territorial sur la prévention du crime. (2014b). Répertoire des programmes éprouvés en prévention du crime au Canada. Rapport non publié. Ottawa, ON : Sécurité publique Canada.

Henggeler, S., et Schoenwald, S. (2011). Evidence-based interventions for juvenile offenders and juvenile justice policies that support them. Social Policy Report, 25(1), 1-28.

Institute for Educational Leadership (sans date). Building sustainability in demonstration projects for children, youth and families, Toolkit Number 2 – Systems Improvement Training and Technical Assistance Project, Washington, DC : OJJDP.

Justice Research and Statistics Association, Bureau of Justice Assistance, US Department of Justice, National Criminal Justice Association. (2014). An introduction to evidence-based practices. Disponible à : http://www.jrsa.org/projects/ebp_briefing_paper_april2014.pdf

McIntosh, C., et Li, J. (2012). Introduction à l'analyse économique de la prévention du crime : le pourquoi, le comment et les voies d'avenir. Ottawa, ON : Centre national de prévention du crime, Sécurité publique Canada.

Metz, A. (2007). A 10-step guide to adopting and sustaining evidence-based practices in out-of-school time programs, Brief Research-to-Results, Child Trends, partie 2 de la série Fostering the Adoption of Evidence-Based Practices in Out-Of-School Time Programs. Washington, DC : Child Trends.

Metz, A., Blase, K., et Bowie, L. (2007). Implementing evidence-based practices: Six “drivers” of success, Brief Research-to-Results, Child Trends, partie 3 de la série Fostering the Adoption of Evidence-Based Practices in Out-Of-School Time Programs. Washington, DC : Child Trends.

Metz, A., Bowie, L., et Blase, K. (2007). Seven activities for enhancing the replicability of evidence-based practices, Brief Research-to-Results, Child Trends, partie 4 de la série Fostering the Adoption of Evidence-Based Practices in Out-Of-School Time Programs. Washington, DC : Child Trends.

Mihalic, S., et coll. (2004a). Successful program implementation: Lessons from Blueprints. Juvenile Justice Bulletin. Washington, DC : US Department of Justice, Office of Justice Programs, Office of Juvenile Justice and Delinquency Prevention.

Mihalic, S., et coll. (2004b). The importance of implementation fidelity. Emotional & Behavioral Disorders in Youth, 4(4), 83-105.

Morgan, A., et coll. (sans date). Effective crime prevention interventions for implementation by local government. Reports Research and Public Policy Series, projet no 209. Canberra, Australia : Australian Institute of Criminology (AIC).

National Center for Chronic Disease Prevention and Health Promotion (Division of Adult and Community Health), Centers for Disease Control and Prevention (sans date). A sustainability planning guide for healthy communities. Disponible à : http://www.cdc.gov/nccdphp/dch/programs/healthycommunitiesprogram/pdf/sustainability_guide.pdf

National Registry of Evidence-based Programs and Practices de la SAMHSA (2012). A road map to implementing evidence-based programs. Disponible à : http://www.nrepp.samhsa.gov/courses/Implementations/NREPP_0101_0010.html

National Registry of Evidence-Based Programs and Practices de la SAMHSA (sans date). Questions to ask as you explore the possible use of an intervention. Disponible à : http://www.nrepp.samhsa.gov/pdfs/questions_to_ask_developers.pdf

O'Connor, C., Small, S. A., et Cooney, S. M. (2007). Program fidelity and adaptation: Meeting local needs without compromising program effectiveness, What Works, Wisconsin – Research to Practice Series, vol. 4. Madison, WI : University of Wisconsin–Madison/Extension.

Proctor, E. (2011). Implementation outcomes. Center for Mental Health Services Research, Washington University in St. Louis, présentation au 2011 National Child Welfare Evaluation Summit. Washington, DC.

Proctor, E., et coll. (2010). Outcomes for implementation research: Conceptual distinctions, measurement challenges, and research agenda. Administration of Policy Mental Health, 38, 65-76.

Promise Neighborhoods Institute. Evidence-based practice: A primer for promise neighborhoods. Commandée par le Promise Neighborhoods Institute at PolicyLink by Nilofer Ahsan at the Center for the Study of Social Policy.

Przybylski, R. (2008). What works. Effective recidivism reduction and risk-focused prevention programs. A compendium of evidence-based options for preventing new and persistent criminal behavior. Denver, CO : RKC Group.

Puddy, R. W., et Wilkins, N. (2011). Understanding evidence part 1: Best available research evidence. A guide to the continuum of evidence of effectiveness, Atlanta, GA : Centers for Disease Control and Prevention.

Rempel, M. (2014). Evidence-based strategies for working with offenders. Washington, DC : Center for Court Innovation, Bureau of Justice Assistance, US Department of Justice.

Savignac, J., et Dunbar, L. (2014). Guide sur la mise en œuvre des programmes fondés sur des données probantes : Qu'en savons-nous jusqu'à maintenant? Ottawa, ON : Sécurité publique Canada.

Sherman, L., et coll. (1997). Preventing crime: What works, what doesn't, what's promising. Rapport au Congrès des États-Unis préparé pour le National Institute of Justice.

Small, S. (2009). Evidence-informed program improvement: Using principles of effectiveness to enhance the quality and impact of youth and family programs. Présenté au webinaire de l'État de l'Iowa, University of Wisconsin-Madison/Extension.

Small, S. A., et coll. (2007). Guidelines for selecting an evidence‐based program: Balancing community needs, program quality, and organizational resources, What Works, Wisconsin – Research to Practice Series, vol. 3, Madison, WI : University of Wisconsin–Madison/Extension.

Society for Prevention Research. (sans date). Standards of evidence - Criteria for efficacy, effectiveness and dissemination. Falls Church, VA : L'auteur.

Stephenson, R., et coll. (2014). Model program guide – Implementation guides: Background and user perspectives on implementing evidence-based programs, Development Services Group Inc. Soumis à l'Office of Juvenile Justice and Delinquency Prevention.

The Finance Project. (2002). Sustaining comprehensive community initiative – Key elements for success. Finance Strategy Brief. Disponible à : http://www.ccitoolsforfeds.org/doc/Sustaining_CCIs_Key_Elements_to_Success.pdf

The Pew-MacArthur (2013). The Pew-MacArthur results first initiative, states' use of cost-benefit analysis: Improving results for taxpayers. Washington, DC : The Pew Charitable Trusts and MacArthur Foundation.

The Pew-MacArthur (2014). Evidence-based policymaking – A guide for effective government. Washington, DC : The Pew Charitable Trusts and MacArthur Foundation.

US Department of Health and Human Services, Office of Adolescent Health (2014a). Building sustainable programs: The framework. Washington, DC : Child Trends.

US Department of Health and Human Services, Office of Adolescent Health (2014b). Building sustainable programs: The resource guide. Washington, DC : Child Trends.

Vincent, G., Guy, L., et Grisso, T. (2012). Risk assessment in juvenile justice: A guidebook for implementation. National Youth Screening & Assessment Project. Washington, DC : MacArthur Foundation and Models for Change – Systems Reform in Juvenile Justice.

Wandersman, A., et coll. (2008). Bridging the gap between prevention research and practice: The interactive systems framework for dissemination and implementation. American Journal of Community Psychology, 41, 171-181.

Welsh, B. C., et Farrington, D. P. (2001). Monetary value of preventing crime. Costs and benefits of preventing crime publié sous la direction de B. Welsh, D. Farrington et L. Sherman. Boulder, CO : Westview Press.

Welsh, B. (2007). L'approche scientifique en prévention du crime : Fondements, tendances, résultats et implications pour le Canada. Ottawa, ON : Centre national de prévention du crime, Sécurité publique Canada.

Wiseman, S., et coll. (2007). Getting to outcomes: 10 steps for achieving results-based accountability, RAND Health, avec l'appui des Centers for Disease Control and Prevention.

Date de modification :

2022-08-02