Sommaire de recherche : Examen des registres de programmes fondés sur des données probantes pertinents pour la prévention du crime

Ce rapport examine des registres américains de programmes fondés sur des données probantes pertinents pour la prévention du crime, afin d’aider à élaborer un système propre au Canada pour coter l’efficacité des programmes.

Sommaire de recherche : Examen des registres de programmes fondés sur des données probantes pertinents pour la prévention du crime Version PDF (116 Ko)

Contexte

Dans le cadre des efforts en vue de promouvoir la prévention du crime fondée sur des données probantes, Sécurité publique Canada explore la faisabilité d'élaborer un système propre au Canada pour coter l'efficacité des programmes, compte tenu de la diversité des devis et des méthodes d'évaluation. Pour aider Sécurité publique Canada dans cette tâche, le Justice & Prevention Research Center de WestEd (jprc.wested.org) a réalisé un examen de quatre grands registres américains de programmes fondés sur des données probantes qui sont reconnus à l'échelle internationale : 1) le registre Blueprints for Healthy Youth Development de l'Université du Colorado; 2) le National Registry of Evidence-based Programs and Practices (NREPP) de la Substance Abuse and Mental Health Services Administration; 3) le Model Programs Guide (MPG) de l'Office of Juvenile Justice & Delinquency Prevention; et 4) le registre CrimeSolutions.gov du département de la Justice des États‑Unis.

Méthode

Ce rapport constitue un examen des quatre registres sélectionnés, lequel comprend les renseignements clés recueillis à partir du site Web de chaque registre ainsi que les critères pertinents utilisés pour coter les études. Les questions directrices de l'examen demandaient de l'information sur l'organisme ayant financé le registre; les types de devis d'évaluation utilisés pour coter l'efficacité d'un programme; si on avait envisagé, au moment de créer le registre, d'inclure des études qualitatives, non expérimentales ou faisant appel à des méthodes mixtes; et comment les évaluations potentiellement admissibles sont repérées. L'examen présente aussi des renseignements sur tout autre critère d'admissibilité que les études d'évaluation doivent remplir pour que le programme soit inclus dans le registre; si un instrument de codage est utilisé pour extraire l'information de chaque étude d'évaluation; le système de cotation des données probantes; la façon de repérer les programmes efficaces; si un instrument de cotation est utilisé; et qui effectue l'examen des données probantes.

Afin de compléter l'information recueillie à partir des sites Web des registres, les auteurs ont mené une entrevue téléphonique avec une personne clé ayant pris part au développement de chaque registre. Les devis et méthodes de chacun des registres sont examinés, comparés à ceux des autres registres et résumés dans le rapport de recherche complet.

Constatations

Les programmes qui sont admissibles pour inclusion dans les registres parce qu'ils sont « fondés sur des données probantes » doivent avoir fait l'objet d'études rigoureuses, préférablement des essais cliniques randomisés (ECR), lesquelles s'accompagnent généralement d'une reproduction et démontrent l'efficacité des programmes pour ce qui est d'obtenir au moins un de leurs résultats énoncés dans le secteur d'intérêt du registre (avec un minimum d'effets négatifs). Les programmes évalués au moyen d'un devis quasi-expérimental (DQE) rigoureux (p. ex., discontinuité de la régression, étude de séries temporelles interrompues, groupe témoin apparié) sont aussi examinés, mais Blueprints, par exemple, considère les programmes qui sont appuyés uniquement par un DQE comme des programmes « prometteurs », plutôt qu'éprouvés, et leur accorde une cote de « confiance modérée » au chapitre de l'efficacité.

Blueprints est souvent considéré comme le registre ayant les exigences les plus rigoureuses pour déterminer si un programme est efficace. Il fait appel à une liste de vérification pour attribuer des cotes – si une évaluation ne remplit pas tous les critères d'admissibilité, alors le programme n'est pas coté. La liste de vérification contient des questions fermées sur le devis, l'échantillon, les mesures, les résultats, les contrôles, l'attrition, la fidélité, l'ampleur de l'effet et les effets à long terme. Les programmes reçoivent ensuite la cote « modèle plus », « modèle » ou « prometteur ». Les programmes modèles ont été évalués par plus d'une étude expérimentale, ont un impact considérable et donnent des résultats positifs qui sont maintenus pendant au moins 12 mois, tandis que les programmes « modèles plus » satisfont à une norme supplémentaire qui consiste en une reproduction indépendante.

Les registres CrimeSolutions.gov et MPG ont recours à une formule mathématique pour déterminer la cote de chaque programme au chapitre des données probantes. L'instrument de cotation en quatre parties compte un score pour le cadre conceptuel, la qualité du devis, les preuves des résultats et la fidélité au programme. Une fois les valeurs pour chacune des quatre catégories calculées, une cote finale est attribuée aux programmes pour les données probantes (effet important, programme prometteur ou aucun effet), et les programmes sont classés comme étant « efficaces », « prometteurs » ou « sans effet ».

Le NREPP fait appel à un instrument de cotation qui cote les résultats des programmes selon quatre dimensions : la rigueur, l'ampleur de l'effet, la fidélité au programme et le cadre conceptuel. Des valeurs numériques sont attribuées à chaque élément dans l'instrument de cotation des résultats du NREPP et combinées dans un « score des résultats ». Les programmes sont cotés comme étant « efficaces », « prometteurs », « inefficaces » ou « non concluants ». Les programmes efficaces sont appuyés par des données probantes tirées d'évaluations d'une rigueur méthodologique stricte et produisent des effets à court terme positifs, alors que les programmes prometteurs sont appuyés par des données probantes tirées d'évaluations d'une rigueur méthodologique suffisante et produisent des effets à court terme susceptibles d'être positifs.

Pour les quatre registres, si le programme a fait l'objet d'évaluations qui indiquent des résultats positifs et d'évaluations qui font état de résultats négatifs ou inattendus, il obtiendra une cote uniquement si les effets positifs constituent une priorité pour le registre. En revanche, si un programme a des effets néfastes importants, alors il est jugé inefficace même s'il a aussi des effets positifs.

Si chaque registre a élaboré ses propres instruments de cotation, systèmes de classification et terminologie uniques, ils se ressemblent tous dans les aspects de la méthode d'évaluation et de la fidélité de la mise en œuvre, ainsi que dans les résultats qu'ils examinent. L'ensemble des registres examinent uniquement les ECR et les DQE faisant appel à un groupe témoin et à des données prétest et post-test, pour coter les résultats des programmes. Blueprints exige toutefois, si un programme n'a pas été évalué au moyen d'un ECR, qu'il ait été évalué par au moins deux DQE; or les autres registres n'en exigent qu'un seul.

Si aucun des registres ne tient compte des données probantes découlant d'études non expérimentales dans la cotation des programmes, le centre d'apprentissage du NREPP commencera sous peu à publier des études de cas sur des programmes évalués au moyen de techniques qualitatives ou d'autres méthodes non expérimentales. Les études non expérimentales ne sont pas incluses dans les registres, car les créateurs des registres considèrent comme faible le niveau de confiance dans les constatations (validité interne) de ces études.

Répercussions

Le rapport présente des renseignements qui sont essentiels pour comprendre ce qui fonctionne et ce qui pourrait être utile dans le contexte canadien. Dans l'étude de la faisabilité d'élaborer un registre personnalisé pour le Canada, il est utile de s'appuyer sur l'examen de registres semblables de programmes fondés sur des données probantes aux États‑Unis. Le rapport renseigne sur ces quatre registres, tout en se penchant sur des aspects clés de la façon dont ils ont été créés, tenus et mis en œuvre de manière à évaluer efficacement l'efficacité de chaque programme. Il fournit aussi de l'information au sujet des stratégies et des aspects méthodologiques qui devraient être pris en considération dans l'élaboration d'un système propre au Canada.

Source

Morgan, C., Day, D. et Petrosino, P. (2017). Examen des registres de programmes fondés sur des données probantes pertinents pour la prévention du crime. Ottawa : Sécurité publique Canada.

Date de modification :

2022-07-25