Sommaire d'évaluation : Résultats finaux – Stop Now and Plan (SNAPMD)
Table des matières
Introduction et description du programme
Le programme Stop Now And Plan (SNAPMD) est un programme communautaire à l'intention des enfants de 6 à 12 ans qui ont eu des démêlés avec le système de justice pénale ou qui risquent d'en avoir, et qui manifestent des signes précoces de comportements antisociaux ou agressifs.
Le programme fait appel à une approche cognitivo-comportementale à composantes multiples pour réduire les risques que les enfants adoptent des comportements délinquants. Le modèle SNAPMD se fonde sur un cadre exhaustif visant à enseigner efficacement aux enfants aux prises avec de graves problèmes comportementaux, les compétences nécessaires pour régulariser leurs émotions, avoir une meilleure maîtrise d'eux-mêmes et résoudre des problèmes.
Les principales composantes du programme consistent en des séances de groupe pour les enfants et des séances de groupe pour les parents. Le SNAP® Boys et le SNAP® Girls offrent des séances de groupe d'une durée de douze semaines adaptées au sexe de l'enfant qui montrent aux jeunes comment régulariser leurs émotions, avoir une meilleure maîtrise d'eux-mêmes et résoudre des problèmes. Le SNAP® Parent Group, offert en parallèle, enseigne aux parents des stratégies efficaces d'éducation des enfants. Le programme inclut aussi d'autres composantes, notamment le counseling et l'encadrement individuels, le counseling familial, l'encadrement scolaire, le leadership chez les jeunes, et une composante adaptée au sexe de l'enfant visant la saine croissance des filles (Girls Growing Up Healthy). Ces composantes sont recommandées en fonction d'une évaluation continue des niveaux de risque et de besoin que présente l'enfant.
Même si l'efficacité du programme SNAPMD a été prouvée dans les contextes canadien et américain (au sein de centres de santé mentale agréés et de milieux communautaires), on a mené une évaluation approfondie afin de mesurer l'impact du programme dans divers autres organismes communautaires partout au Canada (système de justice pour les jeunes, mentorat et réserves autochtones).
Le présent sommaire fournit un aperçu de l'évaluation d'impact multi-sites du programme SNAPMD, financée par la Stratégie nationale pour la prévention du crime (SNPC). Cette évaluation a servi à mesurer l'efficacité du programme dans trois collectivités uniques (Toronto, Edmonton et une Nation crie au Québec), ajoutant aux connaissances collectives quant aux pratiques efficaces en prévention du crime.
La SNPC a versé une somme d'environ dix millions de dollars pour le financement de neuf programmes SNAPMD partout au Canada (cette somme comprend les coûts liés à l'évaluation des processus). La SNPC a attribué un contrat à une entreprise indépendante pour qu'elle effectue l'évaluation d'impact multi-sites du programme SNAPMD. L'étude d'évaluation, d'une valeur de 875 000 $, a débuté en 2010 et s'est terminée en 2014.
Groupe cible
Les enfants admis au programme SNAPMD doivent avoir déjà eu des contacts avec la police, ou affiché des niveaux cliniques de comportements agressifs ou oppositionnelsFootnote11.
Dans les trois sites, les enfants ont été dirigés vers le programme surtout par les écoles et d'autres organismes de services sociaux ou à la personne. Le tableau 1 ci-dessous présente un sommaire des niveaux de risque que présentent les participants dans les trois sites, selon l'instrument Early Assessment of Risk List pour les garçons (EARL‑20B) ou les filles (EARL‑21G). Sur un total de 375 enfants participant à l'évaluation, 247 ont rempli ces questionnaires. Les données ainsi collectées montrent que les trois quarts environ des enfants admis au programme présentaient un risque moyen ou élevé. Il est à noter que le pourcentage de risque élevé était plus haut chez l'échantillon cri que dans les deux autres sites.
Général | Edmonton | Toronto | Nation crie | |||||
---|---|---|---|---|---|---|---|---|
Niveau de risque que présente l'enfant |
N = |
% |
N = |
% |
N = |
% |
N = |
% |
Élevé |
68 |
27,5 |
14 |
16,3 |
24 |
22,9 |
30 |
53,6 |
Moyen |
117 |
47,4 |
33 |
38,4 |
62 |
59,1 |
22 |
39,3 |
Faible |
62 |
25,1 |
39 |
45,3 |
19 |
18,1 |
4 |
7,1 |
Total |
247 |
100 % |
86 |
100 % |
105 |
100 % |
56 |
100 % |
Objectifs de l'évaluation
Les objectifs de l'évaluation sont les suivants :
- inclure les renseignements provenant de l'évaluation des processus et évaluer dans quelle mesure le projet est mis en œuvre comme prévu;
- déterminer si les effets prévus ont été atteints, et si des effets imprévus ont été obtenus;
- fournir une analyse descriptive des coûts pour chacun des projets et déterminer s'il est possible de réaliser une analyse coût-efficacité;
- cerner les leçons retenues et formuler des recommandations;
- évaluer dans quelle mesure chaque projet a été adapté aux besoins des jeunes et de la collectivité.
L'évaluation a servi à mesurer l'efficacité du programme SNAPMD dans trois sites de mise en œuvre : Toronto, Edmonton et une Nation crie au Québec. Elle visait principalement à répondre aux questions suivantes :
- Existe-t-il des ressemblances et des différences entre les sites relativement aux effets d'intérêt?
- Dans quelle mesure ces ressemblances et ces différences modifient-elles les effets d'intérêt?
- Quels facteurs contribuent à toutes différences ou ressemblances entre les sites en ce qui concerne le lieu, le groupe cible, le moment, la culture, etc.?
- Quels sont les changements longitudinaux chez le groupe expérimental seulement?
- Quelles différences et ressemblances peuvent être relevées entre le groupe expérimental et le groupe de comparaison pour ce qui concerne les effets d'intérêt?
- Dans quelle mesure les effets obtenus par les trois sites examinés peuvent-ils être généralisés pour différents groupes cibles et milieux?
Méthode d'évaluation
Dans les trois sites examinés sur une période de quatre ans, 375 enfants ont été admis au programme et ont commencé à recevoir des services dans le cadre des séances de groupe d'une durée de 12 semaines, qui constituent une composante principale du programme SNAPMD; 254 d'entre eux ont achevé au moins huit séances, pour un taux d'achèvement de 68 % au chapitre de l'assiduité aux séances de groupe. On a utilisé deux instruments normalisésFootnote1 pour mesurer l'impact du programme, dont l'un a été rempli par les parents (la CBCL; Child Behavior Checklist) et l'autre par un enseignant de l'école élémentaire de l'enfant (le TRF; Teacher Report Form). On a demandé aux parents et aux enseignants de répondre aux questionnaires CBCL et TRF avant le programme, immédiatement après le programme ainsi que 6, 12 et 24 mois après le programme. L'instrument EARL a servi à évaluer le risque et a été remis aux enfants avant le programme et immédiatement après le programme seulement.
Le personnel du programme a distribué certains des questionnaires, les évaluateurs en ont remis d'autres, et les développeurs du programme (le Child Development Institute [CDI]) ont participé aux vérifications de la fidélité. Le CDI a d'ailleurs créé l'outil initial de mesure de la fidélité qui a été adapté pour les analyses multivariables.
Des analyses longitudinales ont été réalisées dans les trois sites : on a effectué une comparaison avant et après l'intervention à l'aide des instruments normalisés susmentionnés. On a également formé un groupe expérimental différé (groupe de comparaison) à Toronto et à Edmonton, afin de comparer les changements entre les participants au programme SNAPMD et les enfants inscrits sur une liste d'attente de trois mois qui ne bénéficiaient pas du programme SNAPMD ou de services comparables.
On a demandé aux enfants mis sur une liste d'attente à Edmonton et à Toronto de répondre aux questionnaires au début de la période d'attente, puis à la fin de cette période. On aurait préféré prolonger la période d'attente, mais on a trouvé difficile de garder les familles nécessitant une intervention sur une liste d'attente pendant plus de trois mois. Par conséquent, après trois mois, les enfants étaient affectés à un groupe expérimental SNAPMD. Ce compromis signifie que l'évaluateur n'est pas en mesure de comparer les différences à long terme entre les enfants ayant suivi le programme SNAPMD et les enfants appartenant au groupe expérimental différé (GED), aux points de suivi de 6 et 12 mois. Plus nombreux sont les points de suivi après l'achèvement du programme, plus fiables sont les différences observées entre le groupe qui a suivi le programme SNAPMD et celui qui n'en a pas bénéficié.
Tous les intervenants des sites SNAPMD ont confirmé que les enfants n'avaient reçu aucune intervention liée au programme SNAPMD ou aucun autre service comparable durant la période d'attente. Au moyen d'une série de tests t, on a comparé le groupe SNAPMD et le GED au départ, pour constater qu'il n'existait aucune différence statistiquement significative entre les deux. Plus le groupe expérimental et le groupe de comparaison se ressemblent, plus grande est la certitude que les résultats sont attribuables au programme et non à la prédisposition des groupes.
On a triangulé les informations tirées des méthodes qualitatives (entrevues avec les informateurs clés, c.‑à‑d. les parents et les enseignants des enfants suivant le programme SNAPMD) avec les résultats quantitatifs, afin d'accroître la compréhension globale des facteurs à l'origine des effets observés.
Effets mesurés
Chez les enfants, les effets ciblés incluent la diminution des comportements d'extériorisation (définis comme une combinaison de violation des règles et d'agressivité dans les instruments CBCL et TRF), du trouble des conduites, du trouble oppositionnel avec provocation, du trouble de l'attention ainsi que des comportements d'intériorisation concomitants (anxiété, repli sur soi, dépression et troubles somatiques). Ils incluent également l'augmentation des comportements prosociaux (p. ex., la compétence et la capacité d'adaptation). Chez les parents, les effets mesurés comprennent le renforcement des stratégies d'éducation des enfants, la réduction des facteurs de risque liés à la famille, et l'amélioration des relations avec les enfants.
Afin d'éviter que les résultats se fondent uniquement sur les données fournies par les parents et les enseignants, la Division de la recherche a encouragé l'utilisation des données sur les contacts avec la police et les suspensions scolaires. Or, les données de la police n'ont pu être obtenues dans aucun des trois sites en raison de l'âge des enfants. Pour leur part, les données sur les suspensions scolaires n'étaient pas normalisées dans les écoles situées près des sites d'évaluation, ce qui a nuit à la compréhension de l'influence des changements comportementaux des enfants sur les effets en milieu scolaire.
Mesure de la fidélité
Dans chaque site, l'évaluateur a procédé à une évaluation de la fidélité en collaboration avec le CDI, afin de cerner la mesure dans laquelle les projets respectaient les normes de mise en œuvre du programme SNAPMD, et de déterminer l'impact de la fidélité au programme sur les effets d'intérêt. Un instrument quantitatif de mesure de la fidélité et un modèle de cotation ont été élaborés, des scores étant attribués à chaque site pour plusieurs éléments, notamment la mise en œuvre, le degré d'intervention, la qualité et la réceptivité des participants.
Analyse statistique
Pour comparer les problèmes comportementaux entre le groupe expérimental et le groupe de comparaison, on a effectué une série d'analyses de covariance tenant compte du niveau initial de problèmes comportementaux. Pour examiner l'impact du programme SNAPMD et évaluer les différences entre le début et la fin du programme aux points de suivi de 3, 6 et 12 moisFootnote2, on a fait appel à des modèles mixtes (modèle de changement à plusieurs niveaux) pour chaque variable dépendante ciblée, ce qui a permis de mesurer l'impact global du programme lorsqu'il s'agit de réduire le comportement antisocial des enfants ou d'accroître leurs compétences sociales. Il est avantageux de suivre des procédures statistiques faisant appel à un modèle mixte au lieu de procéder à la traditionnelle analyse de la variance faisant appel à des mesures répétées, car les évaluateurs peuvent ainsi utiliser tous les renseignements disponibles et fournir des prévisions lorsqu'il manque des données.
En ce qui concerne les données découlant du processus de mesure de la fidélité, pour chacun des sites, on a effectué une analyse de la variance afin d'examiner la différence dans le degré de services offerts dans le cadre du programme entre les enfants des trois groupes de risque définis par l'instrument EARL (risque faible, moyen et élevé). La théorie de Spearman a permis de déterminer si les enfants présentant un risque élevé bénéficiaient du degré d'intervention approprié après la fin de la principale composante de 12 semaines.
Limites de l'évaluation
Certains biais menaçant la validité ont limité la capacité de l'évaluateur d'attribuer les changements mesurés au programme SNAPMD. Pour les comparaisons, on a eu recours à un GEDFootnote3 à Edmonton et à Toronto parce qu'un devis plus rigoureux (p. ex., un essai clinique randomisé) n'était pas faisable, vu que l'accord de financement priorisait la prestation de services à tous les enfants à risque admissibles au programme. Cette priorité a limité la capacité de randomiser le groupe d'enfants ne bénéficiant pas du programme. En outre, les GED d'Edmonton et de Toronto étaient petits, comptant 19 et 18 enfants respectivement, ce qui a limité l'efficacité statistique. Par ailleurs, la période d'attente s'est étalée sur trois mois seulement, ce qui a empêché les évaluateurs de comparer les différences entre les enfants du groupe expérimental et du groupe de comparaison à de plus longs intervalles de suiviFootnote4.
Seules les données obtenues des parents et des enseignants ont été utilisées, ce qui a limité la capacité de l'évaluateur de trianguler d'autres sources de données telles que les informations sur les suspensions scolaires ou les contacts avec la police.
Enfin, les projets SNAPMD qui ont fait l'objet d'une évaluation sont des programmes communautaires financés et sélectionnés par la SNPC qui ont été mis en œuvre dans un environnement non clinique. Les intervenants de tous ces projets exécutaient différents programmes avant de recevoir des fonds de la SNPC. Au moment d'examiner les résultats exposés dans le présent sommaire, il ne faut pas oublier que les intervenants ont disposé d'une période relativement courte (six mois) pour apprendre à connaître le modèle SNAPMD et l'appliquer. Or, la documentation scientifique portant sur la mise en œuvre indique qu'il faut environ deux à quatre ans pour mettre en œuvre efficacement un programme modèle fondé sur des données probantes (Fixen et coll., 2009).
Principales constatations
Participation au programme
Le tableau 2 présente les taux de participation dans les trois sites aux fins de l'évaluation d'impact.
Variable | Edmonton | Toronto | Nation crie |
---|---|---|---|
Nombre de références | 147 | 202 | 150 |
Nombre d'enfants inscrits | 104 | 121 | 150 |
Nombre d'enfants/au moins 8 séances de groupe sur les 12 prévues par le programme SNAPMD |
96 | 109 | 49 |
Taux d'attrition | 7,7 % | 11,0 % | 69,3 % |
Durée moyenne de la participation au programme (semaines) | 61,3 | 55,3 | 6,3 |
Âge moyen (années) | 9,1 | 8,4 | 8,8 |
Garçons/filles (%) | 70/30 | 75/25 | 63/37 |
Principale source de références | Écoles (41 %) | Écoles (64 %) | Écoles (86 %) |
Nombre moyen de séances de groupe/enfant | 10,4 | 10,3 | 6,8 |
Nombre moyen de séances de groupe/parent | 10,2 | 9,3 | 4,2 |
Fidélité au programme
Le score maximum possible pour la fidélité était de 102; Edmonton a obtenu un score de 90 (très haute fidélité), Toronto de 83,5 (haute fidélité) et la Nation crie de 54,5 (basse fidélité). Ces résultats indiquent que Toronto et Edmonton ont mis en œuvre le programme comme prévu et joint le groupe cible approprié, alors que la Nation crie a éprouvé de la difficulté à bien mettre en œuvre le programme, à maintenir la participation des enfants et des parents, ainsi qu'à offrir aux enfants le degré d'intervention approprié compte tenu de leur niveau de risque.
En ce qui concerne le risque, le nombre total d'autres séances auxquelles les enfants ont assisté et les heures totales de participation à ces séances, on a constaté, à Edmonton et à Toronto, une relation positive statistiquement significative entre ces variables et le niveau de risque, ce qui prouve que les enfants présentant des niveaux de risque élevés ont bénéficié d'un plus haut degré d'intervention que les enfants à plus faible risque. En revanche, on n'a constaté aucune corrélation positive statistiquement significative dans la Nation crie, ce qui donne à penser que les enfants présentant un risque élevé n'ont pas bénéficié d'un plus haut degré d'intervention que les enfants à plus faible risque.
Résultats des analyses longitudinales
Les analyses longitudinales ont permis d'évaluer les changements dans les principales variables à trois points de suivi après la fin du programme. Ces résultats n'incluent pas les différences entre les enfants qui ont participé au programme SNAPMD et ceux qui n'ont pas suivi le programme.
Le questionnaire rempli par les parents (la CBCL) contenait seize (16) variables individuelles, notamment l'agressivité, le trouble des conduites, la violation des règles et le trouble de l'attention. Le tableau 3 ci-dessous résume, pour les trois sites, les effets observés chez les enfants faisant partie du groupe expérimental seulement, selon la CBCL, dans le cadre d'un devis faisant appel à des mesures répétées. Les résultats sont classés comme étant favorables (F), défavorables (U) ou non significatifs (NS). Si l'on compare les données collectées avant et après l'intervention à Edmonton, à Toronto et dans la Nation crie, on constate que le programme a entraîné des améliorations dans les variables qui sont significatives sur le plan statistique et importantes sur le plan clinique respectivement. Toutefois, le questionnaire rempli par les enseignants n'a pas montré grand améliorationFootnote5.
Échelle/facteur | Edmonton Entre le début du programme (N = 80) et 24 mois après le programme (N = 39) |
Toronto Entre le début du programme (N = 84) et 12 mois après le programme (N = 65) |
Nation crie Entre le début du programme (N = 67) et la fin du programme (N = 50) |
---|---|---|---|
Échelles de problèmes | |||
Problèmes d'extériorisation | F | F | F |
Violation des règles | F | F | F |
Agressivité | F | F | F |
Trouble de l'attention | F | N | F |
Problèmes d'intériorisation | F | F | F |
Anxiété | F | F | F |
Repli sur soi | F | NS | NS |
Troubles somatiques | F | F | F |
Total des problèmes | F | F | F |
Trouble affectif – DSM | F | F | F |
Trouble anxieux – DSM | F | F | F |
Troubles somatiques – DSM | F | NS | F |
Trouble d'hyperactivité avec déficit de l'attention – DSM | F | NS | F |
Trouble oppositionnel avec provocation – DSM | F | F | F |
Trouble des conduites – DSM | F | F | F |
Échelles de compétences | |||
Total des compétences | F | N | N |
Nota : Tous les changements favorables (F) étaient statistiquement significatifs au niveau p<0,05. |
Même si les résultats ci-dessus sont prometteurs, il importe de noter que des résultats longitudinaux ne permettent pas de confirmer l'attribution au programme. On a tenté d'accroître la fiabilité des résultats en triangulant les données quantitatives avec quelques données qualitatives (entrevues avec les parents et les enseignants).
D'après les parents interrogés à Edmonton et à Toronto, l'intervention aurait eu des effets positifs sur les comportements d'extériorisation et, dans une mesure moindre, sur les comportements d'intériorisation, la communication et les relations entre le parent et l'enfant, la sociabilité de l'enfant et la compétence sociale. De plus, les entrevues avec les parents cris laissent entrevoir chez les enfants des effets positifs considérables sur les comportements d'extériorisation (en particulier la violation des règles, l'agressivité et la provocation), la communication et la qualité de la relation entre le parent et l'enfant, de même que la sociabilité générale de l'enfant. Plusieurs parents ont noté l'impact positif du programme SNAPMD sur leurs compétences parentales, ce qui a accru leur confiance dans leurs habiletés. Ces résultats sont classés ci-dessous dans la catégorie des effets favorables (F), des effets défavorables (U) ou des effets non significatifs (NS).
Facteur | Edmonton Parents (N = 19) Enseignants (N = 18) |
Toronto Parents (N = 20) Enseignants (N = 15) |
Nation crie Parents (N = 15) Enseignants (N = 9) |
---|---|---|---|
Constatations qualitativesFootnote6 | |||
Comportements d'extériorisation | F | F | F |
Comportements d'intériorisation | F | F | N |
Sociabilité de l'enfant/compétence sociale | F | F | F |
Fonctionnement parent/enfant/famille | F | F | F |
Comportement à l'école | F | N | N |
N : Aucun changement observé entre le début et la fin du programme |
En combinaison avec les constatations qualitatives, ces analyses longitudinales contribuent à prouver que le programme SNAPMD provoque des changements favorables dans les principaux comportements d'extériorisation et d'intériorisation, dont la modification peut réduire les démêlés ultérieurs avec le système de justice pénale. Par ailleurs, les entrevues menées auprès d'enseignants à Edmonton, à Toronto et dans la Nation crie laissent entrevoir, dans une mesure beaucoup moindre, des améliorations dans le comportement et la sociabilité de l'enfant en classeFootnote7.
Résultats des analyses des groupes de comparaison
À l'aide d'un groupe de comparaison composé d'enfants mis sur une liste d'attente, il est possible de déterminer si les changements observés dans le cadre des analyses longitudinales, au tableau 3, résultent du programme SNAPMD. Lorsqu'on évalue les changements chez des enfants par exemple, il ne faut pas oublier que la maturation au fil du temps peut entraîner un changement favorable même si les enfants ne bénéficient d'aucune intervention. C'est pourquoi il est important de comparer les participants au programme avec des enfants n'ayant pas suivi le programme.
Les résultats des projets de Toronto et d'Edmonton n'ont montré aucune différence significative dans les effets entre le groupe expérimental et le groupe de comparaison. Toutefois, ces résultats peuvent être partiellement attribuables à la taille d'échantillon relativement petite et à l'efficacité statistique s'en trouvant potentiellement réduite. Ils pourraient aussi être attribuables à la période limitée que les participants ont passée sur la liste d'attenteFootnote8. On n'a pas été en mesure de former un groupe de comparaison dans la Nation crie.
Échelle/facteur | Edmonton Groupe SNAPMD N=85 Groupe de comparaison N=19 |
Toronto Groupe SNAPMD N=90 Groupe de comparaison N=18 |
---|---|---|
Échelles de problèmes | ||
Problèmes d'extériorisation | NS | NS |
Violation des règles | NS | NS |
Agressivité | NS | NS |
Trouble de l'attention | NS | NS |
Problèmes d'intériorisation | NS | NS |
Anxiété | NS | NS |
Repli sur soi | NS | NS |
Troubles somatiques | NS | NS |
Total des problèmes | NS | NS |
Trouble affectif – DSM | NS | NS |
Trouble anxieux – DSM | NS | NS |
Troubles somatiques – DSM | NS | NS |
Trouble d'hyperactivité avec déficit de l'attention – DSM | NS | NS |
Trouble oppositionnel avec provocation – DSM | NS | NS |
Trouble des conduites – DSM | NS | NS |
Échelles de compétences | NS | NS |
NS : Aucun changement statistiquement significatif entre le prétest et le post-test |
||
Nota : Ces résultats s'appuient sur un questionnaire rempli avant et après le programme par les participants et un groupe n'ayant pas suivi le programme pendant trois à quatre mois. |
Analyse économique
Bien que le coût par participant ait été calculé pour chacun des trois projets, comme le montre le tableau 6 ci-dessous, il n'a pas été possible de réaliser une analyse coût-efficacité (ACE) à la fin du programme, puisqu'aucune échelle ne comportait de tailles d'effet statistiquement significatives dans l'analyse du groupe de comparaison, que ce soit à Edmonton ou à Toronto. Dans les trois sites examinés, le coût par participant s'est avéré plus élevé que le coût standard déterminé par le CDI. Ce coût plus élevé est potentiellement attribuable aux frais de « démarrage », les responsables des projets ayant investi beaucoup de temps et d'argent dès le départ pour recruter et former du personnel, lancer des initiatives, accroître la sensibilisation et la confiance dans leurs collectivités, stimuler la référence des enfants admissibles vers le programme, et veiller à ce que le personnel soit bien outillé pour donner les séances de groupe. Par nature, ces activités de développement font monter le coût par participant à court terme; les économies de coûts et les gains d'efficience dans les processus réalisés au CDI, qui font baisser le coût par participant, ne sont donc pas évidents pour une collectivité qui lance un programme SNAPMD et l'exécute pendant une courte période fixe.
Site | Coût/enfant ayant achevé le programme |
Coût/participant |
---|---|---|
Edmonton | 10 451,65 $ | 9 647,68 $ |
Toronto | 16 811,94 $ | 15 144,64 $ |
Nation crie | 35 303,78 $ | 16 633,51 $ |
Conseils du CDI | -- | 6 735,00 $Footnote10 |
Leçons retenues et recommandations
L'évaluation nationale multi-sites du programme Stop Now and Plan a permis de retenir un certain nombre de leçons. Les organisations non gouvernementales devraient tenir compte des leçons suivantes si elles envisagent de mettre en œuvre ou d'évaluer un programme fondé sur des données probantes exhaustif destiné à des enfants de moins de 12 ans.
Temps suffisant pour développer le projet
Le programme SNAPMD exige beaucoup de ressources pour le recrutement, la gestion des cas, l'évaluation, la gestion des données, l'approche des clients et d'autres processus nécessaires pour s'assurer qu'il est hautement fidèle et conforme au contrat de licence du CDI, surtout lorsqu'il est mis en œuvre par des groupes communautaires sans expertise en gestion clinique. Les responsables du programme doivent fixer des attentes raisonnables à l'égard de ces diverses tâches, afin de veiller à ce que le personnel ait amplement le temps de développer le projet et de s'accoutumer au modèle SNAPMD.
Recrutement
Les responsables du programme devraient entretenir des relations étroites avec la police et la commission scolaire. Ces institutions aideront à diriger les enfants appropriés vers le programme, et elles s'assureront que les renseignements nécessaires au sujet des contacts avec la police et des suspensions scolaires, sont fournis et inclus à des fins d'analyse potentielle.
Accès à du personnel clinique
Lorsqu'un projet SNAPMD n'est pas mis en œuvre dans un milieu clinique, il peut s'avérer nécessaire d'approfondir la formation afin d'accroître la probabilité que le projet produise le changement comportemental escompté, que le modèle SNAPMD est censé provoquer. Le personnel du programme ne possédant aucune expérience clinique a eu de la difficulté à déterminer si l'intervention devait se poursuivre au-delà de la principale composante de 12 semaines.
Traduction des documents
Les programmes fondés sur des données probantes doivent encore être adaptés aux besoins culturels, à l'emplacement géographique, au sexe et à d'autres facteurs uniques qui peuvent contribuer à modifier la mise en œuvre du programme. En particulier, les enfants cris et leurs parents avaient besoin de recevoir les documents dans leur langue afin de pouvoir réagir et participer efficacement.
Méthodes d'évaluation
Bien qu'il soit toujours utile d'utiliser un devis d'évaluation quasi-expérimental faisant appel à un groupe de comparaison, ou un devis équivalent, pour déterminer l'efficacité d'une intervention, lorsque les tailles d'échantillon sont petites, il est important d'incorporer des méthodes qualitatives rigoureuses. Il est recommandé d'étudier et d'employer des méthodes réalistes qui tiennent compte de la relation entre le contexte, les mécanismes et les effets, pour compléter les devis d'évaluation traditionnels.
Instruments servant à mesurer les effets
Il est important que les organismes qui tentent de mettre en œuvre le programme SNAPMD, reconnaissent qu'il faut beaucoup de temps pour faire remplir les questionnaires requis et entrer les données. Les responsables et les évaluateurs de projets qui souhaitent employer des mesures additionnelles devraient déterminer si ces mesures ajouteront de la valeur à l'évaluation.
Lorsque l'échantillon est assez grand, il est recommandé que les évaluateurs étudient la faisabilité de réduire les questions à un nombre gérable dans les instruments normalisés requis par le CDI. Les évaluateurs peuvent y parvenir, tout en maintenant la validité conceptuelle, en faisant appel à divers tests statistiques tels qu'une analyse factorielle. En s'efforçant de faciliter la gestion des instruments, les évaluateurs accroîtront la participation au programme, réduiront l'attrition, et permettront la mise à l'essai d'autres mesures complémentaires pouvant être utilisées dans chaque nouvelle évaluation.
Honoraires
Il faudrait recourir à des incitatifs financiers et non financiers pour encourager les participants, les parents et les enseignants à assister aux séances d'évaluation précédant et suivant le programme. En plus d'offrir des incitatifs financiers, les évaluateurs et les responsables des projets devraient faire preuve de créativité, afin de proposer aux participants des incitatifs non financiers qui ajouteront de la valeur à leur apprentissage et à leur participation au processus de mesure.
Protocoles normalisés concernant les données des enseignants
Les enfants auront souvent plus d'un enseignant durant le programme et le cycle d'évaluation. À des fins d'uniformité entre les sites, il faudrait établir un protocole standard pour s'assurer que les résultats sont comparables. Par exemple, un enseignant qui a observé un enfant pendant trois heures peut donner des réponses défavorables parce qu'il n'a pas eu suffisamment de temps pour constater des changements sur une période raisonnable. Le manque de normalisation à cet égard peut contribuer à fausser les résultats.
Leçons retenues et recommandations propres à un site
Site cri
L'évaluation effectuée au site cri a permis de retenir les leçons suivantes :
- Les jeunes autochtones qui habitent des collectivités rurales sont plus susceptibles de ne pas assister au nombre requis de séances de thérapie cognitivo-comportementale, en raison de la distance entre leur foyer et le lieu du programme.
- Les jeunes autochtones sont plus susceptibles d'éprouver de la difficulté à comprendre le contenu si le cursus n'est pas adapté à leur première langue (le cri) et à leurs normes culturelles.
- Les parents des jeunes autochtones à risque qui habitent des collectivités rurales se préoccupent davantage de la stigmatisation, ce qui réduit considérablement leur participation aux séances de groupe pour les parents.
Ces trois variables de confusion clés dans le site cri peuvent avoir influé sur la réalisation des effets habituels. Elles n'étaient pas présentes dans les deux autres sites.
Références
Astwood Strategy Corporation; responsable technique et gestionnaire du contrat : Donna Smith‑Moncrieffe, SSCRC, Division de la recherche.
Fixsen, D.L., K.A. Blasé, S.F. Naoom et F. Wallace. « Core implementation components », Research on Social Work Practice, vol. 19, 2009, p. 531‑540.
Smith-Moncrieffe, D., et L. Léonard. The Feasibility of the Realist Approach with Canadian Evaluations, présentation au congrès de la Société canadienne d'évaluation, Centre des congrès d'Ottawa, 17 juin 2014.
Notes
- 1
Créés par le Child Development Institute : http://www.childdevelop.ca/about-us
- 2
Les niveaux cliniques sont évalués au moyen d'instruments normalisés. Un score T supérieur à 70 indique que les comportements d'extériorisation et d'intériorisation de l'enfant le rendent vulnérable à des démêlés ultérieurs avec le système de justice.
- 3
On a réussi à collecter des données de suivi jusqu'à 24 mois après le programme pour le projet d'Edmonton.
- 4
En raison de difficultés liées à la taille d'échantillon dans le site cri, il n'a pas été possible de garder les enfants sur une liste d'attente afin de s'en servir comme groupe expérimental différé.
- 5
Pour réaliser un essai clinique randomisé, il faut affecter aléatoirement les enfants au groupe expérimental et au groupe témoin, afin de s'assurer que certaines caractéristiques sont les mêmes dans les deux groupes. Il est peu probable que ce genre d'étude soit financé par un accord de contribution, puisque celui-ci vise à faire en sorte que les jeunes bénéficient de l'intervention. L'accord de contribution peut donc nuire à l'exigence voulant que les jeunes soient affectés aléatoirement au groupe expérimental et au groupe témoin à des fins de recherche.
- 6
Toutes les tailles d'effet statistiquement significatives étaient petites, allant de 0,06 à 0,25.
- 7
Pour les rapports annuels finaux sur chacun des projets, on a interrogé au total, suivant un guide d'entrevue standard, 54 parents (Edmonton, N = 19; Toronto, N = 20; Nation crie, N = 15) et 42 enseignants (Edmonton, N = 18; Toronto, N = 15; Nation crie, N = 9). Pour chaque facteur, on a analysé tous les commentaires des parents et des enseignants afin de déterminer l'impact du programme. Lorsque les constatations qualitatives démontraient clairement l'impact du programme pour chaque facteur, on a conclu que le projet avait entraîné un changement favorable (F). Lorsque les constatations qualitatives indiquaient peu de changement, voire aucun, on a conclu que le projet n'avait provoqué aucun changement (N). Des changements défavorables (U) n'ont été signalés pour aucun des projets.
- 8
Vous trouverez de plus amples renseignements sur les constatations qualitatives dans le rapport final.
- 9
Idéalement, d'après le plan d'évaluation, les participants auraient dû rester en attente pendant six mois, mais comme les projets ne comptaient pas assez de participants, il a fallu raccourcir la période d'attente.
- 10
Les coûts du programme SNAPMDsont habituellement calculés en fonction du degré de prestation de services pour les niveaux de risque faible-élevé (1 729 $), moyen-élevé (4 166 $) ou élevé-élevé (8 503 $). Ces coûts comprennent les coûts indirects (p. ex., la coordination des cas, les fournitures du programme, les services de recrutement), estimés à 50 %. D.P. Farrington et C.J. Koegl, « Monetary benefits and costs of the Stop Now And Plan program for boys aged 6-11, based on the prevention of later offending », Journal of Quantitative Criminology, 2014. DOI : 10.1007/s10940-014-9240-7.
- 11
Pour un garçon à risque élevé évalué au moyen de l’instrument EARL.
- Date de modification :