Évaluation du « Youth Inclusion Program » – Canada atlantique

Évaluation du « Youth Inclusion Program » – Canada atlantique PDF Version (115 KB)

Résumé

Conçu en 2000 par le Youth Justice Board dans le cadre d'une stratégie nationale visant à s'attaquer de façon proactive à la criminalité chez les jeunes en Angleterre et au pays de Galles, le Youth Inclusion Program (YIP) est un programme de quartier qui vise à réduire la criminalité et les comportements antisociaux chez les jeunes en créant un lieu sécuritaire où ceux-ci peuvent acquérir de nouvelles compétences, prendre part à des activités sociales et obtenir de l'aide pédagogique. Il fallait recueillir plus de données probantes pour déterminer l'efficacité du YIP dans divers contextes socio-culturels. Sécurité publique Canada (SP) a retenu les services de l'entreprise NRG Research Group^Footnote1 pour qu'elle effectue une évaluation des effets à plusieurs emplacements des projets du YIP mis en œuvre dans la région de l'Atlantique à l'aide du financement de SP : le Northside YIP à Sydney Nord, en Nouvelle‑Écosse (de janvier 2010 à juin 2013), le Seeds of Change YIP à Spryfield, en Nouvelle‑Écosse (de septembre 2010 à novembre 2012) et le ONE Change YIP à Saint John, au Nouveau‑Brunswick (d'avril 2010 à janvier 2014)^Footnote2. Ce  sommaire de l'évaluation finale fournit un survol de l'étude d'évaluation, d'une valeur de 427 534 $, qui a débuté en août 2010 et a pris fin en mars 2014.

Note de l'auteure

Les opinions exprimées sont celles des évaluatrices et ne représentent pas forcément celles de Sécurité publique Canada. Toute communication écrite concernant le présent rapport doit être adressée à la :

Division de la recherche, Sécurité publique Canada
340, avenue Laurier Ouest
Ottawa (Ontario)  K1A 0P8

Courriel : PS.CPBResearch-RechercheSPC.SP@ps-sp.gc.ca

Remerciements

L'auteure du présent rapport de recherche, Danièle Laliberté, aimerait remercier les évaluatrices Nathalie Gagnon et Lesley Duncan de leur excellent travail, les organismes hôtes de mise en œuvre pour leur solide soutien dans tous les aspects de l'évaluation (Chebucto Connections, ONE Change et Island Community Justice Society), ainsi que les services policiers et les écoles qui ont fourni leurs données et joué un rôle clé dans l'évaluation (Cape Breton Regional Police Service, Halifax Regional Police et Saint John Police Force, Cape Breton‑Victoria Regional School Board, J.L. Ilsley High School et Lorne Middle School). Merci également à Steve Turgeon (agent de programme régional de Sécurité publique Canada) qui a assumé la gestion des ententes de contribution pour la mise en œuvre des projets du YIP, ainsi que Lucy Burke (2009-2011) et Mary Peters (2011-2012) qui ont été les responsables techniques dans le cadre du contrat d'évaluation avant que Danièle Laliberté assume ce rôle. Merci tout particulièrement aux jeunes, aux parents, aux tuteurs et aux parties prenantes qui ont accepté de participer à l'évaluation.

Introduction

Description du programme

Le Youth Inclusion Program (YIP) est un programme de portée géographique qui vise à réduire la criminalité dans des quartiers spécifiques dont le taux de criminalité est élevé, en ciblant 50 jeunes âgés de 13 à 16 ans les plus à risque de délinquance. Ce programme complexe et intensif repose sur des plans d'action individualisés ciblant les facteurs de risque propres à chaque jeune. Les jeunes doivent recevoir environ dix heures d'intervention par semaine (500 heures par année), notamment une combinaison de séances de gestion de cas individuelles et d'activités de groupe comme la formation aux compétences de vie, du mentorat, du tutorat, des activités récréatives, ainsi que le soutien de pairs et des parents ou tuteurs. De plus, le programme oriente les participants vers des ressources externes dans la collectivité. En particulier, le YIP vise à augmenter les facteurs de protection, l'assiduité à l'école et les résultats scolaires, tout en réduisant les facteurs de risque, la délinquance et le nombre de jeunes ayant des démêlés avec le système de justice pénale. Trois projets du YIP mis en œuvre dans la région de l'Atlantique avec l'aide d'un financement de SP ont participé à une évaluation des effets menée par un fournisseur recruté par Sécurité publique Canada : le YIP de Northside à Sydney Nord, en Nouvelle‑Écosse (de janvier 2010 à juin 2013), le YIP de Seeds of Change à Spryfield, en Nouvelle‑Écosse (de septembre 2010 à novembre 2012) et le YIP de ONE Change à Saint John, au Nouveau‑Brunswick (d'avril 2010 à janvier 2014)^Footnote3. Sécurité publique Canada a consacré un montant de 427 534 $ à cette étude d'évaluation (d'août 2010 à mars 2014).

Objectifs de l’évaluation

Les principaux objectifs de l'évaluation d'impact étaient les suivants : déterminer si les effets attendus ont été atteints et si des effets imprévus ont été obtenus; cerner les leçons retenues en examinant ce qui a bien fonctionné et ce qui n'a pas bien fonctionné dans le programme; formuler des recommandations pour renforcer le programme; évaluer dans quelle mesure le projet a été mis en œuvre comme prévu; et obtenir une analyse descriptive des coûts du programme et réaliser une analyse coût-efficacité si cela est possible^Footnote9.

Méthodologie de l'évaluation et limites

Étant donné qu'il était difficile de trouver un groupe témoin approprié quant à la taille du groupe et aux caractéristiques des jeunes, on a adopté un devis à mesures répétées faisant appel à un seul groupe pour chacun des sites. Le volet quantitatif de l'évaluation se fondait sur les données recueillies avant l'intervention (pré-programme), durant l'intervention (programme), un an après (1re année subséquente) et deux ans après (2e année subséquente). Les évaluatrices ont utilisé les données de projet recueillies par le personnel au moyen de l'outil ONSET, les dossiers judiciaires et scolaires^Footnote10. Elles ont aussi mené 83 entrevues semi-structurées^Footnote11 avec 38 participants, 19 parents et 26 autres parties prenantes afin d'améliorer l'interprétation des données quantitatives au moyen de données qualitatives. qualitatives. De plus, on a procédé à une courte enquête auprès de 25 parties prenantes communautaires locales à l'emplacement Northside en janvier 2013^Footnote12 afin de recueillir des informations sur les incidents vécus par les entreprises au cours des trois années précédentes.

En fin de compte, on n'a pas procédé aux analyses statistiques déductives prévues pour cette évaluation en raison de la petite taille des échantillons ou du non-respect  des hypothèses statistiques requises. De plus, les hypothèses requises pour être en mesure de combiner et comparer des données entre les emplacements n'ont pas été respectées. Par conséquent, toute différence observée pourrait n'être que l'effet du hasard. Les analyses quantitatives étaient descriptives, portant sur les fréquences, les proportions et l'évaluation des écarts de moyennes. Comme pour tous les programmes volontaires nécessitant un consentement, l'évaluation du YIP a subi un biais de sélection ainsi qu'un biais relatif à l'attrition. Il était parfois impossible de valider les informations provenant de sources de données secondaires en raison du roulement du personnel et de changements de protocole. Tous les emplacements n'ont pas utilisé le cadre  d'ONSET de façon uniforme. En dépit de leurs efforts, les trois emplacements ont trouvé difficile de réévaluer tous les participants comme prévu. Certains jeunes ont participé à des activités du YIP avant leur admission officielle au programme; nous ne pouvons donc pas être certains que leurs mesures de base sont celles qu'elles auraient été s'ils n'avaient pas participé au YIP. En outre, certains changements mesurés dans les effets pourraient être le produit d'une combinaison du YIP et de nombreuses interventions externes fournies par d'autres organismes communautaires de la région (effets d'interaction. Par ailleurs, comme les données officielles de la police et des écoles n'ont pas été recueillies à des fins de recherche, mais plutôt pour des motifs administratifs et décisionnaires, et comme elles ont été consignées, entreposées et présentées en divers formats et selon différents échéanciers, il a été difficile d'utiliser ces données pour l'étude d'évaluation. Enfin, une différence de concept dans les données de la police et des écoles peut mener à des biais.

Résultats à court terme

D'après les mesures de l'outil ONSET, on peut voir dans le tableau 2 que le risque total de 67 % de tous les participants a diminué entre la période précédant le programme et la période subséquente à celui-ci. Pour chaque facteur de risque, il y a toujours eu plus de participants démontrant un changement positif que de jeunes démontrant des changements négatifs; qui plus est, dans le cas de huit facteurs de risque^Footnote13, the percentage of participants with a favorable change was at least 40%. The risk factors that had the largest number of youth improving were Lifestyle (53%), le pourcentage des participants démontrant un changement positif a été d'au moins 40 %. Les facteurs de risque pour lesquels le plus grand nombre de jeunes ont manifesté une amélioration sont les suivants : Style de vie (53 %), Pensées et comportements (49 %), École et éducation (48 %) et Relations familiales et personnelles (46 %).

Pour en savoir plus sur les facteurs de risque, consultez le document Youth Inclusion Program au Canada ONSET: Un outil d'évaluation des risques.

À l'emplacement Seeds of Change, le degré de risque global d'environ 75 % (n=8) des jeunes a augmenté ou n'a pas changé^Footnote14, cependant, les intervenants du projet ont affirmé au cours des entrevues approfondies avoir la nette impression que la participation au programme entraînait une amélioration chez la plupart des jeunes. Le degré de risque a diminué pour la grande majorité des participants à l'emplacement ONE Change (89 %, n=63) et à l'emplacement Northside (50 %, n=52). Ceux dont le degré de risque a diminué ont eu une diminution de plus de 10 points sur 48 (total de l'échelle ONSET). Les facteurs pour lesquels le plus grand nombre de jeunes à  Northside se sont améliorés sont les suivants : Pensées et comportements (49 %), École et éducation (44 %) et Style de vie (42 %). À l'emplacement ONE Change, la plus grande proportion d'amélioration a été, entre autres, pour les facteurs Style de vie (70 %), Relations familiales et personnelles (63 %) et Conditions de logement (62 %). À l'emplacement ONE Change, une proportion élevée de participants (60 %) a aussi marqué une réduction du risque pour les facteurs École et éducation et Santé mentale et affective. L'analyse des risques par rapport à l'intensité de l'intervention laisse entendre que les jeunes ayant participé le plus intensément à Northside et à ONE Change ont bénéficié le plus des interventions du YIP. À l'emplacement Northside, 60 % des jeunes à forte intensité (n=10) ont connu une diminution de leur cote de risque ONSET, comparativement à 47 % des jeunes ayant participé moins activement (n=38). À l'emplacement ONE Change, 94 % des jeunes à forte intensité de participation (n=17) ont connu une diminution de leur cote, comparativement à 87 % des jeunes ayant participé moins activement (n=45). Il faut faire preuve de circonspection en interprétant ces résultats, car il est possible que les participants dont le degré de participation était élevé aient eu un degré de risque moins élevé au cours de la période précédant le programme, ou que certains facteurs de risque aient été exclus au cours de la phase de référence, rendant difficile la prise en compte de tous les facteurs qui auraient pu contribuer à un changement positif dans les effets.

Résultats à moyen terme : rendement, absentéisme et suspensions scolaires

Dans l'ensemble, à l'emplacement ONE Change, le programme a produit des changements positifs dans les notes des jeunes. Environ 55 % (n=44) des participants à ONE Change ont augmenté leur moyenne pondérée cumulative (MPC) de 9 % durant le programme, et 47 % (n=17) ont démontré une amélioration de 5 % de leurs notes au cours de l'année suivant le YIP. Les jeunes participants à ONE Change étaient à des niveaux scolaires inférieurs à ceux des participants des deux autres emplacements, qui fréquentaient tous la même petite école. À l'emplacement Northside, 40 % (n=10) des participants ont démontré une augmentation de 25 % de leur MPC au cours de l'année suivant le programme. Ces jeunes pourraient avoir bénéficié du fait que leur programme comportait un volet académique. Quelques 28 % (n=32) des participants à Seeds of Change avaient amélioré leur MPC de 12 % un an après le YIP. Les jeunes de Seeds of Change commençaient leurs études secondaires et étaient généralement plus âgés que ceux des deux autres emplacements; leurs caractéristiques pourraient avoir été ancrées depuis plus longtemps et, par conséquent, être plus difficiles à changer. Le fait que de tels participants à risque élevé aient continué à fréquenter l'école est un indice que le YIP pourrait avoir contribué à rehausser leur attachement envers l'école.

À tous les emplacements et durant toutes les périodes de comparaison, au moins un quart (27 %) des jeunes ont réduit leur absentéisme du début à la fin de la période de comparaison. L'assiduité a été plus marquée chez les participants à intensité d'intervention élevée comparativement à ceux à moindre intensité aux emplacements Northside et ONE Change. À l'établissement Northside, environ 29 % (n=14) des participants ont réduit leur taux d'absentéisme durant le programme, et 61 % (n=18) au cours de l'année subséquente. Chez 47 % des jeunes à l'emplacement ONE Change, l'absentéisme a diminué durant le programme, et chez 48 % (n=23) un an après le programme. Quant à l'emplacement Seeds of Change, on a constaté chez 27 % (n=33) des jeunes une réduction de l'absentéisme de l'année du programme à l'année subséquente.

Aux trois emplacements, il y a eu augmentation de la fréquence et de la durée des suspensions de l'année du YIP à l'année subséquente, bien qu'on ait noté chez certains jeunes une réduction de la fréquence des suspensions (25 % à Northside, 40 % à ONE Change et 17 % à Seeds of Change)^Footnote15 et une réduction de leur durée (31 % à Northside, 40 % à ONE Change et 17 % à Seeds of Change). Les échantillons étaient de très petite taille pour l'analyse des suspensions, et ces résultats pourraient être aléatoires. Par ailleurs, à ONE Change, la durée de la suspension était déterminée en fonction à la fois du comportement ayant incité la suspension et du nombre de suspensions antérieures (le règlement exigeant que les suspensions subséquentes soient plus longues que les précédentes).

Effets à long terme : réduction du nombre d’actes criminels

Selon les dossiers de la police (voir le tableau 3), le pourcentage de jeunes qui ont démontré une réduction du nombre de fois où ils étaient soupçonnés d'avoir participé à des activités criminelles et contre qui la police a déposé (ou pas) des accusations (soupçonnés/accusés)^Footnote16 a été toujours égal ou supérieur à celui des jeunes ayant démontré une augmentation à l'emplacement Seeds of Change où 50 % des participants ont démontré une diminution deux ans après le YIP. À l'emplacement Northside, il y a eu diminution chez 60 % des jeunes une année après le YIP, et chez 59 % d'entre eux deux ans après. On a constaté une augmentation générale à l'emplacement ONE Change.

Chez les participants du YIP à ONE Change, il y a eu une augmentation générale des démêlés (soupçons/accusations) avec la police; autrement dit, 63 % des jeunes ont connu une augmentation des démêlés (soupçons/accusations) avec la police un an après leur participation au programme. Toute exposition à des composantes du YIP avant la date officielle de mise en œuvre rend plus difficile la tâche de déterminer la relation de cause à effet entre le programme et le nombre de démêlés avec la police^Footnote17. Aussi, au cours de la période précédant le programme, ces participants étaient trop jeunes pour avoir un dossier officiel de démêlés avec la police^Footnote18. Compte tenu de leur âge, il est possible qu'ils côtoyaient de nouveaux pairs et faisaient l'expérience de substances illicites pour la première fois durant la période du programme. L'augmentation des comportements antisociaux menant à des démêlés avec la police (soupçons/accusations) au cours de l'année suivant le programme pourrait être attribuable au fait que les jeunes ne faisaient plus partie du programme et avaient davantage de possibilités de s'adonner de nouveau à des activités négatives. Après avoir perdu l'aspect protecteur de l'intervention, un jeune pourrait avoir rechuté et fait de mauvais choix. Les jeunes à l'emplacement Northside qui ont participé intensément au YIP ont eu un nombre inférieur de démêlés (soupçons/accusations) durant toutes les périodes de mesure comparativement à ceux qui n'ont pas eu le même degré de participation. À l'emplacement ONE Change, les jeunes qui ont participé au nombre d'heures de programme recommandées ou plus ont aussi eu un nombre inférieur de démêlés (soupçons/accusations) comparativement à ceux qui ont eu une moindre exposition à l'intervention YIP.

On a également analysé le nombre moyen d'incidents soupçons/accusations par jeune (voir le tableau 4). D'après cet indicateur, qui est utilisé comme mesure de substitution pour le comportement criminel, il y a eu une réduction des infractions criminelles aux emplacements Northside et Seeds of Change au cours de la période allant de l'année précédant le programme à la deuxième année subséquente. Il convient de noter que le nombre moyen d'incidents soupçons/accusations par jeune a été inférieur au cours de l'année du programme et de la première année subséquente à Seeds of Change. À ONE Change, le nombre moyen d'incidents soupçons/accusations par jeune a été moins élevé durant l'année du programme qu'avant le programme.

Effets dans la collectivité (emplacement Northside seulement)

Huit des 25 entreprises (32 %) qui ont participé à l'enquête dans la collectivité en 2013 n'ont eu aucun des incidents énumérés dans le tableau 5 au cours des trois années du programme YIP. Lors d'une enquête semblable en 2010, toutes les entreprises avaient déclaré avoir subi certains des incidents; par exemple, au moins 40 % des entreprises avaient été victimes d'incidents comme des vols (52 %), des graffitis (48 %), et des fenêtres et des vitres cassées (40 %). La plupart des répondants de 2013 (entre 60 et 96 %, selon le type d'incident) n'ont pas remarqué de changement dans la fréquence des incidents. Cependant, dans la plupart des cas, en 2013, plus de répondants ont perçu une réduction de la fréquence qu'une augmentation. Aussi, selon le sondage de 2013, le nombre de jeunes flânant était moins élevé que les nombres indiqués dans les renseignements de référence recueillis avant l'intervention. Des entreprises qui ont participé à l'enquête, 60 % connaissaient l'existence du YIP, et 86 % estimaient que le programme était quelque peu ou entièrement responsable de la réduction des activités antisociales des jeunes dans la région.

Analyse des coûts

L'analyse descriptive des coûts^Footnote19 n'a été que dans deux emplacements car il n'a pas été possible de procéder à ce genre d'analyse pour l'emplacement Seeds of Change en raison de données incomplètes et du fait que le projet appuyait tant le YIP qu'un programme de récupération de crédits scolaires qui n'était pas restreint aux participants du YIP et auquel tous les participants du YIP ne participaient pas forcément. L'emplacement Northside a fait état de 1 100 251,11 $ de dépenses, et l'emplacement ONE Change 1 223 812,56 $. Au total à l'emplacement Northside, il y a eu 34 mois de temps de programme, et 99 jeunes pour qui des heures d'intervention ont été consignées. Le coût moyen par participant à l'emplacement Northside s'est chiffré à 11 755,45 $, et le coût moyen par heure d'intervention à 84,72 $. Au total à l'emplacement ONE Change, il y a eu 35 mois d'heures de programme, et 209 jeunes pour qui des heures d'intervention ont été consignées. À l'exclusion des coûts d'évaluation, le coût moyen par participant à l'emplacement ONE Change s'est chiffré à 5 855,56 $, et le coût moyen par heure d'intervention à 23,65 $. Les dépenses à l'emplacement Seeds of Change se sont élevées à 817 538,05 $.

Discussion

Étant donné qu'à l'emplacement ONE Change certains jeunes ont participé à des activités du YIP avant d'être officiellement admis, il a été difficile de déterminer dans quelle mesure les résultats peuvent être attribués à l'intervention. Ce défi fait ressortir davantage à quel point il est important d'harmoniser correctement le recrutement, la mise en œuvre du programme et les effets à évaluer. Autre constatation importante : les jeunes qui ont participé de façon plus intense au programme ont bénéficié davantage de l'intervention du YIP. Le fait que 67 % de tous les participants aient réduit leur degré de risque global en fonction des cotes ONSET est un indice que les effets à court terme visés par l'intervention du YIP ont été atteints. Il est important de noter que certains progrès ont aussi été réalisés en ce qui concerne les résultats à moyen terme en fonction des indicateurs scolaires. On a également constaté une réduction des comportements criminels chez plusieurs participants au YIP, surtout aux emplacements Northside et Seeds of Change, où 59 % et 50 %, respectivement, des jeunes ont diminué leur nombre de démêlés (soupçons/accusations) avec la police entre la fin du programme et la fin de la deuxième année subséquente. Il est intéressant de noter que 25 % des entreprises de Northside (n=25) ont constaté une diminution des incidents criminels pendant le programme. La majeure partie des représentants des entreprises de Northside ont déclaré estimer que le programme était quelque peu ou entièrement responsable de la réduction des comportements antisociaux des jeunes de la région.

Références

Gagnon, Nathalie et Lesley Duncan (2014). Youth Inclusion Program Evaluation: Final Report.Comprend les résultats de l'enquête dans la collectivité. Présenté en mars 2014 à Danièle Laliberté, responsable technique, Sécurité publique Canada. Adresses courriel : nathalie@dialogueconsulting.ca et lduncan@nrgresearchgroup.com.
Sécurité publique Canada, Youth Inclusion Program au Canada: Un outil d'évaluation des risques.

Date de modification :

2022-07-25