Rapport de recherche : Sommaire d’évaluation du programme Life Skills Training
Table des matières
- Introduction
- Constatations tirées de l’évaluation des processus
- Constatations tirées de l’évaluation des impacts
- Aptitude à prendre des décisions
- Image de soi des participants
- Capacité d’adaptation
- Connaissances antidrogues
- Connaissances culturelles
- Compétences de maîtrise de soi
- Aptitudes sociales
- Capacité à résister aux pressions de consommer de l’alcool et des drogues
- Attitudes et normes antidrogues
- Communication entre parents et enfants
- Fierté culturelle
- Toxicomanie
- Aptitude à prendre des décisions
- Analyse des coûts
- Leçons retenues
- Conclusion
par Giselle Rosario
2015‒R013
Sommaire
Le présent rapport de recherche donne les résultats de l’évaluation du programme Life Skills Training (LST) mis en œuvre à Edmonton, en Alberta. Le programme LST est un programme de prévention ciblant la consommation de drogue et d’alcool chez les adolescents.
La mise en œuvre et l’évaluation de programmes modèles nous donnent l’occasion d’évaluer quels facteurs provoquent des changements au sein de différentes populations cibles dans divers contextes. Cette étude d’évaluation a été effectuée de 2010 à 2014 et adaptée à une population autochtone. Il n’a pas été possible, à partir des données disponibles, de tirer des conclusions valides quant à l’effet du programme LST sur le début de la consommation de substances, le projet ayant été confronté à des difficultés en ce qui concerne l’inscription, le maintien de la participation et l’abandon du programme. Les constatations qualitatives étaient toutefois positives pour la plupart des variables.
Note de l’auteure
Les opinions exprimées dans le présent document sont celles de l’auteure et ne traduisent pas nécessairement celles de Sécurité publique Canada. Prière d’acheminer toute correspondance à propos du présent rapport à l’adresse suivante : Division de la recherche, Sécurité publique Canada, 340, avenue Laurier Ouest, Ottawa (Ontario), K1A 0P8. Courriel : PS.CPBResearch-RechercheSPC.SP@ps-sp.gc.ca.
Remerciements
Sécurité publique reconnaît le travail du comité consultatif de l’évaluation, du gestionnaire du programme et du personnel responsable de la mise en œuvre du projet, ainsi que de l’équipe d’évaluation sous-traitée, dirigée par R.A. Malatest & Associates.
Introduction
La consommation précoce et excessive d’alcool et de drogues est un facteur criminogène bien connu. Même si les évaluations du programme Life Skills Training (LST) aux États-Unis ont montré que ce programme donnait de bons résultats, aucune évaluation n’a visé à en déterminer l’efficacité dans un contexte canadien, en particulier dans le contexte des collectivités autochtones. C’est pourquoi la Stratégie nationale pour la prévention du crime (SNPC) a financé l’évaluationNote de bas de page1 d’un projet LST en Alberta, lequel visait principalement les jeunes Autochtones en milieu urbain, pour mettre à l’essai ce programme prometteur au Canada.
La Ben Calf Robe Society, un organisme de soutien social, a offert le programme LST à de jeunes Autochtones et non-Autochtones d’Edmonton dans le cadre d’activités parascolaires. La SNPC a versé 628 584 $ à la Ben Calf Robe Society pour qu’elle mette en œuvre le projet de 2010 à 2013.
Description du programme
Le programme LST de Botvin est un programme de prévention scolaire qui cible la consommation précoce de drogue et d’alcool par les adolescents, surtout ceux qui vont à l’école intermédiaire (sixième et septième années). Le programme LST a pour principaux objectifs de prévenir la toxicomanie parmi les adolescents, ainsi que d’encourager l’adoption de solutions saines en remplacement du comportement risqué, et ce, au moyen d’activités visant à :
- enseigner les compétences nécessaires pour résister aux pressions sociales de fumer, de boire et de consommer de la drogue;
- se forger une image de soi positive;
- acquérir des compétences pour composer efficacement avec l’anxiété;
- accroître la connaissance des conséquences immédiates de la toxicomanie;
- améliorer la compétence cognitive et comportementale en vue de réduire et de prévenir divers comportements posant un risque pour la santé.
Ces activités servent les objectifs du programme LST, qui consistent à réduire les risques de toxicomanie en diminuant la motivation personnelle à consommer, et à réduire la vulnérabilité des jeunes aux facteurs sociaux qui encouragent la consommation.
Le programme est donné à l’école intermédiaire à raison de 15 séances au cours de la première année, de 10 séances au cours de la deuxième et de 5 séances au cours de la troisième. Chaque séance dure environ 45 minutes. Les modules destinés aux jeunes comportent trois grandes composantes axées sur l’aptitude à prendre des décisions pour prévenir la consommation d’alcool, de tabac et de drogues. La première composante est conçue pour enseigner aux élèves un ensemble de compétences générales de maîtrise de soi, la deuxième, des aptitudes sociales générales, et la troisième, des compétences et de la matière se rapportant précisément au problème de la consommation de substances.
Les séances de renforcement (deux dernières années du programme) visent à permettre aux élèves de la huitième et de la neuvième années de mettre en pratique les aptitudes sociales et personnelles apprises au cours de la première année du programme.
La Ben Calf Robe Society a sélectionné les participants selon les critères de recrutement du programme LST, soit les problèmes comportementaux à un jeune âge, l’hostilité, l’agressivité et un manque d’aptitudes sociales, la consommation de drogues ou d’alcool, ainsi que les démêlés avec la justice ou les contacts avec les services à l’enfance à un jeune âge. Le formulaire de présélection utilisé dans le cadre du programme ne mesurait pas les facteurs de risque. Il revenait plutôt au facilitateur du programme d’évaluer l’admissibilité des jeunes au cas par cas.
La Ben Calf Robe Society a adapté le programmeNote de bas de page2 et l’a offert à des élèves de la quatrième à la neuvième année, à partir de leur quatrième ou de leur septième année. Quatre cycles de participants ont été évalués, et les effets mesurés visaient les deux derniers cycles.
Objectifs de l’évaluation
La SNPC a attribué un contrat à une entreprise indépendante, R.A. Malatest & Associates Ltd., pour qu’elle effectue l’évaluation des impacts du projet LSTNote de bas de page3. L’étude d’évaluation des impacts a eu lieu de septembre 2010 à mars 2014. Les objectifs de l’évaluation étaient les suivants :
- évaluer dans quelle mesure le projet a été mis en œuvre comme prévu;
- déterminer si les effets attendus ont été atteints et s’il s’est produit des effets imprévus;
- fournir une analyse descriptive des coûts de chaque projet;
- cerner les leçons apprises, en examinant ce qui a bien fonctionné et ce qui a moins bien fonctionné, et formuler des recommandations pour renforcer le programme afin d’aider tous ceux qui désirent mettre en œuvre ou soutenir une initiative de ce genre ultérieurement;
- évaluer dans quelle mesure chaque projet a été adapté pour répondre aux besoins des jeunes ou de la collectivité.
Évaluation du programme LST
Le présent sommaire d’évaluation décrit les résultats finaux de l’évaluation des impacts du programme Life Skills Training de Botvin.
Les évaluateurs ont utilisé une approche mixte, fondée sur des méthodes quantitatives et qualitatives. Un groupe témoin apparié a servi à mesurer les changements dans les principaux effets au fil du temps au moyen d’un prétest et de deux post-tests. Comme l’équipe d’évaluation des impacts n’était pas formée lors du lancement du projet LST (à l’année scolaire 2009‑2010), le groupe témoin de la Ben Calf Robe Society n’a été constitué qu’une vingtaine de mois plus tard. L’évaluation visait à inclure dans le groupe témoin des membres ayant des caractéristiques similaires à celles des participants au programme, de sorte que les écarts entre les deux groupes puissent être attribués à l’intervention et non à la prédisposition des participants. Avant le début de chaque cycle du programme, les caractéristiques démographiques des jeunes participants au programme et du groupe témoin étaient généralement comparables, à quelques détails près, tout comme leurs résultats au prétest.
Pour trouver des collectivités appropriées, les évaluateurs ont entrepris une recherche démographique et des évaluations des risques à l’échelle locale au moyen de données démographiques, et ce, afin d’établir une équivalence entre le groupe expérimental et le groupe témoin. Les collectivités de Dickensfield et de Britannia-Youngstown (à Edmonton, en Alberta) ont ainsi été jugées convenables pour la formation d’un groupe témoin.
Pour évaluer l’équivalence des collectivités sélectionnées, les évaluateurs ont recueilli des données démographiques auprès d’un certain nombre de sources et ont ciblé 18 variables, comme le nombre de familles monoparentales, le nombre de cas de protection de l’enfance, le nombre d’incidents de nature criminelle et les taux de mobilité scolaire. Vingt-six membres issus du Boys and Girls Club de Dickensfield et de Britannia-Youngstown ont été recrutés au sein du groupe témoin.
Plusieurs outils de mesure ont été utilisés pour évaluer les impacts du projet LST. Les enquêtes menées auprès des jeunes s’appuyaient sur les instruments normalisés suivants : le questionnaire du programme LST, l’échelle d’estime de soi de Rosenberg, l’échelle de prise de décisions, le supplément pour Amérindiens du test d’évaluation des aptitudes à la vie quotidienne de Casey et l’outil relatif à la consommation d’alcool et de drogues. Les évaluateurs ont également procédé à des entrevues avec les principaux informateurs, organisé des groupes de discussion, réalisé des études de cas et proposé aux participants de faire l’exercice Photovoice. Des données fournies par l’école devaient permettre de suivre les résultats scolaires de même que le type et la fréquence des comportements délinquantsNote de bas de page4. Enfin, la fidélité au programme a été évaluée grâce à la liste de contrôle du programme LST.
On s’attendait à ce que 75 élèves de la quatrième à la sixième année et 45 élèves de la septième à la neuvième année participent au projet LST, pour un total de 120 participants. Or, un changement dans la portée de l’évaluation et le taux d’abandon des jeunes ont fait chuter le nombre prévu de participants au projet LST de la Ben Calf Robe Society. Par conséquent, il a fallu modifier les méthodes analytiques visant à cerner l’impact du programmeNote de bas de page5.
Constatations tirées de l’évaluation des processus
Pour comprendre comment le programme LST a été mis en œuvre par la Ben Calf Robe Society, il faut tenir compte de cinq facteurs : la population cible, la gestion du projet, le degré d’exposition, la satisfaction des participants et la composante culturelle. Ces facteurs permettent de mesurer la fidélité de la mise en œuvre du projet LST aux lignes directrices. Évidemment, plus la mise en œuvre est fidèle, meilleures sont les chances d’obtenir les effets souhaités.
Population cible
Le projet n’a pas pu atteindre sa cible de 40 participants par année; en fait, seulement 13 jeunes ont suivi le programme pendant les trois annéesNote de bas de page6. Bien que les taux d’inscription et d’abandon se soient quelque peu améliorés avec le temps, seulement 116 des 160 jeunes attendus ont participé à l’intervention.
Seulement 37 % des jeunes étaient d’origine autochtone, même si les responsables du projet souhaitaient servir la majorité des Autochtones de la collectivité.
L’abandon du programme, qui posait également un problème, s’est toutefois amélioré avec le temps : les taux d’abandon sont passés de 36 % à 18 % au troisième cycle, puis à 9 % au quatrième cycle. Les principaux informateurs ont attribué les abandons à plusieurs facteurs, dont le manque de disponibilité de transport approprié dans la région pour les jeunes qui n’habitent pas à proximité du site de mise en œuvre du projet, le déménagement de familles hors de la région, des conflits d’horaire et le manque de soutien ou d’encouragement des parents pour inciter leurs enfants à participer au programme ou à le poursuivre.
Gestion du projet
Les constatations laissent penser que le projet a été généralement bien géré. Il y a eu un certain roulement de personnel, mais la formation a été jugée suffisante. Des difficultés concernant l’affectation de ressources au projet (manque d’espace réservé au projet dans l’école et roulement élevé du personnel de direction) ont fait varier le niveau d’adhésion au projet et sa promotion dans le milieu scolaire.
Degré d’exposition
Le degré d’exposition désigne la fréquence, l’intensité et la durée de la participation des jeunes au programme LST. Il a été mesuré au moyen de la liste de contrôle du programme LST, des registres de présences et des entrevues avec les principaux informateurs.
Malgré de petites modifications à la méthode de présentation en classe et d’exécution des activités ainsi que l’ajout de documents supplémentaires, pratiquement tout le contenu a été transmis à chaque groupe du projet, avec peu d’écarts d’un groupe ou d’un cycle à l’autre. En général, le temps consacré par le facilitateur à chaque activité était assez constant d’un niveau à l’autre du projet LST. Ce dernier a été mis en œuvre comme prévu, avec une grande fidélité au modèle.
Le pourcentage moyen des séances auxquelles ont assisté les participants a varié d’un groupe à l’autre, allant de 56 % à 85 %. Pour augmenter l’assiduité et la participation, le personnel a eu recours à des incitatifs comme des grignotines et des prix : la hausse de l’assiduité au cours des cycles ultérieurs prouve que ces mesures ont fonctionné. Tout au long de la mise en œuvre du projet, les facilitateurs ont noté la réceptivité des participants, laquelle était constamment élevée.
Satisfaction des participants
Presque tous les participants et les intervenants du programme ont vécu une expérience positive. Au moins 80 % des participants de chaque année ont déclaré qu’ils étaient satisfaits ou très satisfaits du programme. Plus précisément, les intervenants rencontrés en entrevue ont exprimé leur satisfaction à l’égard du programme et de sa capacité d’aider les jeunes à faire preuve d’esprit critique, de même qu’à comprendre leurs choix de vie et les conséquences de ces choix. Les participants ont mentionné leurs relations positives avec les facilitateurs et l’amélioration de leur capacité à prendre de bonnes décisions.
Composante culturelle
La Ben Calf Robe Society a adapté le programme LST de façon à intégrer des éléments culturels. D’après les participants aux groupes de discussion, la capacité du projet à tenir compte des traditions autochtones était un facteur crucial de motivation qui les a incités à prendre part au programme et à le poursuivre. Le personnel du projet avait modifié le programme pour y inclure des éléments culturels autochtones, comme la transmission d’enseignements autochtones (mets traditionnels, roue médicinale, enseignements du tipi, etc.), la pratique du tambour, les enseignements d’aînés locaux invités et la visite de huttes de sudation. Selon l’impression générale, ces modifications ont aidé les jeunes Autochtones à s’intéresser au programme et à y contribuer, ainsi qu’à développer leur fierté culturelle.
Constatations tirées de l’évaluation des impacts
Aptitude à prendre des décisions
Les participants au programme ont fréquemment démontré leur aptitude à prendre des décisions, malgré le manque de données statistiques montrant une amélioration de leurs notes sur ce plan. Aucune différence statistiquement significative n’a été relevée entre les jeunes du programme et ceux du groupe témoin dans la moyenne des notes relatives à la prise de décisions. Cette constatation peut s’expliquer par le fait que la moyenne des notes était déjà passablement élevée au départ, ce qui ne laissait que peu de place à l’amélioration.
Les données qualitatives permettent vraisemblablement de croire que les jeunes ont amélioré leur aptitude à prendre des décisions : les aînés, le personnel du projet, les partenaires communautaires et les parents ont laissé entendre que les jeunes faisaient davantage preuve d’assurance et d’autonomie en prenant des décisions par eux-mêmes après avoir participé au programme.
Image de soi des participants
Les résultats révèlent que les participants au programme affichaient un niveau moyen d’estime de soi, lequel s’est amélioré avec le temps. Leurs notes moyennes sur l’échelle d’estime de soi de Rosenberg ont augmenté au fil du temps (de 27 à 30,5 entre le prétest du troisième cycle et le post-test du quatrième cycle), tout comme celles du groupe témoin. Les jeunes ont connu une amélioration statistiquement significative de leur estime de soi pendant le quatrième cycle, comme en témoigne une hausse modérée de leurs notes; cependant, il est difficile de discerner dans quelle mesure leur maturation a influencé cet effet.
Sur le plan qualitatif, le personnel du projet a rapporté une amélioration notable de l’image de soi chez la plupart des jeunes, ce qui a été confirmé par des participants aux groupes de discussion et des personnes interrogées dans le cadre des études de cas. En discussion de groupe, les parents ont parlé d’une augmentation de l’assurance, de l’optimisme et de la confiance chez leurs enfants.
Capacité d’adaptation
Dans le cadre du programme LST, les compétences en relaxation sont présentées comme des mécanismes d’adaptation. En la matière, les jeunes du programme et ceux du groupe témoin avaient des notes globales moyennes comparables au prétest. Les notes des deux groupes se sont améliorées avec le temps, mais sans différence statistiquement significative, principalement à cause de la petite taille des échantillons.
Les constatations qualitatives permettent de croire que le programme LST a eu une influence positive sur la capacité des participants à s’adapter et à se détendre. Chez 62 % des jeunes sélectionnés pour les études de cas, on a constaté une amélioration notable de leur capacité à gérer leur stress et leur anxiété. Les parents et les jeunes eux-mêmes ont mentionné plusieurs techniques de relaxation apprises et mises en pratique grâce au programme. Les notes ont révélé une amélioration, certes, mais aussi un faible maintien, ce qui donne à penser qu’il pourrait être payant à long terme de mettre davantage l’accent sur la capacité d’adaptation.
Connaissances antidrogues
La participation au programme a eu des effets observables sur les connaissances des élèves de l’école élémentaire concernant le tabagisme : les notes ont augmenté entre le prétest et le post-test du troisième cycle. De plus, au prétest du quatrième cycle évaluant la connaissance du tabagisme et des aptitudes à la vie quotidienne, le groupe du programme a obtenu des notes globales supérieures à celles du groupe témoin. D’après les constatations, les connaissances acquises au troisième cycle étaient retenues, et l’augmentation n’était pas attribuable qu’à la maturation.
Chez les participants de l’école intermédiaire, les notes globales aux tests de connaissances étaient supérieures tout au long des troisième et quatrième cycles. Au chapitre des connaissances générales et de la toxicomanie, les participants au programme obtenaient des notes supérieures à celles du groupe témoin.
Les données qualitatives appuient les constatations quantitatives et, de surcroît, révèlent que les jeunes ont non seulement compris la matière enseignée en classe, mais ont aussi intériorisé, analysé et transmis les connaissances acquises. Le personnel du projet a constaté une meilleure compréhension des conséquences de la consommation de substances chez presque tous les jeunes participants.
Connaissances culturelles
Aucune augmentation des connaissances culturelles n’a été constatée chez les participants au programme LST. Les résultats de l’enquête n’ont révélé aucune amélioration des connaissances et de l’appartenance culturelles. Selon les données du supplément pour Amérindiens du test d’évaluation des aptitudes à la vie quotidienne de Casey, les jeunes du programme connaîtraient moyennement leur culture et s’y identifieraient plus ou moins; ces niveaux sont comparables à ceux des jeunes du groupe témoin.
Les données qualitatives montrent que les participants autochtones ont aimé les adaptations culturelles apportées au programme et les possibilités qu’elles offraient. Les aînés, le personnel du projet et les jeunes eux-mêmes ont parlé en bien des éléments culturels du projet (enseignements des aînés de la collectivité, cérémonies de sudation, etc.).
D’après les évaluateurs, l’absence d’amélioration des notes ne signifie pas que le projet n’a eu aucun impact sur le plan culturel. Il faut plutôt interpréter ces résultats à la lumière du taux de participation des Autochtones : à 37 % pour l’ensemble du projet, ce niveau était inférieur à celui souhaité. Les éléments culturels autochtones n’ont pas trouvé le même écho chez les jeunes non‑Autochtones que chez les jeunes Autochtones.
Compétences de maîtrise de soi
Le programme a-t-il aidé les jeunes à améliorer leurs compétences de maîtrise de soi? Jusqu’à quel point? Il est difficile de répondre à ces questions, car les rapports disciplinaires de l’école, qui représentaient l’une des sources d’information prévues, n’étaient pas accessibles.
Dès le début, les notes sur la maîtrise de soi étaient élevées tant chez le groupe expérimental que chez le groupe témoin, et il n’y avait aucune différence significative entre les deux. Cet indicateur, combiné à la petite taille des échantillons et au fait que les réponses à la sous-échelle de la maîtrise de soi étaient les moins fiables de toutes, a empêché de porter un jugement sur cet effet.
Aptitudes sociales
Comme c’est le cas pour les compétences de maîtrise de soi, il est difficile de déterminer dans quelle mesure le programme a aidé les jeunes à améliorer leurs aptitudes sociales. En général, les réponses à l’enquête données par les jeunes du programme et du groupe témoin témoignaient de niveaux relativement élevés d’assurance; cependant, il n’y a eu aucune amélioration sensible avec le temps, et les notes étaient assez variables.
Néanmoins, les constatations qualitatives laissent croire à des changements positifs et à une amélioration des aptitudes sociales chez les jeunes du programme. Le projet LST comportait des jeux de rôles et des activités interactives qui, selon les participants, leurs parents et le personnel, ont aidé les jeunes à améliorer leurs aptitudes sociales. Comme le projet LST était donné après l’école et les facilitateurs pouvaient se consacrer individuellement à chaque jeune (en partie en raison du faible nombre de participants), il est encore plus probable que des aptitudes sociales aient pu être apprises et perfectionnées durant le projet.
Capacité à résister aux pressions de consommer de l’alcool et des drogues
Les données permettent de croire que le programme a aidé les jeunes non pas à acquérir, mais plutôt à maintenir la capacité à résister aux pressions de consommer de l’alcool et des drogues. Aux prétests et aux post-tests des troisième et quatrième cycles, les jeunes du programme et du groupe témoin ont obtenu des notes élevées quant à leur capacité à résister aux pressions de consommer de la drogue. Pendant le troisième cycle, les jeunes des deux groupes ont obtenu des notes plus élevées au post-test qu’au prétest. Ces notes étaient encore élevées au prétest du quatrième cycle. Il n’y avait aucune différence statistiquement significative entre les deux groupes ni au sein de chaque groupe.
Les constatations qualitatives révèlent que le programme a eu un impact positif en aidant les jeunes à résister à la pression de consommer de l’alcool et des drogues, comme en témoignent les entrevues avec les parents et les données des études de cas. Cet indicateur pourrait toutefois avoir souffert d’un effet de « plafonnement » causé par les notes initiales élevées concernant la capacité à résister aux pressions de consommer de la drogue. Les mesures du changement seraient plus fiables si elles étaient mieux adaptées.
Attitudes et normes antidrogues
Aucune donnée statistique claire ne laisse croire que les jeunes du programme ont adopté des attitudes défavorables à la consommation de tabac, d’alcool et de drogues. De nombreux participants au programme ayant obtenu une note presque parfaite relativement à ces indicateurs, l’effet de plafonnement doit être pris en considération. Étant donné que la plupart des observations ne sont pas statistiquement significatives, les changements constatés pourraient être l’effet d’une variation aléatoire.
Cependant, les données qualitatives confirment l’adoption d’attitudes et de normes antidrogues tout au long du projet. Les activités Photovoice ont fourni une illustration graphique des opinions négatives de certains jeunes du programme à l’égard du tabagisme.
Communication entre parents et enfants
Les discussions en groupe et les entrevues avec les parents ont permis de constater que la communication entre les parents et leurs enfants s’était généralement améliorée au cours du projet. Ces améliorations, dont des exemples concrets ont été fournis aux évaluateurs, concernaient la prise de décisions, la gestion du stress et la maîtrise de soi. Les parents attribuaient généralement les améliorations à la participation de leur enfant au programme LST.
Fierté culturelle
La plupart du personnel du projet, des parents et des aînés ont mentionné avoir noté une augmentation de la fierté culturelle autochtone chez les participants au programme. Les parents ont constaté que leurs enfants ressentaient une plus grande fierté à l’égard de leur culture après avoir assisté à des événements culturels. En général, les répondants attribuaient cette hausse aux activités traditionnelles intégrées au projet.
En général, la composante culturelle du projet était considérée comme une expérience très positive, mais les évaluateurs ont souligné que la représentation autochtone au sein du projet (37 %) était inférieure à celle anticipée et que la fierté culturelle n’est pas toujours mesurable.
Toxicomanie
Les données disponibles ne permettent pas de tirer de conclusions claires quant à l’impact du projet LST sur l’initiation à la consommation de substances. Selon les constatations tirées des études de cas, le projet a eu un impact positif sur les intentions des jeunes de ne pas consommer. Étant donné la très petite taille des échantillons, aucune conclusion valable n’a pu être formulée. De façon générale, peu de jeunes, qu’il s’agisse de participants au programme ou de membres du groupe témoin, ont dit avoir consommé du tabac, de l’alcool ou des drogues illicites à un moment ou à un autre, ou avoir l’intention de commencer à en consommer.
Analyse des coûts
Les évaluateurs ont fourni une analyse descriptive des coûts montrant que le coût global du projet LST était de 732 268,57 $. Au total, 116 jeunes se sont inscrits au projet mis en œuvre par la Ben Calf Robe Society. On avait prévu un nombre beaucoup plus élevé d’inscriptions. Le coût par participant était de 6 312,66 $ en moyenne; il a atteint 10 286,55 $ au quatrième cycle en raison de la baisse des inscriptions au programme.
Toutefois, le coût par participant doit être interprété avec prudence, seulement comme une description des coûts et non comme une mesure du rapport coût-efficacité. Plus particulièrement, comme le projet LST de la Ben Calf Robe Society était une adaptation du programme pour un milieu axé sur les Premières Nations et qu’il n’était pas mis en œuvre à l’école ou en classe, son coût par participant ne doit pas être comparé aux coûts évalués aux États‑Unis. Les coûts de mise en œuvre et de prestation du programme LST sont beaucoup plus faibles en milieu scolaire.
Leçons retenues
Selon les constatations tirées de l’évaluation, les objectifs à court et à moyen terme du projet LST ont été atteints dans une certaine mesure. Les constatations qualitatives étaient grandement positives en ce qui a trait aux effets d’intérêt. Par contre, les analyses quantitatives étant limitées par la petite taille des échantillons, il était difficile de formuler des observations concluantes concernant l’efficacité du programme. Voici les principales recommandations et leçons retenues :
Participation des parents
Les parents doivent participer plus activement au programme LST. Selon les constatations de l’évaluation, la participation des parents au programme contribue grandement à sa réussite, particulièrement en ce qui a trait à l’amélioration des communications entre parents et enfants, à la facilitation des références vers d’autres organismes ou services sociaux au besoin, ainsi qu’à l’accroissement de l’approbation et du soutien des parents à l’égard du programme, élément essentiel pour garantir la participation au programme et prévenir les abandons.
Culture autochtone
L’intégration d’éléments de la culture autochtone au programme, par exemple la sudation, doit se poursuivre dans la mesure du possible. Ces éléments sont bien reçus par les participants et les parents. De plus, ils ont permis d’accroître l’enthousiasme des participants envers l’apprentissage de la culture autochtone ainsi que leur sentiment de fierté envers cette culture.
Transport
Les besoins en transport des participants et des parents doivent être bien pris en compte lorsque le programme est mis en œuvre dans un cadre parascolaire (après les heures de cours). Les constatations tirées de l’évaluation indiquent qu’il était difficile pour de nombreux participants de se rendre aux séances du projet LST et d’en revenir. Il s’agit d’ailleurs d’un facteur déterminant de l’abandon du programme.
Programmes parascolaires
Les responsables des programmes parascolaires mis en œuvre en milieu scolaire doivent d’entrée de jeu collaborer étroitement avec les écoles et les conseils scolaires. La mise en œuvre du programme LST par la Ben Calf Robe Society a été rendue difficile par le fait qu’il s’agissait d’un programme parascolaire offert dans un milieu scolaire, et particulièrement par le manque d’espace permanent (salles de classe), d’appui en nature et de fournitures. Pour les prochains programmes parascolaires, certaines stratégies devraient être envisagées, notamment la transmission de plus amples renseignements au personnel de l’école concernant le contenu du programme avant sa mise en œuvre, les échanges continus avec le personnel de l’école (dans le cadre de réunions mensuelles ou de réunions du personnel de l’école, par exemple), et la communication de renseignements sur les participants au personnel de l’école, au besoin.
Pertinence du programme
Avant d’offrir le programme aux populations cibles, il faut bien évaluer la pertinence des documents et du contenu. Le programme LST initial comprenait beaucoup d’exercices de rédaction qui ont découragé les participants puisque la population cible présentait des lacunes en rédaction. De même, les documents d’accompagnement n’étaient pas adaptés à l’âge des participants. Par conséquent, avant de mettre en œuvre le programme LST au sein d’autres populations semblables au Canada, on doit tenir compte des compétences et des préférences de la population cible.
Conclusion
L’évaluation du projet LST de la Ben Calf Robe Society était limitée par la petite taille des échantillons (attribuable au nombre d’inscriptions moins élevé que prévu) ainsi que par des difficultés liées à la persévérance et à l’abandon des participants, tant chez le groupe expérimental que chez le groupe témoin. Les difficultés pratiques auxquelles l’organisme de mise en œuvre s’est heurté ont eu une incidence directe sur le type d’évaluation possible. Cependant, l’uniformité et le niveau des données qualitatives tirées de l’évaluation sont prometteurs. Ils sont la preuve que le programme LST peut produire des changements positifs quant aux facteurs de risque et de protection chez les participants, y compris chez les jeunes Autochtones.
Notes
- 1
À l’origine, l’évaluation devait porter sur plusieurs sites de mise en œuvre du programme LST; toutefois, deux sites n’ont pas pu être inclus pour diverses raisons.
- 2
Une des principales adaptations consistait en l’inclusion d’une composante culturelle et en la modification de la matière enseignée de sorte que les jeunes participants puissent comprendre le contenu et s’y reconnaître. Ces changements n’ont pas altéré la nature du programme.
- 3
Le présent sommaire d’évaluation repose essentiellement sur le rapport d’évaluation final déposé par R.A. Malatest & Associates en mars 2014. Ce rapport contient des données détaillées sur l’évaluation du projet LST.
- 4
En fait, les données de l’école n’étaient pas accessibles aux fins de l’évaluation, malgré des tentatives répétées pour les obtenir. Les données des services de police ont été jugées inutiles étant donné l’âge des participants.
- 5
Le devis et la méthode d’évaluation s’appuyaient sur un nombre attendu d’inscriptions; comme le nombre d’inscriptions réel était bien en deçà de l’objectif, les types d’analyse que les évaluateurs pouvaient effectuer étaient considérablement limités. Le rapport d’évaluation explique en détail les méthodes statistiques utilisées compte tenu de la très petite taille des échantillons.
- 6
Le programme LST complet s’étend sur trois années : la première année est consacrée aux modules de base, et les deux années suivantes, aux séances de renforcement. Seulement 13 jeunes ont participé aux trois années du programme.
- Date de modification :