Prospective Jeunesse : Comment expliquer la faible culture de l’évaluation des politiques publiques en Belgique – en matière de drogues, mais pas seulement ?

La situation s’explique par deux phénomènes différents. Le premier est que la Belgique est un pays très fragmenté : entre Flamands et francophone, évidemment, mais pas seulement : nous sommes dans un système organisé de telle façon que les différents acteurs soient extrêmement autonomes.

Par exemple, dans le domaine de la prévention des addictions, il y a beaucoup d’ASBL autonomes dans le sens où elles sont privées, sans but lucratif mais privées : elles ont leurs propres objectifs, leur propre pouvoir organisateur. Elles ne dépendent pas des autorités publiques que pour quelques subsides.

Dès lors chaque institution, chaque professionnel·le suit ses logiques, ses préoccupations centrales et possède donc son propre outil d’évaluation (questionnaire, logiciel etc.). D’un point de vue technique, c’est extrêmement compliqué de mettre tout cela ensemble. On se retrouve donc avec énormément d’informations qui permettent d’évaluer à toute petite échelle, mais nous sommes en incapacité d’avoir une vision globale.

Le second phénomène, que je constate sans pouvoir vraiment me l’expliquer, c’est que dans le monde francophone belge, il existe une sorte de méfiance de principe par rapport à l’évaluation. Je pense qu’on a peur que les résultats soient mal interprétés, qu’ils soient utilisés contre soi.

La méfiance joue également autour des méthodes. Une anecdote l’illustre bien : étant francophone, je présente souvent mes résultats aux professionnel·les francophones, mais parfois je les présente côté flamand. Les premières questions que l’on me pose côté francophone concernent mes méthodes : comment ai-je mesuré ceci, quelle est l’information qui me permet d’affirmer cela ? On ressent une suspicion par rapport à la qualité des résultats présentés, ou un besoin de se justifier. Côté flamand, le même type d’étude, on considère mes résultats comme la base de la situation et la réflexion se réalise autour de ce qui peut être effectué pour faire évoluer ou améliorer. On retrouve le même type de méfiance en France, mais pas en Suisse ou au Québec – ce n’est donc pas spécifiquement francophone.

Les professionnels ont une expertise qu’il faut valoriser, c’est sûr, mais je regrette un peu cette méfiance à l’égard des évaluations publiques ou académiques dans la mesure où elle ne permet pas de jouer la complémentarité des savoirs. Les méthodes du terrain et les nôtres sont différentes mais peuvent être complémentaires : ce n’est pas l’un contre l’autre, mais plutôt l’un avec l’autre.

Edgar Szoc : Il n’y a pas que la question de l’évaluation. Il y a aussi, et peut-être surtout, celle de ce qu’on en fait. Que diriez-vous à ce sujet à l’évaluation des politiques drogues sortie en 2021, à laquelle vous avez participé ?

Il est important de préciser que cette évaluation est une évaluation processuelle. Je pense qu’une partie de la méfiance vient du fait que l’évaluation est trop souvent comprise comme une évaluation qui va trancher, décider ce qui est bien ou pas, bon ou pas. Le domaine de la drogue est beaucoup trop complexe – il relie du micro, du macro, de la santé, de la sécurité, etc. – pour se prêter à des résultats binaires et trancher entre ce qui est bien ou pas.

La Belgique avec ses différentes entités régionales, fédérales, communautaires s’est dotée d’un certain nombre de politiques, avec des initiatives, des créations de services qui touchent certains publics d’une certaine manière. En tant qu’évaluation processuelle, Evadrug cherche à déterminer si ce qui a été décidé a été mis en œuvre – un peu, beaucoup ou pas du tout. Les moyens financiers ont-ils été attribués aux initiatives ? Qu’est-ce que c’est devenu ? Est-ce qu’on s’en sert ou pas ? Aucun jugement de valeur n’est porté sur les initiatives : il s’agit d’une simple vérification de ce qui a été fait ou pas.

Le principal résultat qui en est ressorti, c’est que beaucoup d’initiatives annoncées ont effectivement été mises en œuvre, mais que la communication autour de ses initiatives, même auprès des professionnel·les spécialisé·es du secteur qui sont censé·es être au courant, est défaillante.

Le constat vaut également dans le domaine de la prévention : ses acteur·ices savent à peu près où en sont les initiatives dans leur secteur, mais ils ne savent très peu ce qu’il se passe dans le domaine des soins, sans parler du domaine de la sécurité où l’ignorance est totale – ce qui est regrettable si on souhaite défendre l’idée et l’existence d’un continuum. C’est sur la base de ce constat qu’il nous a été demandé de mettre en œuvre un certain nombre de recommandations, d’études visant à une meilleure connaissance mutuelle.

Comment les acteur·ices de terrain devraient-ils s’inspirer de ses constats ?

Si je devais tirer un enseignement de ce que j’ai pu voir dans mes recherches, c’est que beaucoup d’acteurs sont pleins de bonne volonté, compétents et performants mais le système est tellement fragmenté que chacun ne peut toucher qu’un tout petit bout de réalité. Le message qui revient sempiternellement, c’est donc celui du décloisonnement et de la collaboration.

Il y a 20 ans, le travailler en réseau était souvent perçu comme la nouvelle invention des autorités pour faire des économies. Maintenant, tout le monde a accepté le principe. Mais il n’empêche que travailler en réseau, ça veut trop souvent dire se connaître entre services, entre professionnel.les, participer à des réunions communes, échanger de l’information… Je crois qu’il faut arriver à des formes de collaborations beaucoup plus organisées, beaucoup plus formalisées sans perdre en créativité.

Si on parle de prévention, on ne peut pas travailler les questions de drogues dans une logique de promotion de la santé sans se préoccuper de questions d’Éducation, de social, de logement, d’accès à la connaissance… Tout cela tient ensemble.

Par exemple, Agir en prévention permet² à plusieurs acteur·ices de prévention, qui travaillent à peu près sur les mêmes questions avec des méthodes proches de se connaître et de converger en matière d’idées : travailler ensemble, ça rend plus forts. Mais, par rapport aux publics concernés et aux objectifs que l’on se donne en termes d’effets, il serait beaucoup plus malin que ces acteur·ices collaborent. Ce n’est évidemment pas facile, mais, à mon avis, c’est dans ce sens qu’il faut aller.

Comment concilier l’injonction qui est faite au secteur de travailler avec des outils evidence based et l’absence de moyens alloués pour «évaluer scientifiquement les résultats des actions menées ?

Je crois qu’il y a là aussi un peu de méconnaissances quant à la multitude de méthodes et de manières de faire de l’évaluation. Quelques outils plus connus ont certes été validés scientifiquement, mais il y a aussi énormément d’évaluations qui se pratiquent sur le terrain et qu’on peut faire valoir. Il ne faut pas non plus fantasmer autour des attentes des autorités politiques qui ne savent pas toujours très bien ce qu’il faut mesurer ni de quelle manière.

On peut comprendre l’évaluation dans une espèce de logique d’efficacité, mais en matière de prévention, c’est extrêmement compliqué. On sait très bien que les actions ont des effets sur beaucoup de domaines différents et qu’entre le moment où on agit et le moment où on a des résultats, de nombreuses années peuvent s’écouler. Comment peut-on évaluer un effet sur des très longues durées ?

Cette difficulté ne signifie pas que rien ne peut être fait en termes d’évaluation processuelle. On peut par exemple interroger des personnes, qualitativement ou avec des échelles, sur un certain nombre de points : si on travaille dans une école avec des jeunes qui y restent pendant tout leur cursus secondaire, on peut leur poser des questions à 13 ou 14 ans, reposer les mêmes à 17 ou 18 ans et évaluer le processus.

Il faut se donner un certain nombre d’objectifs cadrés. Faire en sorte que les consommations de drogues disparaissent, ce n’est pas un objectif, c’est une philosophie, une intention.

Un objectif c’est plutôt la manière dont on veut s’en approcher.  À chaque fois qu’il y a une nouvelle initiative, la question que je pose, c’est celle de son objectif. Ça peut paraître de la monomanie, mais c’est une question centrale pour toute démarche scientifique et donc en matière d’évaluation aussi.

C’est la raison pour laquelle, si on prend les évaluations figurant dans les rapports d’activité peuvent sembler inutiles pour le terrain : elles répondent à des logiques administratives et ne posent pas l’objectif. L’administration veut des rapports parce que cela fait partie de sa fonction : l’argent public est engagé et il est donc compréhensible qu’elle en vérifie l’usage. Mais je ne pense pas que cette vérification ait une vocation à évaluer quelque chose en matière de contenu.