Pourquoi et comment évaluer ?

Quand on évoque l’évaluation, on pense souvent à l’appréciation d’un résultat final : ai-je bien atteint les objectifs que je m’étais fixés ?
C’est évidemment important, mais il s’agit là d’une évaluation qui ne peut se faire qu’à la fin d’une action, d’un programme, lorsque ceux-ci sont terminés, et qui n’apporte que la possibilité d’un jugement ex-post, et éventuellement d’une sanction (dans tous les sens du terme).

L’enquête PISA ne donne une image – pas très favorable - du système éducatif français. La publication des résultats de cette évaluation internationale permet de rendre compte aux gouvernements et aux citoyens des différents pays, de l’état et de l’évolution des performances de leur système éducatif, et en rend compte de façon indépendante, puisque, en principe, l’évaluation PISA est organisée et contrôlée par une institution internationale l’OCDE.
Partant de cette évaluation, les gouvernements peuvent, ou non, envisager des réformes, des aménagements de leurs systèmes éducatifs.

Les gouvernements peuvent aussi organiser eux-mêmes un dispositif d’évaluation afin de piloter leur système éducatif. Ainsi, en Angleterre et au Etats-Unis, les établissements scolaires sont tenus d’organiser en fin de cycle ou de scolarité des évaluations de leurs élèves et les résultats de ces évaluations sont utilisés pour sanctionner les établissements, de façon positive dans certains cas, sous forme de prime aux directeurs et aux enseignants, mais surtout de façon négative, en leur imposant des « redressements », voire en les fermant si leurs résultats sont jugés insuffisants. On sait que ce type de pratiques incite les établissements à entraîner leurs élèves aux exercices d’évaluation, à restreindre l’apprentissage à ce qui sera évalué, voire à frauder.

Dans l’un et l’autre cas, le constat de résultats jugés insuffisants ne propose, par lui-même, aucune piste d’amélioration possible, et n’éclaire en rien les raisons qui ont conduit à ces résultats peu satisfaisants. Il peut même avoir des effets négatifs.

La critique majeure à faire à ces deux types d’évaluation, est qu’elle laisse de coté ceux qui agissent pour produire les résultats, et à qui il importe surtout qu’on les outille pour améliorer les pratiques et les actions qu’ils développent et non qu’on les sanctionne de façon symbolique ou effective en leur montrant que leurs résultats ne sont pas ceux attendus.

Du point de vue de l’acteur, de celui qui organise l’action et la conduit, c’est bien plus l’efficience que l’efficacité qu’il doit chercher à apprécier, et ceci tout au long de l’action pour pouvoir la réguler, l’infléchir, pour voir si les moyens qu’il a mis en place ont été pertinents par rapport aux résultats recherchés, ce qui implique aussi de vérifier tout au long de l’action que les moyens envisagés ont bien été mis en place.

Penser le dispositif d’évaluation dès la conception de l’action

L’évaluation – ou pour être plus précis le dispositif dévaluation et ses outils  – doivent se penser dès la conception de l’action et ceci à partir de deux questionnements simples : qu’est-ce que je veux changer à la situation actuelle ? Qu’est ce qu’il me semble efficient de faire, de mettre en place pour obtenir ce changement, ou autrement dit, par quels moyens puis-je espérer changer – améliorer – la situation actuelle ?

C’est donc en partant d’un diagnostic de la situation actuelle que l’évaluation peut s’organiser. Ce diagnostic recensera les éléments que l’on veut améliorer, et à partir de là, un programme d’actions pourra être construit en se fondant sur les hypothèses que l’on retient quant aux moyens de les améliorer. Ces hypothèses seront fondées sur les connaissances apportées par les recherches et l’expérience. Par exemple, on peut estimer, à juste titre, qu’une amélioration des résultats scolaires des élèves peut être obtenue par la mise en place d’une aide aux devoirs, un meilleur suivi de l’assiduité de ceux-ci, des relations plus constantes avec leurs parents, un dépistage et une correction de leurs problèmes de vue, etc.

Partant de ce diagnostic et du programme d’actions, il est possible, pour chacun des éléments à améliorer (par exemple, les résultats scolaires des élèves) ainsi que pour chacun des moyens à mettre en place (aide aux devoirs, meilleur suivi de l’assiduité, relations plus constantes avec les parents, dépistage, etc.), d’imaginer un – ou plusieurs – indicateurs qui fassent le point de son état actuel, et soient assortis d’un niveau à atteindre. La mise ne place effective de ces moyens constituera autant d’objectifs intermédiaires.

Construire les indicateurs

Inutile d’en faire trop à ce sujet, ce n’est pas la longueur d’un tableau de bord qui fait sa pertinence et il ne faut pas oublier que la collecte des données nécessaires au renseignement d’un indicateur peut être coûteuse en temps et en moyens. L’« évaluationnite » n’est pas l’évaluation.
Pour reprendre une expression souvent utilisée, un bon indicateur doit être SMART :

• Spécifique : il ne s’intéresse qu’à un seul phénomène (un résultat attendu ou une mesure mise en place). L’indicateur qui prétend tout dire à la fois est généralement un très mauvais indicateur.

• Mesurable : Mesurable n’implique pas toujours de partir de données chiffrées. Dans certains cas, plutôt que de construire des « usines à gaz » coûteuses, mieux vaut penser à recueillir des opinions (par exemple, l’opinion des parents sur l’École ou sur l’école de leur enfant pour voir si elle s’améliore, l’opinion des élèves sur la qualité de l’enseignement qu’ils reçoivent) et apprécier l’évolution de ces opinions au fil du temps et de l’action.

• Acceptable : et accepté ! tout le monde doit être d’accord sur sa définition et savoir ce qu’il peut dire et ce qu’il ne peut pas dire.

• Réaliste : il décrit un aspect de la réalité (par exemple le nombre d’élèves qui suivent une aide aux devoirs) et n’est pas ambigu (on sait dans quel sens il doit évoluer). Sur ce dernier point, mieux vaut se méfier des indicateurs construits sur un rapport et leur préférer des indicateurs en valeur absolue. Par exemple, l’évolution positive – et apparemment favorable - du nombre d’animateurs de quartier relativement au nombre de jeunes peut être due à une perte de population du quartier. Est-ce une bonne chose ? Cela dépend !

• situé dans le Temps : un indicateur doit être daté, ce qui est essentiel pour apprécier une évolution. De plus, il est important, même si la tentation est grande parce qu’on a une meilleure idée ou que de nouvelles données sont disponibles, à un moment donné, de ne pas modifier les indicateurs en cours de route. Un indicateur qui n’a pas été mesuré au moment du diagnostic initial ne permettra pas d’apprécier une évolution.
   

Organiser la régulation de l’action

On évoque parfois une opposition entre évaluation externe et évaluation interne ou auto-évaluation. Au-delà des débats théoriques – un peu vains – à ce sujet, l’important est plutôt d’organiser des rendez-vous réguliers permettant de faire le point sur les actions engagées, leur degré effectif de mise en place (le degré d’atteinte des objectifs intermédiaires), et l’évolution des résultats au regard des objectifs finaux attendus.
Pour en revenir à ce qui a été dit au début de ce propos, l’évaluation doit être continue et non pas seulement terminale.

Interpréter

Pour en revenir encore au début, le constat qu’un objectif n’est pas atteint, ou ne l’est que partiellement, doit inciter à une analyse dépassant le constat. Ce sont les réflexions, les discussions entre acteurs sur les raisons de cette « insuffisance », sur les moyens d’y faire face, qui constituent l’aspect le plus fructueux d’une démarche d’évaluation régulatrice.
Lors de ces réflexions et discussions, on gardera à l’esprit cette pensée de Philippe Seguin, alors Président de la Cour de Comptes : attention à ne pas confondre l’indicateur et le résultat.

Jean-Claude Emin
Ancien sous-directeur à la DEPP, ancien secrétaire général du Haut conseil de l’évaluation de l’école.