Évaluer une compétence ne revient pas à vérifier des connaissances
Un QCM peut être parfaitement pertinent pour vérifier qu’une personne connaît une règle, maîtrise un vocabulaire ou sait distinguer plusieurs concepts. Le problème apparaît lorsqu’on considère que cette réussite suffit à démontrer une compétence professionnelle.
Connaître les différentes étapes d’un entretien commercial ne signifie pas nécessairement que l’on saura conduire cet entretien face à un client difficile. Savoir quelles commandes peuvent être utilisées pour diagnostiquer un problème réseau ne garantit pas que l’on saura identifier la cause d’une panne dans une infrastructure réelle. De la même manière, être capable de réciter les règles permettant de formuler un objectif pédagogique ne prouve pas que l’on saura transformer un besoin professionnel en objectif exploitable.
La distinction est donc essentielle. L’évaluation des connaissances cherche principalement à vérifier ce qu’une personne sait. L’évaluation des compétences doit aller plus loin et déterminer ce qu’elle est capable de faire avec ce qu’elle sait.
France compétences inscrit cette logique au cœur de l’évaluation certificative. Celle-ci doit permettre de vérifier qu’un candidat sait mettre en œuvre les compétences attendues dans un contexte défini. Les modalités d’évaluation doivent donc produire des situations observables et s’appuyer sur des critères permettant d’apprécier le niveau de maîtrise. Elles doivent également se rapprocher autant que possible des situations professionnelles correspondant au niveau attendu.
Ce principe dépasse largement le cadre de la certification. Même lorsqu’une formation ne conduit à aucun titre ou diplôme, la première question à se poser reste la même : qu’est-ce que l’apprenant devra réellement être capable de faire à l’issue de la formation ?
Partir de la compétence avant d’imaginer l’épreuve
Dans beaucoup de formations, la construction de l’évaluation commence par son format. On décide qu’il y aura un QCM de vingt questions, une étude de cas, un exercice pratique ou une présentation orale, puis on cherche ensuite ce que cette épreuve pourra permettre de mesurer.
Cette logique devrait être inversée.
Il faut d’abord identifier précisément la compétence attendue, puis rechercher quelle situation permettra réellement d’en observer la maîtrise. Le format de l’évaluation devient alors une conséquence du résultat attendu, et non un point de départ.
Prenons une compétence relativement simple :
« Configurer les droits d’accès à un dossier partagé en fonction des besoins des utilisateurs. »
La question n’est pas de savoir combien de questions consacrer aux permissions dans un QCM. Il faut plutôt se demander ce que l’apprenant devra produire, dans quel environnement il devra travailler, quelles contraintes devront être prises en compte et quels éléments permettront de conclure que la configuration réalisée répond effectivement au besoin.
Cette logique rejoint l’approche par les acquis d’apprentissage, qui place au centre ce que la personne doit connaître, comprendre et être capable de réaliser à l’issue de son parcours. Le Cedefop souligne d’ailleurs que cette orientation vers les résultats attendus influence directement les choix pédagogiques et les méthodes d’évaluation en formation professionnelle.
Déterminer ce qu’il faudra réellement observer
Une compétence formulée dans un référentiel peut être trop large pour être évaluée directement. Il faut alors identifier les dimensions qui la composent sans tomber dans l’excès inverse, qui consisterait à transformer chaque geste en critère indépendant.
Reprenons l’exemple de la configuration des droits d’accès. Pour réussir, l’apprenant doit comprendre le besoin exprimé, identifier les utilisateurs concernés, choisir les permissions adaptées, effectuer la configuration, vérifier le résultat et, si nécessaire, corriger une erreur.
Toutes ces opérations contribuent à la compétence, mais elles n’ont pas besoin de produire une grille interminable. L’objectif consiste plutôt à retenir les dimensions réellement déterminantes.
| Dimension évaluée | Ce que l’évaluateur doit pouvoir constater |
|---|---|
| Analyse du besoin | Les droits attribués correspondent aux besoins exprimés |
| Configuration | Les permissions sont correctement mises en œuvre |
| Sécurité | Aucun droit excessif ou incohérent n’est accordé |
| Vérification | Le fonctionnement est réellement testé |
| Correction | Une anomalie éventuelle est identifiée et corrigée |
À partir de ce moment, l’évaluation devient beaucoup moins dépendante de l’impression générale de l’évaluateur. Celui-ci ne doit plus simplement décider si le travail lui semble « bon ». Il sait précisément ce qu’il doit rechercher dans la réalisation.
Construire une situation qui oblige réellement à mobiliser la compétence
La qualité d’une évaluation dépend ensuite énormément de la situation proposée. Lorsqu’une compétence consiste à résoudre un problème, l’épreuve doit contenir un problème à résoudre. Lorsqu’elle implique de prendre une décision, plusieurs choix doivent être possibles. Lorsqu’elle suppose de s’adapter à un contexte, la situation doit contenir suffisamment de contraintes pour que cette adaptation soit nécessaire.
Une consigne trop détaillée peut facilement transformer une évaluation de compétence en simple exécution d’une procédure.
Prenons cette fois la compétence « diagnostiquer un dysfonctionnement réseau ».
Une consigne telle que :
« Exécutez ipconfig, vérifiez la passerelle puis modifiez l’adresse IP. »
permet surtout de vérifier que l’apprenant sait suivre des instructions.
La situation suivante est beaucoup plus intéressante :
« Le poste utilisateur accède au réseau local mais ne parvient plus à joindre Internet. Identifiez la cause du problème et rétablissez le fonctionnement sans modifier inutilement la configuration des autres équipements. »
L’apprenant doit alors construire sa propre démarche. Il lui appartient de sélectionner les vérifications pertinentes, d’interpréter les informations recueillies, de formuler une hypothèse puis de choisir l’action appropriée.
C’est précisément cette capacité à mobiliser plusieurs ressources pour traiter une situation qui permet d’observer une compétence.
Se rapprocher du travail réel sans chercher à le reproduire parfaitement
Une mise en situation professionnelle n’a pas besoin de reproduire à l’identique les conditions réelles de travail. Ce qui compte est de préserver les éléments qui donnent du sens à la compétence et obligent l’apprenant à mobiliser les capacités recherchées.
France compétences insiste d’ailleurs sur cette cohérence entre les modalités d’évaluation et les situations professionnelles. Il ne s’agit pas nécessairement de placer chaque candidat dans une véritable entreprise, mais de concevoir une situation suffisamment représentative pour que la compétence puisse effectivement s’exprimer.
La simulation est donc parfaitement légitime lorsqu’elle est bien construite. Un responsable de formation peut travailler à partir d’une demande client fictive comportant des contraintes de calendrier et différents profils d’apprenants. Un développeur peut recevoir une application volontairement défectueuse à analyser et corriger. Un manager peut conduire un entretien simulé face à un interlocuteur jouant le rôle d’un salarié. Un formateur peut devoir construire une séquence à partir d’un besoin et de contraintes imposées.
L’authenticité d’une évaluation ne vient finalement pas du décor. Elle vient surtout du problème professionnel que la personne doit résoudre.
Définir les critères avant de découvrir le résultat
Une bonne évaluation repose sur des critères définis avant que l’apprenant réalise l’épreuve. Cela paraît évident, mais de nombreuses grilles restent encore construites autour de notions comme « très bien », « satisfaisant », « moyen » ou « à améliorer », sans que l’on sache précisément ce qui distingue ces différents niveaux.
Un critère utile doit décrire suffisamment clairement ce qui est attendu pour que deux évaluateurs correctement préparés puissent arriver à des conclusions proches lorsqu’ils examinent la même réalisation.
Ainsi, écrire simplement :
« Configuration correcte »
laisse une marge d’interprétation importante.
Une formulation comme :
« Les droits accordés correspondent aux profils définis dans la consigne et aucun utilisateur ne dispose de permissions supérieures à celles nécessaires. »
permet beaucoup mieux de comprendre ce qui doit être observé.
France compétences insiste justement sur cette nécessité d’utiliser des critères suffisamment précis pour objectiver les décisions et harmoniser les pratiques d’évaluation. Cela ne signifie pas qu’il faut rendre toute appréciation mécanique, mais que la décision doit pouvoir être expliquée autrement que par l’expérience ou l’intuition de l’évaluateur.
Critère et indicateur ne désignent pas exactement la même chose
La distinction peut être utile lorsque l’on construit une grille.
Le critère décrit la qualité attendue. L’indicateur correspond à ce qui permet concrètement de constater cette qualité dans la situation évaluée.
Prenons comme critère :
« La solution proposée respecte les exigences de sécurité. »
Plusieurs éléments peuvent permettre de le vérifier : les droits sont attribués selon le principe du moindre privilège, les comptes inutilisés sont désactivés et aucune information sensible n’est accessible à un utilisateur qui ne devrait pas pouvoir la consulter.
Cette façon de raisonner évite les critères trop abstraits. Une mention telle que « fait preuve de professionnalisme » n’apporte presque aucune information tant que l’on n’a pas défini les comportements qui permettront effectivement de constater ce professionnalisme.
Construire des niveaux de maîtrise qui veulent réellement dire quelque chose
Une compétence n’a pas nécessairement besoin d’être traduite par une note sur 20. Dans de nombreuses situations, une échelle de maîtrise fournit une information beaucoup plus utile, à condition que chaque niveau corresponde à une réalité clairement définie.
| Niveau | Interprétation |
|---|---|
| Non maîtrisé | L’action n’est pas réalisée ou comporte des erreurs incompatibles avec le résultat attendu |
| Partiellement maîtrisé | Le résultat est atteint en partie ou nécessite une aide importante |
| Maîtrisé | L’action est réalisée correctement et de manière autonome dans la situation proposée |
| Maîtrise avancée | L’action est réalisée correctement et de manière autonome, avec justification des choix et adaptation aux contraintes |
Le nombre de niveaux compte finalement moins que leur qualité. Une échelle comprenant quatre niveaux vagues restera plus subjective qu’une décision beaucoup plus simple appuyée sur des critères parfaitement compréhensibles.
Il faut également se méfier de la tentation de transformer chaque critère en points afin d’obtenir une note apparemment précise. Un candidat peut théoriquement obtenir 72 % des points tout en ayant commis une erreur qui rend sa pratique professionnelle inacceptable.
Toutes les erreurs n’ont en effet pas la même importance. Un technicien qui identifie correctement une panne mais documente imparfaitement son intervention ne se trouve pas dans la même situation qu’un technicien qui rétablit le service en créant une faille de sécurité majeure.
Lorsque la compétence l’exige, certains critères doivent donc être considérés comme indispensables. Une erreur critique peut empêcher la validation même si de nombreux autres éléments sont correctement réalisés. Cette approche permet de conserver une cohérence professionnelle que le simple calcul d’une moyenne peut facilement faire disparaître.
Combiner plusieurs modalités lorsque c’est nécessaire
Une seule épreuve ne permet pas toujours d’observer toutes les dimensions d’une compétence. Une mise en situation peut montrer ce qu’une personne sait faire sans permettre de comprendre entièrement pourquoi elle a choisi cette solution. Un entretien complémentaire peut alors permettre d’explorer son raisonnement.
De la même manière, une étude de cas peut être adaptée à l’analyse d’une situation, une production professionnelle à l’observation d’un résultat, tandis qu’une soutenance peut permettre d’évaluer la capacité à justifier des choix et à prendre du recul.
Les référentiels enregistrés auprès de France compétences utilisent d’ailleurs fréquemment plusieurs modalités, notamment :
- des mises en situation réelles ou reconstituées
- des études de cas
- des productions professionnelles
- des entretiens
- des analyses réflexives
L’objectif n’est pas d’accumuler les épreuves pour donner une apparence de sérieux à l’évaluation. Chaque modalité supplémentaire devrait répondre à une question précise et apporter une information qu’il serait difficile d’obtenir autrement.
Il faut également déterminer si l’on doit évaluer uniquement le résultat obtenu ou prendre en compte la manière dont ce résultat a été atteint. Dans certaines activités, seule la production finale importe réellement. Dans d’autres, le raisonnement, le respect d’une procédure, la manière de prendre une décision ou les précautions mises en œuvre font partie intégrante de la compétence.
Une personne peut arriver au bon résultat en prenant un risque inacceptable ou simplement par hasard. À l’inverse, une démarche professionnelle parfaitement construite peut parfois conduire à un résultat imparfait en raison d’une difficulté particulière. La conception de l’évaluation doit donc déterminer à l’avance ce qui constitue réellement la preuve de maîtrise.
Évaluer des comportements professionnels plutôt que des traits de personnalité
Certaines grilles utilisent encore des critères comme « motivé », « sérieux », « autonome » ou « dynamique ». Ils peuvent sembler intuitifs, mais ils sont particulièrement difficiles à évaluer de manière objective et peuvent introduire des biais importants.
Il est beaucoup plus pertinent de décrire des comportements observables.
Pour apprécier l’autonomie, on peut par exemple vérifier si l’apprenant sait identifier les ressources nécessaires, réaliser l’action sans intervention constante de l’évaluateur, contrôler le résultat obtenu et demander de l’aide uniquement lorsqu’elle devient réellement nécessaire.
La même logique peut être appliquée à la communication. Plutôt que de noter simplement « bonne communication », il est possible d’observer si l’information transmise est exacte, compréhensible, adaptée au destinataire et suffisamment précise pour permettre à celui-ci d’agir.
Il ne s’agit donc pas de supprimer les dimensions comportementales de la compétence, mais de les traduire en éléments réellement observables.
Montrer les critères à l’apprenant avant l’évaluation
Une grille d’évaluation n’a pas vocation à rester un document secret détenu uniquement par le formateur. Lorsque les critères traduisent correctement la compétence attendue, les communiquer permet au contraire à l’apprenant de comprendre ce qu’il doit apprendre à maîtriser.
Le Cedefop souligne notamment que les démarches fondées sur les acquis d’apprentissage peuvent améliorer la lisibilité des attentes et de l’évaluation, à condition que les critères utilisés soient eux-mêmes suffisamment clairs.
Communiquer une grille à l’avance ne revient donc pas à donner les réponses. Une personne peut connaître parfaitement les critères d’un entretien professionnel sans être capable de conduire cet entretien. Elle comprend simplement sur quoi portera l’évaluation et ce que l’on attend réellement de sa pratique.
Cette transparence évite surtout une situation assez fréquente dans laquelle l’apprenant découvre les attentes de l’évaluateur au moment où celui-ci lui explique pourquoi son travail n’a pas été jugé satisfaisant.
Faire de l’évaluation un outil d’apprentissage
L’évaluation des compétences ne doit pas être réservée à la dernière heure d’une formation. Elle peut aussi devenir l’un des principaux moyens de faire progresser l’apprenant pendant son parcours.
France compétences distingue à ce titre l’évaluation formative, utilisée pour situer l’apprenant et accompagner sa progression, de l’évaluation certificative, dont la fonction est d’attester la maîtrise d’une ou plusieurs compétences.
Une même grille peut parfaitement servir à ces différents moments. Lors d’une première mise en situation, elle permet d’identifier les difficultés et de comprendre ce qui doit encore être travaillé. Quelques semaines plus tard, elle peut être utilisée pour mesurer les progrès réalisés. En fin de parcours, elle permet de constater le niveau effectivement atteint.
Cette continuité présente également l’intérêt de permettre progressivement à l’apprenant de s’approprier les critères. L’auto-évaluation devient alors beaucoup plus pertinente puisqu’elle ne lui demande pas simplement de dire s’il pense avoir réussi, mais de confronter sa réalisation aux mêmes exigences que celles utilisées par le formateur.
Construire une évaluation suffisamment ambitieuse, mais réellement utilisable
Une bonne évaluation doit rester faisable. Une grille extrêmement détaillée ou une mise en situation très réaliste n’apporte aucune valeur supplémentaire si les contraintes de temps, de matériel ou d’organisation empêchent de les utiliser correctement.
Une évaluation individuelle de deux heures peut être parfaitement adaptée à un groupe de six personnes, tout en devenant irréaliste lorsqu’il faut évaluer cinquante participants.
Il faut donc trouver un équilibre entre l’authenticité de la situation et les contraintes du dispositif. Selon les contextes, cela peut conduire à :
- organiser plusieurs ateliers d’évaluation
- exploiter certaines productions réalisées pendant la formation
- combiner observation directe et analyse de traces
- mutualiser une partie de la situation tout en conservant une décision individuelle
- répartir les évaluations entre plusieurs évaluateurs formés aux mêmes critères
Pour les formations certifiantes publiées sur Mon Compte Formation, la Caisse des Dépôts rappelle notamment que les blocs de compétences doivent pouvoir faire l’objet d’une évaluation individuelle reposant sur des modalités et des critères permettant d’en certifier la maîtrise.
La contrainte organisationnelle ne peut donc pas conduire à abandonner l’individualisation de la décision lorsqu’elle est nécessaire.
Tester l’évaluation avant de la considérer comme définitive
Les défauts d’une grille deviennent souvent visibles au moment où l’on commence réellement à l’utiliser. Deux critères peuvent finalement mesurer presque la même chose, un autre peut s’avérer impossible à observer dans la situation proposée, tandis qu’une formulation qui semblait parfaitement claire au concepteur peut être comprise différemment par plusieurs évaluateurs.
Il est donc utile de tester une nouvelle évaluation sur quelques productions ou sur une première session avant de la généraliser.
Lorsqu’une équipe de formateurs intervient, un exercice de calibration est particulièrement instructif. Plusieurs évaluateurs examinent séparément la même production en utilisant la même grille, puis confrontent leurs décisions. Si les appréciations sont très différentes, le problème ne vient pas nécessairement des personnes. Il peut révéler un critère trop vague, un niveau de maîtrise insuffisamment défini ou une preuve difficile à interpréter.
L’objectif n’est pas de faire disparaître toute appréciation humaine. Il est de réduire la part de hasard liée au fait d’être évalué par telle personne plutôt que par telle autre.
Exemple : construire une évaluation à partir d’une compétence pédagogique
Prenons la compétence suivante :
« Concevoir une séquence pédagogique permettant à un public donné d’atteindre un objectif professionnel identifié. »
L’organisme pourrait proposer la situation suivante.
Une entreprise souhaite former dix salariés à la gestion d’une réclamation client complexe. Le candidat dispose du besoin exprimé par le commanditaire, du profil des participants, d’une durée maximale de trois heures et d’un ensemble de ressources existantes. Il doit concevoir une séquence pédagogique permettant de répondre à ce besoin.
La grille pourrait alors s’appuyer sur les critères suivants :
| Critère | Éléments observés |
|---|---|
| Objectif | L’objectif décrit une capacité observable cohérente avec le besoin professionnel |
| Progression | Les activités suivent une logique permettant d’atteindre progressivement l’objectif |
| Activités | Les apprenants sont placés dans des situations nécessitant de mobiliser la compétence |
| Évaluation | L’activité d’évaluation permet réellement de constater l’atteinte de l’objectif |
| Adaptation au public | Les prérequis, contraintes et caractéristiques des participants sont pris en compte |
| Faisabilité | La séquence peut être réalisée dans la durée et avec les moyens disponibles |
La production pourrait être complétée par un entretien d’une dizaine de minutes au cours duquel l’évaluateur demanderait au candidat d’expliquer certains de ses choix. Pourquoi cette progression a-t-elle été retenue ? Comment vérifier que les participants ont réellement acquis la compétence ? Que faudrait-il modifier si leur niveau initial était inférieur à celui prévu ?
L’intérêt de l’entretien n’est pas de refaire l’évaluation sous une autre forme. Il permet simplement d’accéder à une dimension qui n’apparaît pas toujours dans la production finale : le raisonnement ayant conduit aux décisions pédagogiques.
La grille d’évaluation est l’aboutissement, pas le point de départ
Construire une bonne évaluation des compétences ne commence donc pas par l’ouverture d’un tableur ou par le choix entre un QCM et une étude de cas. Le travail commence beaucoup plus tôt, lorsqu’on définit précisément ce que la personne devra être capable de faire et les conditions dans lesquelles cette capacité devra s’exprimer.
Il faut ensuite imaginer une situation qui rende la compétence observable, déterminer les éléments qui constitueront réellement des preuves de maîtrise et définir des critères suffisamment précis pour que la décision puisse être comprise, justifiée et reproduite.
Une bonne grille n’a pas vocation à supprimer le jugement professionnel de l’évaluateur. Elle lui donne simplement un cadre commun pour l’exercer.
Le meilleur test reste finalement assez simple : si plusieurs évaluateurs compétents peuvent examiner la même réalisation, utiliser les mêmes critères et expliquer pourquoi ils arrivent à une conclusion comparable, l’évaluation repose probablement sur des bases solides.
À l’inverse, lorsque la décision se résume encore à « je connais le métier, je vois bien si c’est bon », ce n’est pas forcément l’évaluateur qui pose problème. C’est souvent le dispositif d’évaluation qui n’a pas encore été suffisamment construit.
Les 7 questions à se poser avant de valider une évaluation
- Quelle compétence précise cherche-t-on à vérifier ?
- Quelle réalisation permettrait d’en démontrer la maîtrise ?
- La situation proposée oblige-t-elle réellement à mobiliser cette compétence ?
- Quels critères permettent de distinguer une réalisation maîtrisée d’une réalisation insuffisante ?
- Ces critères sont-ils observables et compréhensibles par plusieurs évaluateurs ?
- Certaines erreurs sont-elles incompatibles avec la validation de la compétence ?
- Les preuves produites permettent-elles d’expliquer et de justifier la décision prise ?
