Le succès de la mise en œuvre des tests dépend non seulement de la qualité de l'évaluation elle-même, mais aussi de la maturité des systèmes qui la soutiennent. Le test représente le produit, et le système reflète le processus ; ensemble, ils associent une culture de pilotage pour le progrès de l'évaluation pédagogique, notamment dans le contexte de l'utilisation croissante des produits d'évaluation basés sur la technologie, qui nécessitent des mécanismes d'assurance qualité continus.

Le pilotage, souvent appelé « tests sur le terrain » dans le contexte de l'évaluation, est largement évoqué pour tester les questions (items) et valider les évaluations. En revanche, on accorde moins d'attention au pilotage de produits conçus pour soutenir le développement à l'échelle du système, tels que les normes de l'AIEA^[1], que nous avons explorées en détail dans notre précédent article intitulé « Normes internationales pour la réalisation d'évaluations technologiques »^[2] et qui seront examinées plus en détail ici sous l'angle technologique.

Cet article vise à sensibiliser à l’importance des tests pilotes pour la validation des produits, en particulier pour les solutions destinées à favoriser des améliorations systémiques dans l’évaluation pédagogique, en mettant l’accent sur la collecte de preuves et le partage d’idées sur un cadre d’audit de qualité pour la production d’évaluations basées sur la technologie.

Au-delà des items : Pilotage pour la validation au niveau du système

Cette section décrit un processus de validation visant à démontrer les performances de l'instrument d'auto-évaluation basé sur des normes en contexte institutionnel réel, passant de l'approbation conceptuelle à la mise en pratique.

Les essais pilotes traditionnels en évaluation se concentrent généralement sur la validation des items de test en termes de difficulté, de discrimination et d'équité. Cependant, avec l'adoption croissante des outils et plateformes numériques par les systèmes éducatifs, l'expérimentation doit aller au-delà des items pour intégrer les systèmes qui prennent en charge l'élaboration, la mise en œuvre, la notation et la communication des tests. En pratique, un organisme d'évaluation peut tester un instrument d'auto-évaluation basé sur des normes afin de valider son efficacité à évaluer l'état de préparation institutionnelle par rapport à des cadres/instruments tels que les Normes opérationnelles de l'AIEA. Plutôt que d'utiliser les normes uniquement pour éclairer la pratique, ce processus pilote permet de tester l'instrument lui-même, en évaluant sa capacité à identifier des facteurs critiques tels que l'alignement et l'adéquation des programmes de formation soutenant la mise en œuvre du cycle d'évaluation.

Ceci est particulièrement important dans le contexte des évaluations technologiques, où le développement d'items requiert des compétences spécialisées en conception interactive, intégration multimédia et compatibilité avec les plateformes. Si la formation peut être dispensée à la fois aux équipes internes et aux développeurs d'items externes, la responsabilité incombe souvent à différents services, ce qui entraîne des incohérences dans l'orientation, la portée et le format de diffusion. Le pilotage de l'instrument permet à l'organisation de déterminer si ces problèmes sont efficacement pris en compte, notamment les risques de duplicata, de chevauchement thématique ou de lacunes dans le développement des compétences techniques.

En fin de compte, cet exercice pilote devient un processus de validation non seulement de la préparation de l'organisation à mettre en œuvre des évaluations technologiques de haute qualité, mais aussi de l'utilité de l'instrument pour soutenir l'assurance qualité. Ce processus pilote des normes en tant qu'outil d'auto-évaluation permet d'évaluer systématiquement les programmes de formation au développement d'éléments numériques, de mieux les coordonner et de les aligner sur les objectifs institutionnels plus larges, jetant ainsi les bases d'un système d'évaluation plus intégré et tourné vers l'avenir.

La section ci-dessous décrit la logique du processus de validation et propose des étapes, notamment une structure d'adoption potentielle et des scénarios de mise en œuvre illustratifs.

Assurance qualité dans l'évaluation basée sur la technologie : un cadre en action

Cette section décrit une méthodologie de validation proposée pour piloter une version modifiée du composant d’auto-évaluation des normes de l’AIEA adapté aux environnements d’évaluation basés sur la technologie, dans le but de déterminer si le cadre adapté génère des informations plus exploitables et plus pertinentes dans les contextes de transition numérique.

D'une manière générale, un cadre d'audit qualité systémique dans le domaine de l'évaluation pédagogique aide les organisations à évaluer et à améliorer continuellement leur préparation à l'adoption et au développement de solutions technologiques dans un secteur de l'évaluation en constante évolution. Par exemple, les évaluations technologiques nécessitent des ressources prenant en charge la conception interactive, l'intégration multimédia et la compatibilité avec les plateformes, notamment pendant la phase de développement des items du cycle d'évaluation.

Un cadre d'audit plus réactif et axé sur la technologie peut aider les organismes d'évaluation à déterminer s'ils disposent des outils, des flux de travail et de l'expertise nécessaires pour concevoir et proposer des items de test numériques de haute qualité, renforçant ainsi la conception de l'évaluation au sein de leurs processus institutionnels. Pour accompagner cette évolution, le tableau ci-dessous présente des exemples de refonte des questions d'auto-évaluation actuelles, basées sur les normes de l'AIEA, afin de mieux refléter les réalités des environnements d'évaluation technologiques, favorisant ainsi un dialogue plus constructif et fondé sur les données probantes avec les organismes d'évaluation de grande envergure.

Comme le lecteur le remarquera en parcourant le tableau présenté, les ajustements reflètent principalement une réorientation vers un questionnement axé sur la technologie afin d'inciter les répondants à considérer leur maturité technologique par défaut. Cette approche est préférable pour les auditeurs évaluant la qualité institutionnelle au sein d'organismes d'évaluation pédagogique en transition vers l'évaluation numérique, car elle favorise des audits plus diagnostiques et constructifs, générant des informations exploitables pour l'amélioration des systèmes technologiques. De plus, le format a été modifié, passant de questions de type « oui/non » à des questions plus ouvertes et axées sur les données probantes, permettant aux organisations de décrire leurs pratiques de base actuelles plutôt que de porter des jugements binaires sur leur existence.

Méthodologie de validation potentielle

Pour évaluer la pertinence et la valeur ajoutée d'une version modifiée des normes de l'AIEA pour les environnements d'évaluation basés sur la technologie, deux stratégies pilotes sont envisageables :

En bref, la deuxième option peut créer un engagement plus important et, si elle est partagée avec la communauté pour un pilotage plus large, pourrait attirer l’attention de diverses parties prenantes en offrant des perspectives qui reflètent un éventail plus large de types d’organisations dès le départ.

Vers des systèmes plus intelligents grâce à des projets pilotes de préparation au numérique

Avec la croissance du secteur de l'évaluation pédagogique, notamment avec la transition croissante vers le numérique, se concentrer uniquement sur l'amélioration des items n'est plus une stratégie judicieuse. Si l'élaboration des items demeure une phase cruciale du cycle d'évaluation, la résilience et la pertinence à long terme des systèmes d'évaluation dépendent de la qualité de l'évaluation et de l'amélioration des processus organisationnels des établissements. Le pilotage d'un instrument d'auto-évaluation, tel que le cadre normatif modifié de l'AIEA, offre l'opportunité d'aller au-delà de la simple validation du contenu de l'évaluation. Il aide les établissements à réfléchir à leurs capacités internes, à leurs structures de gouvernance et à leur capacité à gérer des environnements d'évaluation complexes basés sur la technologie. Ce processus favorise non seulement une meilleure coordination et une meilleure responsabilisation, mais aussi une culture plus forte de conscience institutionnelle et d'amélioration continue.

Les stratégies pilotes proposées, présentées dans cet article, offrent un point de départ pratique pour adapter les cadres d'audit aux réalités numériques des systèmes d'évaluation actuels. En s'engageant activement dans ce processus pilote, les organisations contribuent à façonner un modèle d'assurance qualité plus inclusif, adaptable et technologiquement réactif, adapté aussi bien aux fournisseurs de technologies qu'aux institutions d'évaluation publiques. Les organisations souhaitant se joindre à cet effort, qu'elles soient développeurs d'évaluations numériques ou responsables de leur mise en œuvre au sein des systèmes éducatifs nationaux, sont chaleureusement invitées à participer au projet pilote. Contribuer à cet effort collectif de validation constitue non seulement une étape vers le perfectionnement des outils, mais aussi vers la construction des bases d'un écosystème d'évaluation mondial plus agile, transparent et tourné vers l'avenir.

À propos de l'auteur

Vali Huseyn est un expert en évaluation pédagogique et auditeur qualité, reconnu pour sa promotion de l'excellence et de la mise à l'échelle axée sur les réformes au sein des organismes d'évaluation, grâce à son expérience gouvernementale, son expertise terrain et son réseau régional.

Titulaire d'un diplôme universitaire en politique, planification et administration de l'éducation de l'Université de Boston (États-Unis), ainsi qu'en évaluation pédagogique de l'Université de Durham (Royaume-Uni), il possède un ensemble de compétences sur l'utilisation des évaluations pour éclairer l'élaboration de politiques fondées sur des données probantes. Dans le cadre de son travail visant à relier les réformes nationales aux référentiels internationaux, Vali a utilisé le CECR et le PISA comme cadres directeurs pour soutenir les stratégies d'amélioration des instruments d'évaluation au Centre d'examen d'État de la République d'Azerbaïdjan et, plus récemment, a fourni des conseils dans ces mêmes domaines au Centre national d'évaluation du Kazakhstan. Par ailleurs, Vali est auditeur qualité et fournit des services d'audit qualité institutionnel en partenariat avec l'organisation néerlandaise RCEC, plus récemment pour l'agence nationale d'évaluation CENEVAL au Mexique.

Vali possède également une expérience pratique dans la région de la CEI, notamment en Azerbaïdjan, au Kazakhstan et en Ouzbékistan, et possède une solide connaissance du domaine éducatif de la région. Vali parle couramment quatre langues : l'azerbaïdjanais, le russe, le turc et l'anglais. Il les utilise dans son travail pour favoriser une communication efficace, surmonter les barrières linguistiques et approfondir la compréhension contextuelle entre les pays de la région. Il a également été consultant pour l'Institut de statistique de l'UNESCO, contribuant à la collecte de données sur des évaluations à grande échelle dans la région post-soviétique.

Si vous souhaitez adopter les normes internationales de l'AIEA, n'hésitez pas à contacter Vali via LinkedIn pour une demande de rendez-vous.

Références

[1] Normes internationales de l'AIEA : https://iaea.info/iaea-international-standards-update-faq/

[2] Normes internationales pour la réalisation d'évaluations technologiques : https://www.vretta.com/buzz/international-standards/

---