Question:
Est-il courant d'avoir des questions d'examen «examinées par les pairs»?
Federico Poloni
2018-10-29 14:28:30 UTC
view on stackexchange narkive permalink

Dans quelle mesure les questions d'examen, après avoir été conçues par l'instructeur et avant d'être données aux étudiants, sont vérifiées par un collègue du même institut, pour s'assurer qu'elles sont appropriées et sans ambiguïté et que leurs résultats sont corrects ? Est-ce que cela est normalement appliqué par les universités du monde entier?

Je demande s'il y a un contrôle formel requis par le département; Je ne parle pas simplement des instructeurs du même cours qui écrivent l'examen en collaboration.

Motivation: anecdotique. Une réponse récente mentionne "avoir [les questions d'examen] vérifiées / vérifiées pour la qualité, la cohérence, etc.". Et j'ai entendu un collègue d'un pays du monde anglophone dire que dans leur institution, quelque chose de similaire se passe: ils préparent des questions d'examen une semaine à l'avance, puis ils sont envoyés pour être vérifiés par un collègue. OTOH, c'est complètement inconnu pour moi en Italie --- l'instructeur conçoit les questions, puis elles sont envoyées aux étudiants sans aucune forme d'examen imposée par l'université (bien que le système italien soit en quelque sorte particulier en ce qui concerne les examens .)

Euh?Comment éviter que le contenu de votre examen ne soit vérifié par des collègues, étant donné (au moins nominalement) que les examens en Italie sont administrés par un comité?
@Nemo Généralement, le comité d'examen est composé de 2 (parfois 3) personnes, et ils sont généralement directement impliqués dans l'enseignement du cours et la préparation des questions d'examen;parfois l'un d'entre eux est un TA ou un étudiant.Je ne considère pas la discussion entre les instructeurs comme une véritable revue par un tiers.
D'accord.Dans mon cours de mathématiques, il n'était pas rare que le comité ait 2-3 professeurs titulaires / associés, par ex.le professeur de géométrie II à l'examen de géométrie I.
L'examen externe des tâches d'examen avant de les confier aux étudiants semble être une pratique courante en Norvège.L'évaluation externe des solutions de tous les étudiants ou de quelques-uns d'entre eux est également courante.
Cette récente [question] (https://academia.stackexchange.com/q/118874/23455) est un exemple de la raison pour laquelle un tel examen serait une bonne idée.
Onze réponses:
Brian Tompsett - 汤莱恩
2018-10-29 15:10:33 UTC
view on stackexchange narkive permalink

Oui; comme mentionné au Royaume-Uni, on s'attend à ce que les devoirs (généralement ceux qui dépassent une certaine proportion de la note globale) soient à la fois vérifiés en interne et en externe avant d'être assis par des étudiants.

J'ai agi en tant qu'examinateur externe impliqué dans la vérification des papiers d'examen d'une autre université. C'est un rôle précieux que les universitaires expérimentés peuvent jouer à la fois dans l'amélioration de l'expérience des étudiants et dans la qualité de l'apprentissage et de l'enseignement d'une institution.

Un autre aspect qui mérite également d'être mentionné est la vérification des erreurs post-examen. Dans mon département (il y a quelque temps déjà), nous avons fait une expérience de vérification d'erreurs aléatoires et à notre grand étonnement, nous avons découvert que malgré la diligence du marqueur le plus expérimenté, des choses avaient été manquées. Notre vérification a révélé des pages de script manquées entières, des erreurs arithmétiques ridicules dans le score final et des erreurs de transcription de classe entière où les cellules de la feuille de calcul étaient "décalées". En conséquence, des vérifications administratives plus régulières ont été effectuées sur la notation de chacun et l'enregistrement des résultats pour gagner beaucoup en qualité et en satisfaction des étudiants.

Eh bien, c'est le Royaume-Uni couvert, qu'en est-il des autres pays?
Même chose ici en Australie.
Cependant, il ne trouve pas toujours d'erreurs.Lors de mes examens finaux dans une université britannique «top-5», deux questions sur le même papier, apparemment liées à deux cours différents, étaient à toutes fins pratiques identiques.Les candidats ont ensuite discuté de la question de savoir si la réponse «Cela a déjà été prouvé dans la réponse à la question 5» aurait obtenu tous les points comme réponse à la question 10!
Pas assez courant en France mais parfois oui.J'ai vu certaines de mes questions d'examen vérifiées par le professeur du cours.
Cela semble concerner la notation, mais la question porte spécifiquement sur «après avoir été conçu par l'instructeur et avant d'être remis aux étudiants».Pourriez-vous préciser si votre réponse s'applique également aux questions examinées * avant * d'être données aux étudiants?
@user3067860, oui.C'est systématique au Royaume-Uni et à H.K., où j'ai enseigné.Je ne l'ai pas vu faire en France, en Italie, en Espagne, où j'ai également enseigné.
"l'enregistrement des résultats pour gagner beaucoup en qualité et en satisfaction des étudiants."Cette phrase ne m'analyse pas tout à fait.
@FaheemMitha les contrôles ont été effectués sur "la notation de chacun et l'enregistrement des résultats" afin "de gagner beaucoup en qualité et en satisfaction des étudiants".(Je pense qu'une virgule après «enregistrement», ou même un point et commencer une nouvelle phrase, améliorerait le libellé.)
@user3067860 Les deux premiers paras sur la mise en place de l'examen, le troisième concerne la notation.
@MartinBonner Oui - Je vois que l'OP l'a modifié pour que cela soit clair maintenant.:)
@alephzero Quand j'étais étudiant, un ami avait deux questions qui se répondaient!
Buffy
2018-10-29 17:07:25 UTC
view on stackexchange narkive permalink

Cela semble être très dépendant de l'emplacement. Je pense que c'est une bonne idée, mais aux États-Unis, au moins, cela semble être très rare. Les enseignants peuvent avoir besoin de faire examiner les examens par un membre du corps professoral plus expérimenté dans certains établissements, mais la plupart du temps, on fait confiance à la faculté pour bien faire les choses.

Dans certaines institutions qui enseignent à de très grandes classes, les examens peuvent être créés par un "comité" composé du membre principal du corps professoral et de quelques assistants principaux. Cela donne une certaine assurance contre les erreurs grossières. Dans de tels endroits, vous pouvez également demander à certains des assistants professionnels de passer l'examen sous conditions d'examen. Cela donne à la fois une indication de la difficulté globale et permet de se prémunir contre une formulation ambiguë ou trompeuse.

Bien entendu, il est beaucoup moins courant de faire valider statistiquement les questions d'examen avant de les utiliser. Bien entendu, il est très difficile de faire une telle chose à moins que les questions d'examen n'aient une portée nationale et ne puissent être testées dans des conditions expérimentales.

Donc, il n'y a jamais de questions qui ne peuvent pas être résolues, ou de questions qui ont des informations manquantes ou de questions qui sont ambiguës ... Tout est déroutant pour les étudiants ...
D'après mon expérience, il est également assez courant de demander au (x) AT d'examiner l'examen, si le cours en a.La question de savoir si cela compte comme un ** examen par les pairs ** est bien sûr en discussion.
Certains TA sont très bons pour trouver les fautes de frappe (erreurs) avant que les étudiants ne puissent passer l'examen ...
@SolarMike, vous avez lu suffisamment de questions ici, bien sûr, que vous savez que de mauvaises choses arrivent.Dans certains petits départements, il se peut qu'aucun autre membre du corps professoral ne possède l'expertise nécessaire pour répondre à certaines des questions.Ils peuvent aider à prévenir le phrasé double négatif et autres, bien sûr.
L'une des raisons de la différence est qu'un examen final peut généralement compter pour 25% de la note aux États-Unis et 100% au Royaume-Uni.
@Buffy oh oui, j'ai même vu les papiers de questions assis sur les pupitres d'examen avec les étudiants sur le point d'entrer et un surveillant dit "est-ce que cette dernière page est la réponse" .... :) bon pour rire, arrachant la dernière page trèsrapidement sur tous les papiers ...
Des universités que je connais en Espagne, c'est la même chose.
Ayant travaillé pour plusieurs grands cours en tant qu'assistant en Allemagne, le deuxième point était définitivement le cas.La règle de base habituelle en interne était que chaque assistant devrait être capable de résoudre l'examen dans environ la moitié du temps que les étudiants auront.Nous en avons généralement fait une sorte de course.
Solar Mike
2018-10-29 14:49:16 UTC
view on stackexchange narkive permalink

Très courant dans mon expérience. juste pour noter que je suis en Suisse ...

Et même si ce n'est pas prescrit par l'université, le bon sens semble amener la plupart de mes collègues du passé à demander à l'un de "jeter un oeil à x "sur une base ad hoc. Nous avions tendance à le faire les uns pour les autres, avant même que les «systèmes de modération» ne nous soient «imposés» ou que la relation existante ne soit rendue plus formelle ...

Ceci, simplement, permet d'éviter les erreurs de frappe, ou erreurs de nombre, c'est-à-dire un facteur de 10 manquant qui peut faire d'une très bonne question un tel problème pour les étudiants qui sont stressés ...

Une partie de la modération peut être lorsque des modérateurs externes d'autres institutions interviennent pour évaluer un cours particulier, où ils parlent aux professeurs, aux étudiants et vérifient la cohérence des examens et des scripts de réponse.

Sur une note personnelle, je n'aimais pas être modéré en externe au début, mais j'apprécie maintenant le processus pour un point de vue différent car j'ai trouvé que les gens qui entrent font face aux mêmes problèmes avec les classes / étudiants que moi. Donc, la discussion a tendance à être "Je considère ceci" et la réponse est "Eh bien, intéressant, ça vaut le coup d'essayer, mais faites attention à ceci ou ceci". Cela fait une différence que j'apprécie maintenant ...

Je me souviens d'un professeur, où j'ai fait mes études, à qui on a dit de passer un examen "à livre ouvert" pour son cours. Alors il l'a dûment fait ... Il l'a envoyé pour une modération externe (les soi-disant experts mentionnés dans une autre réponse ...) et le modérateur n'a pas pu terminer l'examen ... :) Le le modérateur a dû demander les solutions ... Mon conférencier a continué avec le style original de l'examen qui n'allait pas ouvrir le livre ....

St. Inkbug
2018-10-29 14:58:36 UTC
view on stackexchange narkive permalink

Au Royaume-Uni, le processus d'assurance qualité imposé par l'Agence britannique d'assurance qualité nécessite une modération interne et externe des évaluations. Les modérateurs internes sont des universitaires de la même unité ou département que le conférencier. Les modérateurs externes sont des universitaires extérieurs à l'université (et peuvent être des experts internationaux dans le domaine).

La modération interne et externe se produit en deux étapes. Le premier concerne la construction d'examens et d'évaluations des cours avant leur remise aux étudiants. Ces évaluations sont sujettes à examen et à révision avant leur publication. Le second est dans l'appréciation de la répartition des notes et dans la conduite de l'examen. Dans cette étape, nous discutons de questions telles que la performance de la cohorte par rapport aux attentes, les cas d'inconduite académique, etc.

Le régime est assez impliqué et très bureaucratique. Cependant, sa valeur est évidente lorsqu'il y a des différends concernant le niveau de l'examen ou les performances des élèves.

Daniel R. Collins
2018-10-29 19:58:16 UTC
view on stackexchange narkive permalink

Certainement dépendant de l'emplacement et des ressources. Je n'ai jamais vu cela faire pour des travaux de mi-session ou des examens dans les deux institutions où j'ai enseigné (collèges communautaires américains à Boston et à New York; 5 ans, 12 ans respectivement). Pour les examens finaux, mon département actuel a des finales de département uniformes, qui sont vues par tous les instructeurs au préalable.

On peut soutenir que les institutions comme l'éducation aux États-Unis ont tendance à être relativement "jeter tout le monde individuellement aux loups / à la loi de la jungle", et cela pourrait en être un exemple.

Donc, cela semble vraiment être une bonne idée que je n'ai jamais vue implémentée. (Exactement comme les revues de code, à l'époque où j'étais ingénieur logiciel.)

Même chose au Canada.J'ai eu un professeur qui a passé en revue des questions qu'une proportion surprenante de la classe s'est trompée et a accordé un crédit partiel ou a rejeté la question, mais c'était à peu près tout.
einpoklum
2018-10-29 18:21:34 UTC
view on stackexchange narkive permalink

D'après mon expérience, il s'agit de la quantité de ressources allouées à un cours. Si un cours est correctement budgété, le personnel enseignant consacre du temps à prendre correctement soin du site Web; préparation et mise à jour de livrets de cours ou de matériel pédagogique interactif en ligne; examiner les diapositives des uns et des autres; examiner les projets de devoirs avant leur publication; passer en revue les questions d'examen et ainsi de suite.

En fait, quand j'étais TA pour le cours de programmation du premier semestre (234114 et 234117 au Technion IIT), il était souvent le cas que les TA qui ne participaient pas par écrit, les questions d'examen passeraient l'examen un certain temps avant la date officielle de l'examen, pour s'assurer que les instructions sont claires et pour se chronométrer. Nous visions un rapport de 3: 1 entre le temps donné aux étudiants et le moment où un TA rédige une solution complète.

Donc, en particulier:

  1. Là Il n'y a pas de dichotomie entre "examen universitaire" et "pas d'examen" .
  2. Parfois, les assistants techniques rédigent des questions d'examen , pas seulement l'enseignant responsable.
Hmm.Vous étiez plus strict que nous aux États-Unis.Nous visions généralement 4: 1 ou plus.Bien que ce soit pour Calc I, Calc II où je pense que la quantité de travail subalterne par rapport à la pensée est inférieure.C'est à dire.vous devez écrire moins pour une solution complète si vous savez ce que vous devez faire, donc les TA ont un plus grand avantage.
@DRF: Pour le calcul, il y a beaucoup moins d'écriture que pour un cours de programmation C où il faut un certain temps pour écrire des programmes complets.
DRF
2018-10-29 19:07:45 UTC
view on stackexchange narkive permalink

En République tchèque (Université Charles au moins mais les plus réputées d'après ce que je sais), nous avons encore la plupart des cours (90% +) notés dans le cadre d'examens oraux, évitant ainsi ce genre de problème, tout en déterminant ce que l'étudiant sait par opposition à savoir s'il a étudié ou non pour le test .;) Certains des examens ont une partie écrite qui est réussie par un examen oral.

Pour les 10% qui sont purement écrits Je n'ai jamais vu de validation externe bien que la validation interne entre collègues se produise occasionnellement.

ThunderDownUnder
2018-10-30 13:38:31 UTC
view on stackexchange narkive permalink

Je travaille pour une université australienne et oui, nous devons soumettre l'examen final au département pour approbation deux semaines à l'avance. Le but est de s'assurer que les questions sont sans ambiguïté, comprennent une gamme de niveaux cognitifs et utilisent le bon format et la bonne organisation du papier.

Non seulement l'examen, mais même les notes doivent être modérées par d'autres universitaires du département.

-1
Haluter
2018-10-30 18:05:15 UTC
view on stackexchange narkive permalink

Lorsque je travaille en tant que doctorant en Allemagne, les questions d'examen sont conçues par moi et vérifiées par mon superviseur qui donne la conférence. Donc, il n'y a pas de système de «vérification externe» mais l'examen est vérifié par différentes personnes. Cependant, différents professeurs gèrent cela différemment (par exemple, certains d'entre eux conçoivent eux-mêmes les examens, puis leurs doctorants les vérifient ou un collègue les vérifie. Cependant, il n'est même pas rare que quelqu'un conçoive un examen et ne laisse personne vérifiez-le. Que cela soit possible est assez malheureux à mon avis.)

Frank from Frankfurt
2018-10-29 21:56:42 UTC
view on stackexchange narkive permalink

Pendant que j'étais doctorant dans une université allemande, c'était absolument courant. Mes exercices - et ceux de mes collègues - ont été vérifiés plusieurs fois par des collègues et rarement adoptés dans leur forme originale.

Il était assez normal que les questions d'examen aient dû être révisées parce que l'exercice était tout simplement erroné. Assez souvent, les formulations étaient inutilement compliquées ou ambiguës - ou les exercices exigeaient des techniques mathématiques, que les élèves ne possédaient pas nécessairement à ce moment.

Parfois, les exercices et les corrections étaient contestés devant le tribunal par des élèves qui voyaient ceci en dernier recours pour rester à l'université.

allo
2018-10-30 15:11:14 UTC
view on stackexchange narkive permalink

Je pense que c'est courant et je souhaite ajouter un autre aspect: le temps.

Souvent, un ou deux collègues reçoivent l'examen complet et y répondent, en notant le temps nécessaire pour chaque question. Ensuite, l'estimation du temps peut être multipliée par un facteur raisonnable (par exemple entre 1,5 et 2), pour estimer ce que vous pouvez attendre des étudiants pendant l'examen. Cela peut filtrer les examens trop longs et aider à pondérer les points pour chaque question.



Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 4.0 sous laquelle il est distribué.
Loading...