Question:
Quelles méthodes peuvent être utilisées dans les examens en ligne pour tester véritablement les connaissances et les capacités des étudiants?
Stumbler
2020-03-17 17:07:13 UTC
view on stackexchange narkive permalink

On a beaucoup parlé de l'enseignement en ligne en relation avec le covid-19 et les fermetures de campus.

Cette question n'est pas à ce sujet cependant: ma question est de savoir comment les examens en ligne devraient être traités en contrepoint aux examens écrits.

Je vais transférer l'examen écrit de mon cours dans un environnement en ligne. Cet examen impliquait 2 heures d'étudiants, avec un stylo et du papier, répondant à des questions à la fois courtes et longues dans un environnement d'examen typique.

Un examen en ligne ne peut cependant pas être contrôlé. Exiger que ce soit autre chose qu'un livre ouvert n'est pas réaliste. Quelles méthodes peuvent être déployées pour que ce soit un véritable test des connaissances et des capacités des étudiants?

De quoi parle le cours?Math?Science?La programmation?Sciences humaines?Ou l'un d'entre eux en général?
Programmation @scaaahu, mais très peu d'accent sur le codage dans l'examen écrit.
Les codes d'honneur sont-ils une chose dans votre pays / institution?(Je ne prétends pas qu'ils résolvent le problème)
@user111388 Cela a-t-il déjà fonctionné?
@Mast: Mon impression (anecdotique, mais après en avoir discuté avec des gens d'un large éventail d'endroits) est que les codes d'honneur fonctionnent à condition qu'ils fassent partie d'une culture universitaire où l'intégrité est prise au sérieux par les étudiants.Compte tenu de cela, les codes d'honneur fonctionnent bien pour renforcer cette culture et codifier les attentes qu'elle implique.Mais s'il n'y a pas une culture préexistante de prise de l'intégrité au sérieux, alors un «code d'honneur» imposé par les autorités ou les facultés individuelles ne fera pas grand-chose.Et ce type de culture varie certainement * beaucoup * entre les différentes universités / domaines / lieux.
Ma réponse cynique au titre de votre question est que nous ne savons même pas comment faire cela en utilisant des examens normaux.
En ce qui concerne les codes d'honneur, j'ai l'impression qu'ils sont un moyen de fixer les règles de manière positive.Formellement, «Vous n'êtes pas autorisé à faire ceci et cela» et «Je promets que je ne ferai pas ceci et cela» sont équivalents, mais le second est de m'imposer la responsabilité.Cela n'empêchera pas un tricheur déterminé, mais cela peut dissuader quelqu'un au bord de la route et aider à clarifier les règles exactes.
@Mast: Je vis dans un pays sans eux (ils le sont très rarement) et je pense qu'ils aident un peu - cependant, si les gens sur ce site sont des gens typiques des États-Unis, mon impression d'après les articles est qu'aux États-Unis, unle code d'honneur est aussi puissant qu'une loi de la nature.
J'aurais aimé que les gens se posent la même question "... tester véritablement les connaissances et les capacités des élèves?"avant même l'épidémie.
Les codes d'honneur @Mast impliquent généralement des sanctions plus sévères si vous vous faites prendre.À l'école, j'avais l'intention d'en utiliser un, si vous étiez pris en train de tricher pour une tâche à la maison, une première infraction pourrait entraîner une suspension d'un trimestre, pas seulement un 0 pour cette tâche particulière.
@user111388 Cela ressemble plus à une chose individuelle.D'après mon expérience en tant que Canadienne, je n'ai pas vraiment l'impression que les codes d'honneur sont aussi forts aux États-Unis.Par exemple, en Amérique du Nord, la culture japonaise est souvent mentionnée comme étant beaucoup plus «basée sur l'honneur» que NA.
Une chose qui n'a été abordée dans aucune des réponses jusqu'à présent: des sites comme Chegg.com qui, en échange d'un abonnement, promettent des «réponses d'experts» à toutes les questions postées dans les deux heures.J'ai donné un examen de mathématiques en ligne hier, et bien sûr, toutes les questions sont apparues comme par magie sur Chegg et ont reçu une réponse pendant l'examen.
@xLeitix Exactement cela.De plus, il existe des moyens d'attraper la tricherie en ligne ou en classe
Sept réponses:
Buffy
2020-03-17 17:33:06 UTC
view on stackexchange narkive permalink

Premièrement, une limite de temps de deux heures peut être difficile à appliquer ou à garantir, surtout si elle utilise une horloge en temps réel. À un certain niveau, vous pouvez commencer à constater que certains étudiants n'ont pas reçu le papier d'examen ou n'ont pas pu le retourner avant la date limite. Donc, je commencerais par repenser si une limite de temps de moins d'une journée est vraiment essentielle à votre examen.

Deuxièmement, vous pouvez pré-vérifier toutes les questions que vous posez en effectuant une recherche en ligne pour les réponses et les réponses possibles. Rejetez les questions qui sont trop présentes en ligne ou préparez-vous à les récupérer comme réponses. Vraisemblablement, le test ne concerne pas les recherches en ligne efficaces.

Troisièmement, abandonnez l'idée de demander aux élèves des faits. C'est évident, je pense, car les faits sont bon marché. Mais même des faits nécessitant des calculs, comme en mathématiques ou en statistiques, peuvent être générés avec des outils tels que MatLab ou Mathematica.

Le meilleur type de questions, je pense, sont celles qui nécessitent une interprétation et une perspicacité, ou les deux. Des questions sur le pourquoi des choses plutôt que sur le quoi et le comment sont bien meilleurs. Cependant, ce sont les plus difficiles à créer, les plus difficiles à répondre et sont susceptibles de présenter la plus grande variation de qualité par rapport aux étudiants. Les noter peut nécessiter beaucoup d'interprétation: cet élève montre-t-il un aperçu du sujet? Une notation réussite-échec peut être envisagée. Des tentatives répétées peuvent être envisagées.

Comme alternative à un examen, vous pouvez envisager le développement individuel de portfolio par les étudiants. Les élèves écrivent ou créent des artefacts selon certains critères. Les problèmes de plagiat entrent en jeu ici, bien sûr.

Je noterai que les codes d'honneur peuvent aider dans une certaine mesure, mais ne fournissent aucune garantie. Et les codes d'honneur créés sur le moment sont probablement moins efficaces que ceux de longue date.

Pourquoi suggérez-vous que les codes d'honneur créés en ce moment sont probablement * moins * efficaces?Je soupçonnerais qu'ils seraient * plus * efficaces, avec plus de nouveauté et moins de chance pour eux de s'émousser avec le temps.Je soupçonne que l'attention et la réflexion sur un code d'honneur sont ce qui le rend finalement efficace.
@BenI., Je n'ai aucune preuve réelle.Mais lorsqu'un étudiant postule, disons, à Dartmouth, il apprend déjà le code d'honneur et ce que l'on attend d'eux.Il existe un historique de son application, y compris des violations.Les étudiants y ont participé, y compris l'énoncé de celui-ci et son application.Un nouveau code peut simplement sembler quelque chose d'imposé.Mais ce n'est vraiment qu'une estimation de l'efficacité relative.
Reese
2020-03-18 22:28:56 UTC
view on stackexchange narkive permalink

Je pense que beaucoup d’entre nous sont confrontés à ce problème en ce moment. Voici ce que certains de mes collègues et moi faisons.

Examens à livre ouvert: Comme beaucoup de gens le disent, il n'existe aucun moyen pratique de contrôler l'utilisation par les étudiants de ressources extérieures, alors ne le fais pas. Rédigez l'examen en pensant qu'ils utilisent des notes et peut-être même Google, et faites-leur savoir. Vous ne voulez pas désavantager les étudiants qui pensent être honnêtes!

Questions d'interprétation: Google est idéal pour les faits, mais mauvais pour l'interprétation. En tant qu'instructeur de mathématiques, l'une de mes principales préoccupations était l'existence de logiciels comme Symbolab et Wolfram Alpha capables de faire la plupart des calculs. Mais il n’existe aucun logiciel capable de résoudre un problème de mots décemment bien écrit, ou qui peut expliquer ce que signifient les caractéristiques particulières d’un graphique dans le contexte.

Questions spécifiques à la classe: Un de mes collègues, un professeur d'histoire, a le problème que les sujets impliqués dans l'examen sont suffisamment bien étudiés pour que les interprétations soient en fait disponibles gratuitement en ligne, et un étudiant raisonnablement intelligent serait capable de paraphraser suffisamment bien pour éviter d'être détecté. Ce qu'il prévoit de faire, c'est de demander aux élèves de relier le sujet à la classe elle-même , en demandant aux élèves de faire référence aux discussions en classe dans leurs réponses. Étant donné que Google n'a aucun moyen de savoir ce qui a été discuté en classe, cela est assez robuste contre la triche.

Reconnaissance d'image: Google a une fonctionnalité de recherche d'images inversées, mais ce n'est pas Ce n'est pas très efficace si vous faites l'image vous-même. Par conséquent, poser une question qui oblige les élèves à comprendre une image peut être utile; dans mon examen, j'ai demandé aux étudiants de fournir une fonction correspondant à un graphique donné. Il convient de noter que, comme les images sont en grande partie incompatibles avec les lecteurs d'écran, vous devrez peut-être être conscient de tout handicap parmi vos élèves.

Durée: si une limite de temps est importante, laissez l'examen disponible pendant un peu plus longtemps que cette plage horaire. Mon examen a duré deux heures et je l'ai eu pendant trois heures. Cela limitait la capacité des étudiants à se communiquer des questions, et cela permettait également une certaine flexibilité aux étudiants qui rencontraient des problèmes techniques. Personnellement, si possible, je recommande de simplement passer un examen non chronométré, écrit dans l’espoir que les étudiants pourraient communiquer entre eux.

Justification: La plupart des étudiants font un très mauvais travail de expliquer un raisonnement qui n'est pas le leur - utilisez-le. Si un problème d'examen oblige les élèves à justifier leur réponse, il leur est d'autant plus difficile d'obtenir des réponses les uns des autres.

C'est une très bonne réponse avec des suggestions utiles!
+1 pour "Questions d'interprétation": c'est le type de la plupart des questions que j'ai posées lors des entretiens
+1 pour la prise en compte des étudiants handicapés.
vous avez raison de dire qu'il n'y a pas de logiciel capable de résoudre les problèmes de mots, mais juste pour alerter tout le monde, j'ai (et beaucoup d'autres) j'ai demandé à des élèves de prendre une photo d'un problème de mots, de la publier sur (par exemple) chegg.com, et immédiatementobtenir une réponse - et c'était pour les examens en classe que je pensais que je surveillais décemment.
CL40
2020-03-18 11:16:25 UTC
view on stackexchange narkive permalink

J'ai pensé que cela pourrait être utile car je ne l'ai pas encore vu posté.

Une idée que j'ai vu des professeurs déployer (je suis étudiant en doctorat, je peux donc parfois aider à penser à ces choses) est d'introduire une complication dans le test. Voici quelques façons dont j'ai vu cela se faire (et certaines façons dont cela est fait pour moi ce semestre):

Livre ouvert, problèmes plus difficiles

L'idée derrière celle-ci est de s'attaquer directement au problème que vous avez signalé - comment faire d'un test un test tout en étant plus ou moins forcé dans un scénario à livre ouvert. Dans cette option, vous augmenteriez simplement la difficulté de votre test de manière appréciable. Vous avez peut-être des questions qui, lorsqu'elles ont été correctement répondues, conféreraient une note C (ou équivalente). Car les autres questions les rendent de plus en plus difficiles. L'idée ici est de s'assurer que l'élève apprend quelque chose. Une façon de faire est de les pousser modestement en dehors de leur zone de confort avec des questions qui ne peuvent pas être simplement recherchées dans leur texte. Mon programme est l'informatique. Une façon de faire cela dans mon domaine est, au lieu de demander à un étudiant de démontrer les étapes d'un algorithme, de prouver quelque chose de petit. Peut-être un exemple de preuve d'un invariant de quelque chose, ou une application difficile à quelque chose qu'ils ont appris en classe. Appliquer une contrainte de temps serait très difficile pour quelqu'un à moins d'avoir un surveillant pour chaque individu.

Livre ouvert, recherche

Demandez aux élèves d'interpréter quelque chose ils ont appris en classe peut-être sous un nouveau jour. Selon le niveau du cours que vous enseignez, cela pourrait être quelque chose de très basique jusqu'à ce qu'un doctorant soit censé faire dans sa recherche (évidemment, cela doit être réalisable et raisonnable - mais je pense que vous avez compris). Encore une fois, malheureusement, appliquer une contrainte de temps sans surveillant serait difficile.

Les deux nécessitent malheureusement plus de travail de votre part. À mon niveau, je n'ai vu aucun test en ligne chronométré, principalement parce que l'infrastructure n'est tout simplement pas disponible pour être mise en place rapidement pour les classes qui ne le faisaient pas déjà. De plus, le matériel est assez compliqué et ne se prête pas bien à la segmentation en questions en ligne qu'un ordinateur pourrait évaluer.

Bonne chance!

Peter K.
2020-03-18 17:28:45 UTC
view on stackexchange narkive permalink

J'envisage de rendre mes examens finaux oraux via Skype / Zoom / WebEx / Teams.

Mon raisonnement est que, pour la taille de la classe que j'enseigne (20 à 24) et la durée habituelle des examens et marquer le temps, cela me prendra à peu près le même temps.

Je crois que je peux généralement vérifier la note d'un élève en A / B / C / D / F en cinq minutes environ. Les notes les plus fines prendront un peu plus de temps, mais encore une fois, toujours dans le temps que je passe habituellement à la notation et à la surveillance.

J'ai un mi-parcours à venir, et je vais l'essayer là-bas.

Avantages: vous êtes presque sûr que c'est le bon élève. Ils n’ont pas le temps de chercher beaucoup. Et toute aide en salle sera évidente.

Inconvénients: la planification peut être difficile. Les étudiants n'y sont pas habitués. Les amener à faire des calculs / calculs peut être problématique.

—-

Edit:

Jusqu'à présent, j'ai fait une centaine d'examens oraux et cela a très bien fonctionné. Le problème de planification a une solution technique: j'ai utilisé Microsoft Bookings qui a un accès direct à mon calendrier et laisse les étudiants gérer leur réservation. De plus, je peux planifier quand ils pourront réserver leurs examens.

Je pense que c'est une bonne idée, avec deux problèmes: cela peut rendre les gens plus nerveux, et avec des serveurs surchargés, il peut y avoir des problèmes.J'espère que vous trouverez des moyens d'atténuer les deux.
@Davidmh Merci pour vos pensées.Oui, quand j'ai déjà passé des examens oraux en personne, j'ai vu des hommes adultes pleurer devant un tableau blanc parce que cela les rendait si nerveux.Certainement quelque chose à éviter.
Quand je faisais des examens sur papier, je sautais et passais d'un problème à l'autre pour me débloquer.Ce n'est pas facile à faire lors d'un examen oral.Peut-être pourriez-vous leur donner une liste de questions à l'avance et les laisser choisir l'ordre?
@Davidmh Oui, j'ai bien l'intention de leur donner la liste des questions «de départ»: par où je commencerai par les questions.Auparavant, avec les oraux en personne, nous avons publié une (longue) liste de questions possibles que les étudiants pouvaient être posées - avant l'examen, afin qu'ils sachent dans quoi ils se laissaient aller.Je suis également disposé à passer d'un problème à l'autre si l'élève s'énerve.Ce sera une nouvelle expérience pour eux (et moi, en ligne), donc je devrai être flexible.
De plus, nous devons avoir un observateur ("Beisitzer") en Allemagne pour les examens oraux afin de garantir que personne ne soit évalué injustement.
@DeboraWeber-Wulff Je n’ai pas d’observateur, mais j’ai enregistré tous les oraux, il est donc possible de faire ce que vous suggérez après l’examen.
guest
2020-03-18 17:50:37 UTC
view on stackexchange narkive permalink

Je résisterais au CONSEIL COMMUN pour répondre à des questions plus difficiles, de type recherche et projet. Ils ne sont pas aussi utiles sur le plan pédagogique pour un néophyte. (Tests de compétences moins progressifs, moins de base.) Au lieu de cela, je déciderais qu'une certaine perte de triche vaut le coût, par rapport à un coût d'apprentissage.

Cela dit, les mesures suivantes peuvent être prises pour atténuer * le danger de tricherie:

  1. Rendre l'examen chronométré, à une heure précise (c'est une bonne idée en général d'exercer une certaine discipline ... RÉCLAMER votre horaire régulier), avec tapé réponses soumises dans les dernières minutes du test. REMARQUE: vous n'avez pas besoin d'un système sophistiqué. Cela peut être aussi simple qu'un e-mail auquel ils «répondent» en ajoutant des réponses.

  2. Rendez les tests MOINS les enjeux importants en faisant des examens plus fréquents ET plus courts. Un examen hebdomadaire d'une heure du vendredi n'est pas déraisonnable pour un cours de 5 jours par semaine. Un examen d'une heure toutes les deux semaines est raisonnable pour un cours de 3 jours par semaine. Plusieurs études ont montré que des enjeux moindres, des tests plus fréquents sont moins susceptibles d'être trompés.

  3. Ajoutez un bloc de signature (nom peut être tapé) pour lequel aucune assistance n'a été reçue. L'intention n'est pas d'arrêter TOUTES les tricheries. Mais une partie de celui-ci.

  4. Rendez l'examen 10% plus court en fonction du temps que les enfants ont pour accéder à l'e-mail et y répondre. (Et faites-leur savoir ceci.)

  5. Rendez-le un peu plus facile que d'habitude. L'avantage de susciter un certain sentiment de réussite et de réduire le sentiment de «besoin de tricher» vaut la petite perte de défier les meilleurs élèves. Mais si vous le souhaitez, vous pouvez faire un crédit supplémentaire (avec la communication claire à la classe, qu'il sera beaucoup plus difficile et de ne pas tenter de le faire tant que tous les autres problèmes n'ont pas été tentés. Rendez les enjeux relativement FAIBLES (points attribués) pour la CE, donc c'est vraiment juste pour les enfants qui "transforment" le matériel simplifié.

  6. Rendez toutes les questions très claires et plus mécaniques. Évitez les formulations de problèmes qui nécessitent une explication (possible, mais plus difficile / distrayant de communiquer une clarification avec les élèves qui ne sont pas dans la salle). Pas de mots délicats. Utilisez les symboles auxquels ils sont habitués, etc. En mathématiques, en chimie ou en physique, tenez-vous en aux problèmes qui imitent les exemples.

  7. Pour la chimie / mathématiques / physique, il est déraisonnable de demander d'écrire en LATEX ou similaire. J'éviterais donc le style de problème normal où vous vérifiez le travail et demandez à la place des réponses réelles (ne notez que celles-ci, ne nécessitent que la saisie de celles-ci). Mais vous pouvez compenser en donnant plus de problèmes (mais plus simples) ou en demandant des réponses aux étapes intermédiaires. Pour les questions de style essai (anglais, histoire, biologie), c'est moins un problème. Laissez simplement les enfants taper (ils tapent tous de nos jours ... mais saisir un problème d'équilibre en chim n'est pas anodin dans les conditions d'examen).

  8. Certaines choses comme le dessin de diagramme (géologie, biologie, etc.) seront probablement plus difficiles et j'éviterais ces questions pendant la "situation". Mais si vous le souhaitez, vous pouvez faire le travail pour concevoir des questions (par exemple, donnez le mot qui correspond à A, B, C, D sur un diagramme.)

  9. (Pour 7 et 8, la raison n'est pas de s'attendre à ce qu'ils aient un scanner ou qu'ils se mettent au défi de noter les photos prises sur leur smartphone. Ce sera un cauchemar.)


Bottom line: 3/4 d'un pain BIEN EXÉCUTÉ est meilleur qu'un pain entier qui tombe dans l'eau.

* «Atténuer» signifie éliminer partiellement; PAS totalement éliminer. SE Q&A pédants, veuillez noter.

Cette réponse n'est pas appropriée pour l'enseignement supérieur.Les compétences de base ne sont pas le domaine d'intérêt.
Carl Witthoft
2020-03-20 20:12:49 UTC
view on stackexchange narkive permalink

Une suggestion mineure si vous vous inquiétez de la triche et qu'il s'agit de sujets objectivement notés (par opposition à l'écriture d'un essai de 2 pages sur la philosophie machiavélique).

Avec la programmation mineure-fu, envoyez chacun personne un test avec un sous-ensemble aléatoire de problèmes d'une collection, et chaque fois qu'un problème se produit, changez la valeur et le nom de certaines des variables. Vous pourriez plaisanter, mais mon père, qui a enseigné les mathématiques à l'université, a distribué 2 examens papier différents. Un enfant a obtenu un zéro sur un problème dans la version A, et est allé voir mon père et a dit "pourquoi un zéro? Le gars à côté de moi avait la même réponse et c'était correct."

J'ai fait un petit test avec deux versions - choix multiple simple et un élève a copié les réponses d'un autre papier avec les mêmes questions mais les réponses dans un ordre différent ...Si seulement ils avaient vérifié à quel A se référait, etc. Alors les étudiants le font toujours ...
Solar Mike
2020-03-17 17:35:17 UTC
view on stackexchange narkive permalink

Je suis confronté au même problème.

Un point que je considère est le temps , si vous écrivez les questions de telle sorte que si elles répondent en fonction de la mémoire, vous obtenez un (relativement ) réponse structurée.

Mais s'ils passent la plupart du temps à parcourir les livres, la réponse aura tendance à être des «morceaux» et des «morceaux» qui ne coulent peut-être pas aussi bien.

Alors faites attention à la quantité de temps ...

Le pire que j'ai jamais fait lors d'un examen (en classe) était un examen à livre ouvert.Mais une partie de la raison était que je suis resté éveillé la plupart de la nuit pour passer l'examen.Je me souviens très bien d'avoir parcouru mon livre de physique à la recherche de réponses et ne trouvant rien d'utile.
@Buffy J'en ai discuté il y a des années avec un de mes professeurs.L'examinateur externe lui a demandé (ordonné) de faire le livre ouvert de l'examen (pour un cours d'analyse de thermodynamique / centrale électrique).C'est ce qu'il a fait, sur la base du matériel du cours.L'EE n'a pas pu le faire et a dû demander les solutions ::: :) de retour à l'examen d'origine alors.Le prof l'a testé sur ses étudiants et c'était en fait ok ...
Honnêtement, je ne peux pas dire si vous recommandez des délais courts ou non.«Si vous écrivez des questions de telle sorte qu'elles répondent en fonction de la mémoire», cela ressemble à une anti-recommandation.
@JeffE se compare à "la lecture aléatoire des livres" ...
Je ne suis pas d'accord pour imposer des délais plus stricts aux étudiants.Cela conduit à des situations où les étudiants entassent des faits qu'ils oublieront rapidement, ce qui semble être un exercice inutile. Idéalement, les éducateurs devraient fournir aux étudiants les compétences qu'ils auront à l'avenir, et la note de cours d'un étudiant devrait refléter leur réussite dans l'acquisition de ces compétences à long terme.Tout mode de notation des élèves d'une manière qui reflète un événement transitoire, par ex.qu'ils ont entassé un tas d'informations qui seront bientôt oubliées, n'est que du théâtre.
@Nat Je n'ai pas suggéré de réduire le temps disponible ... si l'on garde le temps d'origine et que l'élève le gaspille en parcourant les livres au lieu d'évaluer le problème lui-même ... ils perdent leur temps.Il est étrange que vous fassiez tous ** autant ** d'hypothèses.
@SolarMike: J'ai compris votre suggestion et j'ai commenté en réponse.C'est, je comprends que vous ne recommandez pas nécessairement que les délais soient plus stricts que pour un examen en classe, mais plutôt plus stricts qu'un instructeur ne le permettrait autrement, car vous craignez que cela puisse conduire les étudiants à chercher des choses.Je ne veux pas être impoli, au fait;juste, beaucoup d'instructeurs utilisent des délais plus stricts pour mettre de la complexité artificielle dans les examens, ce qui semble problématique car cela peut se concentrer sur le bourrage de trivia.
@Nat Un de mes profs a fait remarquer que les ingénieurs doivent souvent prendre des décisions dans des délais très courts, c'est-à-dire sous pression et c'est l'une des raisons pour lesquelles les examens étaient limités dans le temps ... btw ces examens duraient 3 heures ...
@SolarMike OTOH, ces décisions «sous la pression du temps» sont généralement fausses
@SolarMike Oui, mais comparez aux examens qui testent la compréhension / l'application au lieu d'un simple rappel.
@JeffE, ces examens de 3 heures ont été conçus avec analyse ... mais c'était évident ...


Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 4.0 sous laquelle il est distribué.
Loading...