Je ne vois pas de réponse raisonnable au-delà de "ça dépend". Cela dépend de la question: certaines questions surprises ne sont en fait pas si difficiles et pourraient raisonnablement être posées sur un test sans préparation particulière, tandis que d'autres sont en effet très difficiles. Cela dépend aussi des étudiants: vous pouvez demander plus d'étudiants expérimentés et talentueux que de débutants typiques.

Il n'y a certainement pas de règle qui dit que vous ne pouvez poser que des questions de test similaires aux questions précédentes aux étudiants ont vu. Parfois, poser des questions inhabituelles peut être un excellent moyen de juger de la maîtrise de la matière par les élèves. Dans le même temps, les questions du test qui sont trop inconnues ou difficiles peuvent être improductives. C'est un exercice d'équilibre qui peut être résolu de différentes manières, selon le style de la personne qui écrit le test.

Chaque question d'un test doit porter sur le contenu du cours. Plusieurs fois, cependant, le professeur peut essayer d'enseigner un concept plus profond que ce que certains étudiants ont appris. C'est ce qui crée une question "surprise": le professeur pose quelque chose qui nécessite la maîtrise du matériau ou un aperçu de sa signification profonde, et l'élève n'a appris le matériau qu'à un niveau relativement peu profond.

Par exemple, quand j'étais TA pour une grande classe d'intelligence artificielle de premier cycle, la classe enseignait deux choses simultanément. Le concept sous-jacent traversant toute la classe était de savoir comment penser la représentation des données et la décomposition des problèmes. Dans le cadre de cet enseignement, les étudiants ont également appris un certain nombre d'algorithmes d'IA standard. Les tests impliquaient généralement des variantes d'algorithmes que les étudiants n'avaient jamais vus auparavant. Les élèves faibles, qui avaient appris les algorithmes standard mais pas le concept sous-jacent, s'en tiraient souvent mal et se plaignaient des questions «surprises», car on leur posait des questions sur un algorithme qu'ils n'avaient jamais vu auparavant. Les étudiants forts, qui apprenaient le concept sous-jacent, n'ont eu aucun problème.

En général, alors, rencontrer une question "surprise" signifie que l'étudiant ne parvient pas à apprendre les concepts plus profonds que le professeur essaie de transmettre . Où se situent les problèmes pédagogiques, le professeur ou les étudiants, est une question complètement différente ...

Je suppose que cela dépend de ce que vous appelez une "question surprise". Habituellement, lorsque vous concevez des tests, vous ne voulez pas que toutes les questions aient la même difficulté. Au lieu de cela, vous voudriez avoir un certain nombre de questions de base pour savoir qui n'a pas réellement "reçu" les messages fondamentaux (et devrait donc échouer), des questions intermédiaires que la majorité des étudiants seront en mesure de faire s'ils ont étudié, et un petit nombre de problèmes difficiles, qui sont là pour séparer les excellents des bons élèves.

Dans mes tests, les questions «surprises» forment souvent la partie «difficile» du test. Je les écris dans l'espoir que seuls 10% à 20% de la classe seront capables de les faire, mais ce n'est pas grave - toute la classe ne devrait pas avoir la meilleure note de toute façon. De cette façon, moi et d'autres savons après le cours qui étaient les étudiants qui comprenaient vraiment le matériel, et qui ont juste beaucoup étudié.

Note de bas de page: J'enseigne dans un pays européen où il est habituel d'avoir une distribution gaussienne sur tout le spectre de gradation - ce n'est pas comme aux États-Unis où avoir un «B» est souvent déjà considéré comme une mauvaise note. En outre, au moins dans les cours de premier cycle, il n’est pas rare que plus d’élèves échouent qu’ils aient la meilleure note.

Ce qui rend les questions «surprises» difficiles pour certains élèves et attrayantes pour de nombreux enseignants, c’est que ils testent en fait la compréhension , le transfert de compétences et la capacité à appliquer les connaissances par opposition à la mémorisation mécanique de procédures pré-apprises. Ceci est facile à voir dans votre exemple de «formule». Un élève qui a étudié peut appliquer la formule (il sait comment cela fonctionne, comment l'appliquer et dans quelles conditions), mais seul un élève qui comprend vraiment les mathématiques derrière elle peut faire une preuve qu'il n'avait pas encore couvert.

À mon avis, une question d'examen équitable s'appuie sur tout ou partie des éléments suivants:

1. Matériel discuté ou présenté pendant le temps de contact avec la classe.
2. Matériel provenant de l'un des les éléments de la liste de lecture du cours.
3. Matériel de base de tous les cours préalables.
4. Matériel qui pourrait à juste titre être considéré comme un savoir commun pour les élèves à ce stade de leur formation (mathématiques de base, utilisation de base de la langue anglaise, etc.).
5. Connaissances qui peuvent être raisonnablement dérivées comme conséquence logique des nombres 1 à 4. Ici, «raisonnable» est calibré pour le niveau du cours. On devrait s'attendre à beaucoup plus des étudiants diplômés qui sont essentiellement en formation pour faire le point 5. pour le reste de leur vie professionnelle.

D'après mon expérience, les questions «surprises» surviennent généralement parce que (a ) les élèves n'ont pas rempli leur obligation de se renseigner sur le matériel en 1. et 2., ou parce que (b) les élèves ne sont pas suffisamment capables / à l'aise avec le sujet pour effectuer les déductions logiques en 5.

Dans les deux cas, j'estime qu'il est professionnel de poser des questions qui s'appuient sur l'ensemble de 1. — 5. En leur qualité d'éducateurs, les principales responsabilités professionnelles des professeurs d'université sont de décider et de fournir clairement le matériel approprié, et d'administrer des évaluations capables d'identifier la réussite des étudiants dans la maîtrise de ce matériel. Une question qui ne `` surprend '' pas la majorité des étudiants ne peut tester cette maîtrise que dans une mesure limitée car elle laisse peu de place pour différencier les étudiants qui maîtrisent vraiment le sujet de ceux qui ont simplement fait un bon travail de mémorisation par cœur. Je considérerais donc les «questions surprises» comme un outil essentiel dans l'accomplissement par les professeurs de leur responsabilité professionnelle en tant qu'enseignants.

Mon domaine est les mathématiques. J'ai toujours essayé de poser au moins une question qui avait l'air très différente de tout ce que les étudiants étaient sûrs d'avoir vu auparavant (bien que, bien sûr, cela reposait sur le matériel pertinent), ou qui les obligeait à combiner plusieurs idées qu'ils n'avaient peut-être pas auparavant. devait combiner. Lors d’un examen de calcul de première année, j’aurais eu au plus deux questions de ce type; lors d'un examen dans les cours plus théoriques et dans les cours de mathématiques des arts libéraux, j'avais généralement un certain nombre de questions de ce type en plus des questions plus routinières, couvrant une gamme de difficultés. Toutes les questions, bien sûr, exigeaient que les étudiants écrivent quelque chose, que ce soit une preuve, une explication ou simplement un calcul de routine, et un crédit partiel était toujours disponible.

Je dois signaler que je ne notais pas à n'importe quelle échelle prédéfinie. J'ai toujours préféré construire l'examen que je voulais puis interpréter les résultats. En effet, j'ai refusé d'attribuer des notes aux examens individuels, préférant réserver cette pénible corvée pour la fin du cours alors que j'avais autant de données que j'allais en avoir. Inutile de dire que j'ai toujours expliqué tout cela au début du cours et à nouveau avant le premier examen. J'ai également précisé que je n'avais pas les attentes auxquelles la plupart des étudiants américains sont habitués à être détenus: il s'est généralement avéré que les étudiants A (à part le rare casse-courbe) étaient en moyenne de 80 à 85% sur tout le trimestre - et je n'étais pas particulièrement généreux avec les notes A. Une moyenne de 50% était généralement un solide C.

Tous mes vrais tests d'analyse (moi étant étudiant) étaient 50% + des théorèmes complètement nouveaux à prouver. Il fallait s'attendre à ce qu'il faille sortir des sentiers battus pour même réussir le test. Et je dirais que j'ai appris un ordre de grandeur plus dans cette classe que dans aucun autre avec plus de tests standard. Mais c'est un cours de niveau supérieur et être doué pour rédiger des preuves à partir de zéro était une compétence qui avait été enseignée progressivement au cours de nombreux cours de niveau inférieur.

On pourrait dire que pouvoir passer des tests généraux avec des questions qui nécessitent d'être découvertes à du matériel ou à des méthodes vaguement touchés qui impliquent de combiner des techniques de manière invisible en classe est le point culminant de l'éducation. Si tel est le cas, il serait logique de l'introduire tôt pour cultiver la capacité d'être capable de synthétiser de nouvelles réponses à partir du matériel couvert.

Mais il est important qu'il soit raisonnable pour l'élève de connaître le matériel prérequis pour synthétiser la réponse. Ne posez pas de question sur la théorie des mesures lors du premier test d'une analyse réelle. Posez une question qui nécessite l'utilisation de la propriété la moins élevée des réels d'une manière délicate, par exemple.

Je préfère un système où les problèmes de devoirs sont les plus difficiles. De plus, je ne suis pas en faveur d'un système où les devoirs sont notés, car cela rend plus difficile le choix de bons problèmes de devoirs. L'idée est que les élèves apprennent mieux lorsqu'ils ont beaucoup de mal à résoudre des problèmes difficiles. Il faut alors admettre que les élèves n'ont peut-être pas été en mesure de bien faire sur un problème particulier, même s'ils sont parmi les meilleurs. Notés ou non, les devoirs doivent toujours être soumis et des enregistrements doivent être conservés sur la performance de l'élève.

L'examen ne doit servir que de test de base que tous les étudiants qui ont suivi sérieusement le cours devraient facilement réussir. Vous ne pouvez pas défier les élèves dans un examen qui ne dure que quelques heures, car vous pouvez les défier avec des devoirs sur lesquels ils devraient travailler pendant plusieurs jours.

L'examen doit être jugé en combinaison avec les devoirs. Le dossier des devoirs de chaque élève (noté ou non) doit être pris en compte lors du jugement de l'examen. S'il s'avère que le dossier des devoirs n'est pas cohérent avec la performance de l'examen, alors l'étudiant doit être invité à parler au professeur sur le sujet. Il se peut que l'étudiant soit nerveux et n'ait pas vu la solution à des problèmes simples, ces problèmes peuvent être corrigés lors d'un examen oral, surtout si l'étudiant ne sait pas que la réunion est en fait un examen oral secret.

Il se peut aussi que l'élève ne sache pas grand-chose sur le sujet et ait simplement copié les devoirs des autres élèves.Cela deviendra alors clair après avoir parlé à l'élève, l'élève se verra alors échouer note pour le sujet.

Les enseignants posent des questions qui ne sont pas connues des élèves depuis que l'enseignement existe. Sinon, comment un enseignant peut-il faire sortir l'élève de sa zone de confort où les réponses ont été clairement énoncées et l'aider à élargir ses capacités mentales. Il est important que les questions soient liées à la matière enseignée, mais si je vous pose une question sur les cas du monde réel plutôt que sur l'hypothèse, cela nécessitera une réflexion originale. Oui, c'est professionnel. Ce n'est pas s'il s'agit de questions auxquelles la classe n'a pas préparé l'élève à répondre.

Parmi les réponses données jusqu'à présent, celle qui est la plus proche de ma réflexion est celle de xLeitix, et la note latérale sur le contexte s'applique également.

Maintenant,

Est-ce professionnel pour un professeur de poser des questions «surprises» sur un test?

Cela peut être professionnel. Comme je l'ai dit dans un commentaire, il n'est pas professionnel de poser de telles questions dans le seul but d'échouer le plus d'étudiants possible.

De plus, je n'aime pas beaucoup l'adjectif surprise dans le titre: une surprise est quelque chose d'inattendu, mais si un professeur avertit clairement les étudiants qu'à l'examen ils trouveront des problèmes qui n'ont pas été résolus pendant le cours, il n'y a pas de surprise. Donc, dans ce qui suit, je parlerai de «nouveaux» problèmes.

Les examens et les tests ont, comme objectif principal, d'évaluer dans quelle mesure les élèves maîtrisent / comprennent une (petite partie d'un) certain sujet. Comme d'autres l'ont bien expliqué, de nouvelles questions ou problèmes peuvent donner une idée de la profondeur de cette compréhension.

Mais en dehors de l'objectif principal indiqué ci-dessus, les examens et les tests peuvent aussi avoir des objectifs secondaires:

• Un examen peut être l'occasion d'apprendre de nouvelles choses. La séparation bien définie entre l'apprentissage et la vérification, qui se produit généralement dans un cours, est quelque chose qui prend radicalement fin lorsque l'on commence à travailler, même dans le milieu universitaire. L'apprentissage et la vérification dans la vie de tous les jours sont vraiment imbriqués, et souvent, l'apprentissage doit se faire parallèlement à une vérification stressante. Ainsi, un nouveau problème lors d'un examen peut être l'occasion de continuer à apprendre de manière plus «non protégée».
• Un examen peut être un indice, l'un des nombreux, que ce qui a été enseigné pendant les leçons n'est pas toute l'histoire, et qu'au-delà des leçons, il y a beaucoup plus: de nouveaux problèmes délivrent sûrement ce message.
• Pour un professeur, un examen est l'occasion de chercher de bons étudiants à qui proposer une thèse. Donner de nouveaux problèmes peut être un moyen de trouver des étudiants capables de penser de manière indépendante.

Donc, j'ai tendance à donner de nouveaux problèmes aux examens en gardant à l'esprit les points ci-dessus.

Pour éviter d'être trop général, faisons un exemple lié à mon expérience . Il y a quelques années, j'ai enseigné un cours sur les capteurs, les transducteurs et les circuits de conditionnement de signaux pour des ingénieurs en électronique diplômés. La partie écrite de l'examen consistait en un problème sur la conception ou l'analyse d'un circuit de conditionnement de signal ou sur l'évaluation de l'incertitude de mesure de certains transducteurs. En raison de l'immensité du sujet, le cours ne pouvait ni décrire tous les types de capteurs et transducteurs, ni tous les circuits de conditionnement de signaux possibles. Alors, j'ai décidé que chaque examen aurait été fait d'un nouveau problème, où "nouveau" signifiait:

• Un problème concernant un transducteur non décrit dans le cours. En effet, le texte de l'examen contenait une brève description de ce type de transducteur.
• Un problème d'analyse et / ou de conception de circuit de conditionnement de signal non décrit dans le cours. Les étudiants, étant des ingénieurs en électronique, devaient savoir analyser des circuits électroniques, même de complexité modérée. Dans les cas plus difficiles, des indices ont été fournis.
• Un problème concernant un transducteur connu appliqué de manière inconnue.

Les examens étaient des livres ouverts et les étudiants pouvaient apporter tous les examens précédents et toutes les notes de cours. Après la partie écrite, en cas de succès, il y avait un examen oral qui portait davantage sur le matériel de classe.

Quel a été le résultat de ce type d'examen? Le cours a été en général très bien accueilli par les étudiants, même si l'examen a été jugé difficile: le pourcentage de réussite était d'environ 30% (la note de passage est de 60%). Le principal reproche concernait le nombre d'exercices résolus pendant les cours, mais cela se produit dans tous les types de cours. Ma réponse à cette plainte était qu'il y avait, en effet, des contraintes de temps qui nous empêchaient de résoudre plus de problèmes mais, de toute façon, quel que soit le nombre de problèmes résolus pendant le cours, à l'examen ils en auraient trouvé un nouveau (parfois les étudiants demandent problèmes plus résolus dans l'espoir que ceux-ci épuiseront tous les cas possibles).

De cette expérience et d'autres tout au long de 15 ans, je pense que les étudiants peuvent résister à de nouveaux problèmes aux examens tant que les motivations sont bien expliquées et, surtout, tant que le cours en vaut la peine.

Je ne pense pas que cela ait quoi que ce soit à voir avec le fait d'être professionnel, mais dans quelle mesure c'est juste et / ou souhaitable, alors posez de telles questions.

Pour moi, l'utilité des questions inattendues qui surprennent complètement les élèves dépend également du type de système de notation dans lequel elles sont utilisées, et cela n'a pas été abordé dans les autres réponses. Dans le cadre des tests de notation de courbe / normalisés, l'un des points des examens est de différencier les étudiants, de sorte que des questions surprises difficiles peuvent être utiles pour par ex. tester si les élèves ont acquis une compréhension plus approfondie d'un sujet. Dans un tel système, il est raisonnable (et dans une certaine mesure souhaitable) que seule une petite proportion d'élèves puisse répondre à certaines questions.

Dans un système de notation basé sur des critères / axé sur les objectifs, les étudiants sont idéalement supposés savoir exactement quelles connaissances sont nécessaires pour obtenir une note particulière Des questions totalement inattendues pourraient être plus problématiques ici sous ces critères de notation. Cependant, ce qui est une question inattendue est aussi subjectif dans une certaine mesure, et les critères d'apprentissage pourraient également mentionner spécifiquement la compréhension fondamentale et la capacité d'appliquer le matériel à de nouvelles situations. Même dans ce cas, si une grande proportion d'élèves ne parvient pas à comprendre ou à répondre à des questions surprises plus difficiles, cela peut en partie être considéré comme un échec de l'enseignant / du cours (ce qui n'est pas nécessairement le cas dans la notation par courbe), car cela pourrait indiquer que les enseignants ont échoué pour transmettre soit les connaissances requises, soit les objectifs d'apprentissage nécessaires pour obtenir une note particulière (des explications alternatives seraient par exemple des normes d'objectifs élevées ou des élèves non intéressés, paresseux ou faibles).

Les questions Surprise ne posent aucun problème tant qu'elles ne représentent qu'une petite partie des notes et que vous dites aux élèves qu'il peut y avoir de telles questions.

Certains de mes professeurs structureraient les tests sur le modèle de 40% de base, 40% d'intermédiaire, 10% de dur, 10% de surprise.

si vous avez couvert et compris toutes les bases, vous pourrait gratter une passe de manière fiable.

Si vous aviez bien couvert et compris tout le matériel, vous pourriez obtenir une bonne note.

Si vous alliez au-delà des attentes et maîtrisiez le contenu du cours et possédiez de bonnes connaissances générales dans le domaine, vous pourriez obtenir une note excellente ou parfaite.

J'ai aimé le système car il signifiait que plus tard, je pouvais généralement faire glisser les étudiants que je suivais à travers l'examen en fonction des éléments prévisibles et vous avez également été récompensé pour une étude indépendante.

Je vois ce problème couvrant plusieurs niveaux d'informations:

En bas, nous avons des informations de cours qui sont mémorisées. Il ne faut pas demander aux étudiants de reproduire des définitions , des faits, des axiomes et d'autres types d'informations de base qui ne figurent pas déjà dans le matériel de cours.

Ensuite, nous avons " techniques ". Surtout en mathématiques, nous apprenons des techniques pour aborder des problèmes difficiles. Dans d'autres domaines, les techniques se manifestent comme les méthodes que nous utilisons pour faire des inférences, les types de raisonnement que nous utilisons pour interpréter de nouvelles situations. Celles-ci sont très générales (comme l'intégration par parties, l'epsilon sur n trick des premiers cours d'analyse, ou une logique moins rigide comme la large notion historique selon laquelle la famine correspond à l'instabilité qui rend la révolution plus probable) et peuvent être combinées de nombreuses manières intéressantes. Beaucoup de bons problèmes inconnus peuvent être rédigés à partir de techniques familières. Il peut être très approprié de demander aux élèves de développer une nouvelle technique pour résoudre un problème lors d'un test, à condition que le saut intuitif soit quelque peu raisonnable. Il s'agit d'un appel au jugement de la part du professeur qui peut refléter le professionnalisme.

La capacité des étudiants à adapter de nouvelles techniques dépend généralement de leur compréhension des concepts généraux. Le développement de concepts entièrement nouveaux n'appartient probablement pas aux tests, car les étudiants ne les retiendront probablement pas très bien sous la pression des examens. En général, les examens sont une méthode pour évaluer les connaissances / compréhension actuelles des étudiants sur le matériel de cours. Je dirais qu'il est plus équitable et approprié d'introduire des concepts entièrement nouveaux sur les devoirs et dans les cours magistraux, afin que les étudiants aient une plus grande opportunité de les intérioriser.

Ma réponse est un peu biaisée en faveur des étudiants car j'ai eu une mauvaise expérience avec de telles questions.

TL; DR; Les questions «surprise» sont bonnes et nécessaires dans certains cas, mais ne les font pas peser 50% de l'examen.

Pendant que j'étais étudiant, nous avions quelques professeurs qui commençaient à vous poser des questions surprises lorsque vous faire relativement bien dans votre examen (oral). Ensuite, ils pourraient trouver quelque chose que vous ne savez pas et diminuer sérieusement votre résultat global ou même vous échouer.

Certains professeurs ont posé des questions surprises lors d'examens écrits, les notant à 40-50% du test lui-même.

Personnellement, je déteste ça. Dans mon cas, cela avait conduit à la situation où vous essayez de ne pas apprendre le matériel de cours général mais d'anticiper les questions surprises. Les étudiants ont plus d'un cours en même temps et parfois il n'y a pas assez de temps (ou d'intérêt) pour avoir une compréhension approfondie (hors programme) de tous les cours et vous voulez simplement réussir le cours avec une note de 75% ou quoi que ce soit.

Cela dépend bien sûr du domaine d'études. S'il s'agit de quelque chose comme la physique théorique, il est nécessaire d'avoir des compétences pour sortir des sentiers battus.

J'ai aimé l'approche d'un de mes professeurs d'école. Vous pourriez obtenir 110-115% à l'examen et la note que vous recevez est basée sur 100%. 90% vous pourriez obtenir par des questions régulières et 20-25% par des questions «surprises». Donc, si vous étudiez avec diligence, vous pourriez avoir une bonne note et si vous avez passé plus de temps sur le sujet, vous pouvez même couvrir des problèmes mineurs avec des questions «surprises».

Je suppose que cela dépend des détails, du pays (culture éducative différente) et du sujet (certains d'entre eux sont lourds de fait, d'autres sont plus axés sur la résolution de problèmes).

Je viens de un endroit où un étudiant qui ne peut résoudre que des problèmes dans le domaine des STEM qui ont été explicitement montrés en cours magistral ou assignés en lecture, considérés comme plutôt médiocres (niveau C). Je suppose qu'il existe également différentes approches pédagogiques.

D'un autre côté, donner à une question un moyen de sortir du bleu peut être interdit et juste méchant.