Question:
Processus d'examen ouvert ou aveugle
user102
2012-03-07 15:21:52 UTC
view on stackexchange narkive permalink

Une question que je me pose depuis un certain temps est de savoir s'il existe une preuve réelle qu'un processus de révision à l'aveugle (c'est-à-dire où les critiques sont anonymes et les critiques non publiées) est meilleur qu'un processus ouvert (c'est-à-dire où les critiques sont non anonyme et / ou les critiques sont publiées avec les articles acceptés).

En gros, chaque fois que je remets en question le fait qu'avoir un processus de révision à l'aveugle ne garantit aucune qualité (ce qui, d'une manière ou d'une autre, coïncide généralement avec une mauvaise critique d'un article ...), on me dit que l'anonymat est crucial pour le processus d'examen. Mais y a-t-il une preuve de cela? Je ne crois pas qu'il existe un système parfait, mais je ne sais pas pourquoi le système aveugle (ou même en double aveugle) est considéré comme le meilleur (ou le "moins pire").

"Mieux"? Que signifie «mieux»?
@JeffE: bonne question, je dirais l'amélioration de la qualité, à court et à long terme, de la production scientifique.
Une question intéressante d'autant plus que l'affichage et les commentaires dans AcademicSE ne sont pas aveugles, alors que les votes à la hausse et à la baisse le sont.
Question connexe sur les raisons pour lesquelles de tels examens sont nécessaires: https://academia.stackexchange.com/questions/101400/will-a-conference-paper-submission-have-greater-credibility-if-a-teacher-is-a-co
Six réponses:
#1
+23
Joel Reyes Noche
2012-03-07 16:51:10 UTC
view on stackexchange narkive permalink

L'étude de 2008 intitulée Examen par les pairs dans les revues savantes - Point de vue de la communauté savante: une étude internationale visait à «mesurer les attitudes et le comportement de la communauté universitaire en ce qui concerne l'examen par les pairs». Quelques citations du résumé:

Un examen en double aveugle a été préféré. Bien que l'expérience normale des chercheurs dans la plupart des domaines ait été celle de l'examen en simple aveugle, lorsqu'on leur a demandé quelle était leur option préférée, il y avait une préférence pour l'examen en double aveugle, 56% le sélectionnant, suivi de 25% pour l'examen en simple aveugle, 13 % pour la revue ouverte et 5% pour la revue post-publication. L'examen ouvert par les pairs a été un découragement actif pour de nombreux évaluateurs, 49% d'entre eux affirmant que divulguer leur nom à l'auteur les rendrait moins susceptibles de donner leur avis.

et

L'examen en double aveugle a été considéré comme le plus efficace. L'examen en double aveugle a été le plus grand nombre de répondants (71%) qui l'ont perçu comme efficace, suivi (par ordre décroissant) de l'examen en simple aveugle (52%), après la publication (37%) et l'examen ouvert par les pairs (27%).

Un article de 2008 dans Nature (et une correction) traite de l'étude ci-dessus, mais l'article est sur la revue en double aveugle par rapport à la revue en simple aveugle, et non sur la revue à l'aveugle par rapport à la revue ouverte.

Cet article semble bon, mais il semble aborder le problème de l'examen aveugle par rapport au double aveugle, qui est un peu différent de l'aveugle par rapport à l'ouverture. (En fait, je ne peux pas accéder au lien pour le moment, nature.com ne répond pas, je vais donc essayer de le lire plus tard).
Vous pouvez également consulter http://www.nature.com/nature/peerreview/index.html. Selon la source mentionnée dans mon commentaire précédent, «En 2006, la revue Nature a mené un essai d'examen ouvert par les pairs; ce n’a pas été un succès - malgré l’intérêt porté à l’essai, seule une petite proportion d’auteurs a choisi de participer et seuls quelques commentaires ont été reçus, dont beaucoup n’étaient pas substantiels. commentaires'."
Merci, le deuxième lien (publishresearch.net) répond à la question qui m'intéresse. Pourriez-vous reformuler votre réponse pour l'inclure?
De plus, je noterai qu'ils ne prouvent pas que la révision ouverte diminue la qualité, mais simplement que les réviseurs sont plus réticents à réviser quand il est ouvert. Premièrement, si nous avions un modèle où les évaluateurs étaient payés pour examiner, ils seraient également réticents à le faire gratuitement, mais cela ne signifie pas que le modèle gratuit est le pire. Deuxièmement, je serais vraiment intéressé de savoir comment cette attitude change par rapport à la réalité. être dans la génération post ou pré-Internet de chercheurs.
J'ai modifié ma réponse deux fois pour incorporer vos deux commentaires ci-dessus. J'ai également supprimé mes deux commentaires précédents car j'ai transféré leur contenu dans ma réponse.Je vous suggère de ne pas effacer vos commentaires, car cela laisse une trace de votre "critique ouverte" de mon "article". :)
Merci pour l'édition, j'accepte la réponse car je suppose que c'est la plus "objective" que je puisse obtenir :) Mais je maintiens mon commentaire qu'il n'est pas montré que la révision ouverte diminue la qualité elle-même, mais seulement que les gens sont réticents (mais je reconnaissent qu'il serait très difficile de mesurer la différence de qualité).
Cela répond à la question "Est-ce que les auteurs _préférent_ font un examen aveugle pour ouvrir un examen?" Mais la question initiale demandait si la révision à l'aveugle est _en fait meilleure_ que la révision ouverte - Existe-t-il des preuves publiées que la révision à l'aveugle mène _en fait_ à des publications de meilleure qualité?
@JeffE, concernant votre première phrase, vous avez raison. Cela a déjà été noté deux fois par Charles Morisset. Quant à votre deuxième phrase, je n'en connais actuellement aucune.
#2
+9
Sylvain Peyronnet
2012-03-08 05:42:25 UTC
view on stackexchange narkive permalink

Le plus drôle, c'est que sur cette question, la plupart des gens mentionnent tout de suite le côté «honnêteté» du problème, pas le côté «qualité». , mais plutôt la question public / privé. Si les critiques sont toujours publiques, alors je suppose que la qualité augmentera, car le président général / rédacteur en chef fera pression pour que sa conférence / son journal ait une excellente réputation.Personnellement, je ne veux pas / dois savoir qui examine mes papiers, mais je veux ET j'ai besoin de revues de qualité, et elles sont inhabituelles ces jours-ci. Nous savons tous pourquoi: trop d'articles, trop de critiques à faire, peu de temps ...

C'est un très bon point, et cela pourrait être une solution efficace. De plus, il y a souvent des informations précieuses dans une revue (telles que des travaux connexes potentiels ou des interprétations différentes) qui pourraient être utiles pour le lecteur.
Une autre configuration potentielle que cela soulève, les critiques pourraient être aveuglés aux auteurs (pour éviter la déshonnêteté, les préjugés sexistes) au début, mais il n'est pas nécessaire que ce soit l'inverse. Essentiellement en simple aveugle mais à l'inverse, le simple aveugle est traditionnellement pratiqué!
#3
+7
Piotr Migdal
2012-03-07 17:09:31 UTC
view on stackexchange narkive permalink

Plus l'identité des auteurs et des critiques est révélée, moins le processus de révision peut être honnête. Une telle ouverture peut favoriser les scientifiques déjà établis par rapport aux nouveaux arrivants.

Dans le monde idéal, un critique soulèverait les mêmes préoccupations lors de l'examen des articles d'un lauréat du prix Nobel ou d'un étudiant de premier cycle. Mais comme les gens ont même peur de poser des questions éventuellement stupides en public, je serais vraiment surpris s'ils pouvaient appliquer le même examen, peu importe qui ils évaluent.

Même avec le processus standard (simple) aveugle , J'ai entendu dire qu'un scientifique déjà célèbre avait soumis des articles sous des noms inventés pour recevoir des critiques honnêtes (je ne me souviens pas qui).

Un exemple de Herbert S. Wilf lors d'un discours d'anniversaire pour Donald E. Knuth (souligné par Joel Reyes Noche):

Dans les années 1980, aux débuts du Journal of Algorithms, j'étais rédacteur en chef , et Don [Donald Knuth] m'a soumis un article, rédigé par lui-même sous le pseudonyme d'Ursula N. Owens, ostensiblement d'une petite université dans une petite ville inexistante du Kansas. La raison en était qu'il voulait vraiment obtenir un rapport d'arbitre dur et substantiel sur le papier, et il avait constaté que parfois les arbitres avaient retiré leurs coups de poing à cause de son nom en haut d'un article .

Un processus à double insu peut être encore plus bénéfique, mais en même temps illusoire (car le sujet, les références et le style peuvent révéler l'auteur). De plus, l'identité de l'auteur peut parfois être bénéfique (par exemple, pour comparer si la nouvelle soumission a quelque chose de nouveau).

Rien de tout cela n'est une preuve.

Mais au lieu de compter de lignes de critiques, on peut essayer de comparer la douceur (ou la dureté) du traitement des contributeurs, en fonction de leur statut (titre académique, nom de l'université, notoriété / reconnaissabilité).

Je comprends l'intuition derrière "le plus est révélé ...", mais en même temps, le fait de fournir l'anonymat aux critiques permet à certaines personnes d'écrire de mauvaises critiques (c'est-à-dire ne pas lire les journaux, faire des commentaires bâclés, etc.), et je ' J'aimerais savoir si les arguments en faveur de l'anonymat l'emportent sur les contre.
Oui, je suis conscient que signer avec son propre nom est bon pour la qualité. Cependant, pour examiner le biais et la qualité sont deux facteurs différents. Et il est très probable qu'en réglant le niveau de «cécité», on puisse échanger le non-biais contre la qualité. Le problème peut donc être plus difficile que la simple optimisation d'un paramètre.
Je ne prétends pas que c'est un problème facile :) Mais je n'aime tout simplement pas l'argument "la cécité est une bonne chose, sinon il pourrait y avoir un biais. Pourquoi? Parce que.". En tant que scientifique, je veux des preuves tangibles, pas seulement de l'intuition :)
Selon un commentaire dans http://mathoverflow.net/questions/45185/pseudonymes-of-famous-mathematicians, "Donald Knuth a utilisé le pseudonyme Ursula N. Owens lors de la soumission d'un article pour obtenir des critiques plus honnêtes. (Comme décrit par Wilf à la page 3 de http://www.math.upenn.edu/~wilf/website/dek.pdf) "
#4
+6
Lars Kotthoff
2012-03-07 23:39:29 UTC
view on stackexchange narkive permalink

L'un des arguments les plus convaincants que j'ai entendus en faveur de la révision à l'aveugle est qu'elle empêche les personnes dont l'article a été rejeté de se «venger» du critique (consciemment ou inconsciemment). Prenons l'exemple d'un universitaire senior qui a un article rejeté en raison de l'examen d'un universitaire junior. Il serait assez facile pour l’universitaire senior d’entraver les progrès du junior.

Ceci est similaire à ce que Piotr a soulevé à propos du processus plus "honnête".

Je ne connais pas d'exemples spécifiques à ce sujet.

Oui, et considérons le cas d'un universitaire senior qui tue une soumission avec une mauvaise critique soit parce qu'il n'a pas le temps, soit pire encore, parce que la soumission vient de concurrents (le double aveugle n'est pas si efficace), et qui sait personne au PC ne se plaindra de sa mauvaise critique parce qu'il est senior. Comment est-ce mieux?
Pour être clair, je ne prétends pas que le cas que j'ai décrit est meilleur ou pire. Je ne sais juste pas. Je comprends les arguments pour lesquels l'examen à l'aveugle est * bon *, j'aimerais comprendre pourquoi c'est le * meilleur *.
Je dirais que ce problème ne serait pas résolu par des examens ouverts. Si vous êtes assez senior pour ne pas vous soucier de l'opinion des principaux experts dans votre domaine (c'est-à-dire les membres du PC), vous ne vous souciez probablement pas non plus de l'opinion des autres.
C'est un bon point, mais je pense que c'est un peu différent d'être dans une situation où seul le président du PC sait que votre examen n'est pas bon, et pourrait même ne pas le remarquer, et de critiquer publiquement un article, surtout quand ils sont simultanés.
Je vois ce que tu veux dire. Concernant votre commentaire précédent, je ne dis pas que l'examen à l'aveugle est le meilleur processus et je pense qu'un nombre croissant de personnes sont également de cet avis. Je serais certainement heureux d'un processus d'examen ouvert.
@Charles: D'après mon expérience, la plupart des PC ont plus de colonne vertébrale que cela. Les membres du PC ne remarquent pas toujours quand une critique est mauvaise, mais quand ils le font, ils se plaignent, quelle que soit la renommée du critique.
#5
+3
D.W.
2012-05-02 01:25:11 UTC
view on stackexchange narkive permalink

Je n'ai aucune preuve de toute façon, mais pour un point de données, vous pourriez regarder l'atelier HotNets.

Lors de plusieurs des premiers ateliers, le programme le comité a publié des critiques publiques des articles. Au cours du processus d'examen, les membres du comité de programme ont rédigé des examens à l'aveugle, comme c'est le cas habituellement (les évaluateurs étaient anonymes). Mais aussi, pour chaque article publié, un membre du comité de programme a rédigé une nouvelle revue destinée à la consommation publique résumant le point de vue du comité de programme sur l'article. La plupart des critiques publiques ont été assez franches, à la fois en identifiant les réserves sur l'article ainsi que les aspects de l'article que le comité de programme a appréciés.

Je ne pense pas que HotNets le fasse encore, mais vous pouvez essayer pour en savoir plus sur l'expérience de la communauté HotNets avec les critiques publiques (publique? négative?). Je pense également qu'il y a eu d'autres ateliers et conférences sur l'informatique qui ont également rédigé des critiques publiques, vous pouvez donc les consulter également.

#6
  0
wdlang
2018-12-19 15:38:45 UTC
view on stackexchange narkive permalink

Je ne peux partager qu'une partie de mon expérience.

Une fois, un ami a reçu une demande de révision d'articles d'un grand journal. Son patron le savait et lui a demandé de le rejeter parce que les auteurs faisaient ce que lui et son patron faisaient.



Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 3.0 sous laquelle il est distribué.
Loading...