Question:
Pourquoi l'examen par les pairs est-il si aléatoire?
Allure
2018-08-13 11:43:06 UTC
view on stackexchange narkive permalink

8 articles scientifiques qui ont été rejetés avant de remporter un prix Nobel

Analyse du financement: les chercheurs disent que l'allocation des subventions des NIH ne semble pas meilleure que la loterie

Le même article soumis à nouveau à la même revue après plusieurs années finit souvent par être rejeté en raison de «graves erreurs méthodologiques»

Pour les personnes dont la profession tourne autour de la mise en ordre d'observations apparemment aléatoires, les scientifiques ne sont certainement pas cohérents pour juger le travail des autres scientifiques. Pourquoi? Cela ne semble certainement pas être comme ça à tous les niveaux. Par exemple, selon le site Web du GRE,

Pour la section de rédaction analytique, chaque essai reçoit un score de deux évaluateurs formés, en utilisant une échelle holistique à six points. Dans la notation holistique, les évaluateurs sont formés pour attribuer des scores sur la base de la qualité globale d'un essai en réponse à la tâche assignée. Si les deux notes attribuées diffèrent de plus d'un point sur l'échelle, l'écart est jugé par un troisième lecteur GRE. Sinon, les deux scores de chaque essai sont moyennés.

Cela implique qu'il est rare que deux scores attribués diffèrent de plus d'un point sur l'échelle, c'est-à-dire que les évaluateurs du GRE sont généralement d'accord. De même, pour autant que je sache, les lecteurs de thèse de premier cycle, les lecteurs de thèse de maîtrise et même les lecteurs de thèse de doctorat ne parviennent généralement pas à des jugements diamétralement opposés sur le travail. Pourtant, une fois qu'il s'agit de matériel de recherche, les pairs évaluateurs ne semblent plus d'accord. Pourquoi?

Merci pour les liens, @Allure.J'ai été tellement rejeté que je suis sûr que mon prix Nobel est par la poste.Je ferais mieux de commencer à préparer mon discours d'acceptation.:)
Cela motive les achats de publications https://academia.stackexchange.com/questions/115080/is-there-anything-that-has-been-tried-to-stop-publication-shopping
Parce que l'espace est très clairsemé, inexploré et qu'il y a donc peu de statistiques dans des domaines nouveaux pour juger de la qualité du travail?
Il convient de noter que dans le cas des allocations de subventions des NIH, la conclusion réelle était que le classement parmi les 20% les plus élevés était aléatoire, mais que les examinateurs se sont généralement mis d'accord sur les candidatures parmi les 20% les plus riches.C'est plus d'accord que votre exemple GRE.
Nous n'entendons parler que des quelques cas où l'examen par les pairs a mal tourné.Mais dans la plupart des cas, il fait ce qu'il est censé faire.
Un problème fondamental est que, tant pour l'évaluation par les pairs que pour les récompenses, il n'y a pas de (bonne) façon objective de noter / classer les choses --- cf.https://academia.stackexchange.com/a/103167/19607
Connexes: [Est-il possible pour les réviseurs de rejeter par erreur un article de qualité?] (Https://academia.stackexchange.com/questions/18540/is-it-possible-for-reviewers-to-mistakenly-reject-a-quality-papier)
[Nature n'a introduit l'examen par les pairs qu'en 1967] (http://michaelnielsen.org/blog/three-myths-about-scientific-peer-review/), de sorte que les articles des années 1930 rejetés par Nature ont été rejetés par l'éditeur, et non commerésultat de l'examen par les pairs.
Vous devez envisager la possibilité que certains pairs évaluateurs soient paresseux.
Un problème courant est le manque de reproductibilité.La science ouverte et les données ouvertes sont apparues comme une réponse: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4898932/ Ensuite, il y a la question du personnel non universitaire prenant des décisions éditoriales et les célèbres histoires sur la machine absurde-les articles générés étant acceptés par les revues «traditionnelles» «respectables».
* Comment trois étudiants du MIT ont trompé le monde des revues scientifiques *: «en 2013, l'IEEE et Springer Publishing ont supprimé plus de 120 articles de leurs sites après qu'une analyse d'un chercheur français a déterminé qu'ils étaient générés via SCIgen» https://news.mit.edu/ 2015 / comment-trois-étudiants-mit-dupé-revues-scientifiques-0414
Https://academia.stackexchange.com/q/33031/532 associé
@GEdgar: Non.Les autres cas incluent: 1. Ceux dans lesquels il n'est pas trivialement démontrable que l'évaluation était inappropriée 2. Ceux dans lesquels les critiques étaient bâclées / de mauvaise qualité, mais ont fini par accepter un article acceptable ou rejeter un article digne de rejet.3. Celles dans lesquelles les auteurs n’ont pas eu le temps, la volonté et les moyens de faire connaître ce qui s’était passé.
@CountIblis selon la source, avant 1967, certains articles étaient examinés et d'autres non (c'était à l'éditeur de décider).En outre, le mythe n ° 2 décrit efficacement l'essentiel de cette question.
Un autre bon exemple: [NIPS] (https://en.wikipedia.org/wiki/Conference_on_Neural_Information_Processing_Systems) (l'un des meilleurs sites de publication sur l'apprentissage automatique) a réalisé une [expérience de cohérence scientifique en 2014] (http: //blog.mrtz.org / 2014/12/15 / the-nips-experiment.html).Les résultats n'étaient pas excellents - les décisions d'acceptation / de rejet étaient beaucoup plus aléatoires que déterministes.
Onze réponses:
#1
+87
user93911
2018-08-13 12:28:41 UTC
view on stackexchange narkive permalink

Bonne question. Difficile de répondre. Quelques réflexions:

  • les évaluateurs ne sont pas formés
  • les évaluateurs sont anonymes
  • les évaluateurs reçoivent des commentaires mineurs sur leurs performances
  • les évaluateurs sont également des auteurs, en compétition pour les mêmes fonds / prestige
  • les critiques sont spécialisés dans une discipline étroite
  • les critiques sont des bénévoles
  • les critiques sont rares
  • le système de revue ne dispose pas d'un système de contrôle externe (indépendant) (audit)
  • les examinateurs sont des humains, avec leurs propres intérêts, émotions, capacités

Compte tenu de ces observations, il est peu probable que deux rapports d’examen soient alignés. Ensuite, la décision difficile est transférée au rédacteur adjoint qui est également bénévole et non spécialisé dans le domaine de l’auteur.

Laisse la question de savoir pourquoi elle est acceptée alors qu’en dehors de la science, ce ne serait pas le cas. Honnêtement, je ne sais pas. Juste quelques suppositions:

  • La science est un secteur isolé puissant avec ses propres règles?
  • Le système actuel fonctionne pour les groupes de recherche établis?
  • Jourals do Vous n'avez pas les fonds nécessaires pour former et attirer des professionnels / scientifiques qualifiés comme évaluateurs?
  • Il n'y a pas de solution ou d'alternative facile?

Ajouté en fonction des commentaires: - les évaluateurs sont occupés les scientifiques - les évaluateurs ne sont pas récompensés en termes de carrière pour avoir mené des examens

Bonne liste!J'ajouterais que les examinateurs n'auront peut-être pas beaucoup de temps et de révision rapide, même s'ils se portent volontaires.Certaines personnes peuvent également ne pas être très investies dans un examen approfondi, car elles n'en bénéficient pas directement.Les deux ne sont probablement pas souvent le cas, mais cela semble probable.
Quelque chose de nouveau est déjà en route!http://www.researchers.one/
Merci, @Ian.Je suis entièrement d'accord et j'ai ajouté vos points au bas de mon message.
Merci @Peacefull.Je te suis ici.La science change.En fait, je crois que c'est une période très intéressante où les scientifiques du monde entier peuvent façonner et façonneront l'avenir de la science.
"Jourals n'a pas le financement nécessaire pour former et attirer des professionnels / scientifiques qualifiés comme examinateurs?"Je dirais que les revues ne sont pas obligées de faire cela et qu'elles ne le feront pas tant que la demande ne les y obligera pas.
Le dernier élément de cette liste n'est pour la plupart pas pertinent, en ce sens que la variance entre les humains peut être réduite de manière significative - et est réduite de manière significative dans le cas de l'évaluation GRE.
#2
+61
Ian Sudbery
2018-08-13 14:29:09 UTC
view on stackexchange narkive permalink

La plus grande différence est que, jusqu'au niveau de la thèse de doctorat, la personne qui évalue est plus un expert que la personne évaluée. Dans presque tous ces cas, il existe un ensemble convenu de compétences, de techniques et de connaissances standard que tout évaluateur peut être censé posséder et que toute personne évaluée est évaluée.

Ce n'est pas si vrai pour une thèse de doctorat , mais à la fin, une fois qu'un directeur / comité de thèse a allumé le feu vert à un étudiant, presque toutes les thèses de doctorat sont réussies.

Ce n'est certainement pas vrai plus haut. Dans presque tous les cas, la personne examinée sera plus un expert dans son travail que quiconque effectuera l'examen. Les seules exceptions seront les concurrents directs, et ils seront exclus. Nous parlons juste à la lisière de la connaissance humaine, différentes personnes ont des connaissances et des compétences différentes.

Je suis assez surpris que les scores GRE soient si cohérents. On sait depuis longtemps que la notation des essais est assez arbitraire (voir par exemple Diederich 1974 [1]). Notez que 1 point sur une échelle de 6 points équivaut à 15% - une différence assez importante. Dans notre diplôme, un 70 et plus est un diplôme de 1ère classe - la meilleure note qui soit, alors que 55 est un 2: 2, un diplôme qui ne vous permettra pas de passer un entretien pour la plupart des emplois de diplômés. Perdre 15% sur une évaluation de subvention vous fera presque certainement perdre la subvention.

Mais même pour obtenir ce niveau de cohérence, les évaluateurs doivent avoir reçu une grille de notation assez normative. Dans la recherche, une telle rubrique n'existe pas; il n'y a pas de critères prédéfinis par rapport auxquels une recherche est mesurée, et toute tentative d'en établir un briserait plus ou moins tout l'intérêt de la recherche.

* "Dans la recherche, une telle rubrique n'existe pas, il n'y a pas de critères prédéfinis par rapport auxquels une recherche est mesurée" * ... vraiment?J'ai très certainement l'impression qu'il existe des critères bien établis que la recherche est jugée par: (1) l'exactitude, (2) la nouveauté, (3) la difficulté, (4) l'utilité, (5) la reproductibilité ...
@Mehrdad Vous rencontrez déjà des problèmes.Que signifie «reproductibilité» pour un théorème mathématique?Que signifie «exactitude» pour un texte philosophique?Et je pense que tout le monde aurait du mal à donner des notes numériques pour chacune de ces catégories sur un article.Et il n'y a pas de seuil au-dessus duquel un papier est accepté et en dessous duquel le papier est refusé.
@NajibIdrissi: Ce ne sont pas des problèmes ... vous évaluez simplement tout ce qui n'est pas applicable comme N / A.En ce qui concerne l'attribution de notes numériques, je serais encore plus pressé de donner des notes numériques similaires à un essai GRE, donc je ne comprends pas en quoi c'est un contre-argument ici.
La note de bas de page agrandissant "Diederich 1974" est manquante.
Je crois que [1] est "Diederich, P. B. (1974). Mesurer la croissance en anglais. Urbana, IL: Conseil national des professeurs d'anglais."(https://eric.ed.gov/?id=ED097702) Un autre article de l'auteur, avec un résumé un peu plus utile: Diederich, PB, French, JW and Carlton, ST (1961), FACTORS IN JUDGMENTS OF WRITINGAPTITUDE.Série de bulletins de recherche ETS, 1961: i-93.[doi: 10.1002 / j.2333-8504.1961.tb00286.x] (https://doi.org/10.1002/j.2333-8504.1961.tb00286.x) (qui dit "libre accès" mais peut-être juste mon université)
@mehrdad - vos 2,3 et 4 sont tous extrêmement subjectifs.
@Mehrdad ce sont des catégories de critères, pas une rubrique.La question de savoir si un travail particulier répond à l'un de vos critères est, comme indiqué ci-dessus, entièrement subjective.Pendant ce temps, un essai de type GRE aura des critères très spécifiques: lorsque nous rédigeons des essais UG, l'essai est livré avec une liste de 2 ou 3 pages de contenu approprié + un guide qui dit des choses comme: Contenu - 5: Contenu le plus enseigné (certaines lacunes sont autorisées),plus un contenu non enseigné, 4: Le contenu le plus enseigné, mais quelques lacunes 3: Des lacunes majeures ... Structure - 5: Argument bien construit et logiquement étanche à l'eau, etc.
"Les seules exceptions seront les concurrents directs, et ils seront exclus."- selon le domaine, revoir le travail de vos concurrents directs peut être très courant, pour exactement les raisons décrites.
J'ai été évalué par des gens qui ont moins d'expertise qu'un étudiant diplômé qui a fait sa lecture.Cette réponse expliquerait certaines variations, et non le caractère aléatoire extrême que nous éprouvons souvent.-1.
@einpoklum Un étudiant diplômé dans un laboratoire faisant exactement ce qui est évalué, et qui a le temps de lire (contrairement à tout universitaire que vous connaissez) est plus susceptible d'être mieux informé qu'un critique.
#3
+49
Ray
2018-08-13 23:42:00 UTC
view on stackexchange narkive permalink

En ce qui concerne le problème du rejet des bons articles , un facteur qui ne semble pas encore avoir été mentionné est que les conséquences de l'acceptation d'un faux papier sont bien pires que celles du rejet d'un bon papier. Si un bon article est rejeté, il peut toujours être soumis de nouveau à un autre journal. Et si les auteurs révisent d'abord en fonction des commentaires du critique, la version qui finit par être publiée peut bien être mieux écrite que celle qui a été rejetée. Tout ce qui est perdu, c'est du temps.

Mais si un faux article est accepté , d'autres scientifiques peuvent le voir dans la littérature, supposer que ses résultats sont valides et construire leur propre travail sur il. Cela pourrait entraîner une perte de temps significative de leur partie, car les expériences qui dépendent du faux résultat ne fonctionnent pas comme elles le devraient (ce qui peut au moins entraîner le retrait du faux papier si les erreurs sont assez mauvais). Ou peut-être qu'ils éviteront de faire des recherches sur une ligne qui aurait fonctionné, parce que le faux papier implique que ce ne serait pas le cas, ou pire, ils se retrouveront eux-mêmes avec des résultats inexacts et finiront par mettre un autre papier avec de mauvaises données dans la littérature. Tous ces résultats sont bien pires que le simple besoin de soumettre à nouveau un article, de sorte que les faux négatifs sont préférés aux faux positifs lors de la révision.

C'est vraiment la meilleure réponse, celle qui a le plus de sens et qui inclut le moins de cynisme.Je ne sais pas pourquoi ce n'est pas très apprécié, car cela explique vraiment les principaux défis du processus (danger d'accepter un mauvais article).
C'est certainement une bonne perspective et un bon argument.Cependant, actuellement, de nombreux articles faux passent également le processus d'examen.Je peux les signaler dans mon domaine.Et les bons articles ou les bons articles aux résultats contradictoires n’y parviennent pas.J'ai un exemple où des gens ont été tués parce qu'un article publié est devenu la norme (en médecine) et les articles opposés ont été rejetés (résultant en des scientifiques très en colère et déçus) Personnellement, je crois qu'un scientifique n'est jamais soulagé de juger de la qualité des articles publiés.Je ne me fie pas au fait qu’un article est publié.J'utilise mes propres capacités de jugement.
De plus, rien ne permet de penser que les articles rejetés étaient mauvais à l'époque de la soumission initiale et que ce n'est qu'après avoir été révisés qu'ils ont été suffisamment clairs pour être publiés.Il serait rare à l'OMI qu'un auteur ne révise pas substantiellement l'écriture / présentation après le rejet: après tout, il y a de fortes chances que si vous soumettez le même article deux fois, le résultat sera le même deux fois.Je suis en fait surpris que seuls 8 papiers de ce type aient été trouvés.
#4
+18
Buffy
2018-08-13 21:50:41 UTC
view on stackexchange narkive permalink

Cela ne répondra pas vraiment à votre question, je m'en rends compte, mais j'aimerais aborder votre premier exemple - des articles rejetés qui ont ensuite conduit à des prix Nobel.

Parfois un travail est Frame Breaking et cela conduit à un Paradigm Shift dans un champ. Cela s'est produit plusieurs fois dans l'histoire, depuis au moins Copernic et Galilée. Les premiers travaux d'Einstein sur la relativité ont été rejetés parmi les hoi oligoi de physique / astronomie car ils étaient trop différents de la croyance en l'Éther à l'époque. Les membres les plus éminents du domaine rejettent une idée radicalement nouvelle et leurs étudiants, qui sont représentés de manière omniprésente, sont généralement d'accord.

Il a été dit que les révolutions en physique exigent la mort ou la retraite des chercheurs les plus respectés afin que les idées des jeunes puissent être entendues équitablement et se manifester.

C'est en fait une explication d'au moins certains des huit articles référencés dans votre premier lien.

Je ne pense pas que nous sommes nombreux à écrire des articles qui changent de paradigme, mais cela arrive parfois. Les vraiment brillants (non coupables) parmi nous doivent souvent travailler dans le silence et l'obscurité pendant la majeure partie d'une génération. La prochaine génération peut les célébrer, ou cela peut prendre encore plus de temps.

Lorsqu'un réviseur est confronté à un papier vraiment cassant, il n'a, par définition, aucun cadre de référence pour l'évaluer. C'est orthogonal à toute leur façon de penser. "Cela doit être un non-sens", est la réponse trop naturelle.

Lisez, par exemple, la courte biographie Wikipédia de Ramanujan.

Le livre de Thomas Kuhn "La structure des révolutions scientifiques" est la lecture classique sur ce point.
C'est la réponse la plus pertinente à la question directe - les articles dignes du prix Nobel sont radicaux ou révolutionnaires par nature.Cela rend naturellement leur examen d'autant plus sceptique une affaire.
Il n'y a pas que la physique où les révolutions nécessitent un changement de garde.Cela se produit également en géologie et en chimie.
@PeterShor, vrai, et pas même seulement la science.
#5
+15
aeismail
2018-08-13 14:51:35 UTC
view on stackexchange narkive permalink

Différentes tâches, différents résultats.

Tout ce que les évaluateurs GRE ont à faire est d'attribuer des scores, mais ils le font à des dizaines ou des centaines d'essais. Ils reçoivent des conseils et des exemples clairs sur la note que les essais devraient probablement recevoir. Il s'agit donc essentiellement de cocher des cases pour justifier un petit ensemble de résultats.

Une analyse par les pairs est fondamentalement différente puisque vous demandez une tâche beaucoup plus difficile techniquement. Ils doivent évaluer si l’analyse est exacte et non si elle répond à une invite. Il n’ya pas non plus d’exemples sur lesquels s’appuyer. Ainsi, l'objectif de l'examen par les pairs peut être très différent pour différents évaluateurs qui peuvent avoir différents ensembles d'expertise et auront certainement leurs propres points de vue.

* Il n’ya pas non plus d’exemples sur lesquels s’appuyer. * Et tous les articles déjà publiés?
#6
+12
Pete L. Clark
2018-08-13 21:51:47 UTC
view on stackexchange narkive permalink

Pour comparer l'évaluation par les pairs académiques au classement GRE - cela donne aux pommes et aux oranges un aspect presque identique. Faisons un peu plus près:

De même, pour autant que je sache, les lecteurs de thèse de premier cycle, les lecteurs de thèse de maîtrise et même les lecteurs de thèse de doctorat ne parviennent généralement pas à des jugements diamétralement opposés sur le travail .

Ce n'est certainement pas toujours vrai et très dépendant du champ. Dans certaines parties du monde universitaire, le membre du comité A insiste pour que la thèse soit exprimée en termes de perspective théorique X, tandis que le membre du comité B insiste pour que la thèse soit exprimée en termes de perspective théorique Y, où X et Y peut être intellectuellement incompatible ou sociologiquement incompatible: c'est-à-dire que chaque théorie a le rejet de l'autre comme principe central. Ceci est plus courant dans les sciences humaines où la nature de la «théorie» par rapport au reste du travail est assez différente, mais ce n'est pas non plus inouï dans les sciences.

En tant que membre fréquent du comité, je sais aussi que parvenir à un jugement consensuel est un phénomène sociologique aussi bien qu'intellectuel - c'est-à-dire que certaines différences de jugement se limitent uniquement à la discussion privée qui suit la défense et les autres différences de jugement ne sont jamais verbalisées du tout.

Ceci est utile pour comprendre la disparité dans l'évaluation par les pairs: dans l'évaluation par les pairs, les différents arbitres ne sont (d'après mon expérience, au moins) jamais en direct communication entre eux, et en fait peut ne pas voir du tout les verdicts des uns et des autres: en tant qu'arbitre, je crois qu'on ne m'a jamais montré un autre rapport d'arbitre. En fait,

Qui surveille les gardiens?

Il n'y a aucun aspect du processus académique qui me donne plus l'impression d'être un justicier masqué isolé que d'être un arbitre. Il est certain que les personnes qui procèdent à la notation GRE passent par un long processus de formation de répétition de l’évaluation de la pratique, des commentaires sur ces évaluations, des discussions sur les objectifs plus larges, etc. Il n'y a rien de tel pour les arbitres académiques. Nous n'avons aucune pratique et il y a très peu d'évaluation de notre travail. Si je remets ce qui est (je suppose!) Un rapport inhabituellement complet et inhabituellement rapide, j'obtiendrai souvent un "Hé, merci!" email de l'éditeur. Dans le (heureusement assez petit) nombre de cas où mes rapports d'arbitre étaient en retard de plusieurs mois, j'ai entendu rien des rédacteurs en chef (j'ai honte de dire qu'une fois que j'ai compris par moi-même qu'un article Je pensais que j'avais eu pendant quelques mois avait en fait été une année entière) ou j'ai reçu des demandes soigneusement polies pour que je rende le rapport. Je n'ai jamais reçu de commentaires négatifs après coup. Contrairement aux évaluateurs GRE, les arbitres sont des bénévoles

Je trouve (encore une fois, dans mon expérience et dans mon domaine académique des mathématiques) que les arbitres ne reçoivent presque jamais d'instructions équivalant à plus que "1) Utilisez votre meilleur jugement. 2) Nous sommes une très bonne revue et voulons que vous imposiez des normes élevées." Je remarque également que 2) est dit pour des revues de qualité extrêmement différente. Que signifie «imposer des normes élevées»? Je prends cette directive au sérieux et je tire mes photos dans le noir aussi soigneusement que possible, mais ... bien sûr, c'est ridiculement, au maximum subjectif.

D'un autre côté, votre troisième lien est assez alarmant.Il décrit un processus systématique de soumission d'articles qui avaient été ** acceptés et publiés ** par des revues prestigieuses au cours des trois dernières années ** à la même revue qui les a publiés **.Dans la majorité des cas, les revues n'ont pas reconnu avoir publié les articles auparavant.Je trouve cela très surprenant.
#7
+11
Has QUIT--Anony-Mousse
2018-08-13 21:28:41 UTC
view on stackexchange narkive permalink

Surcharge de soumission

Nous écrivons de plus en plus, et la qualité de soumission typique semble diminuer. Cela a plusieurs raisons, notamment de mauvaises incitations , en particulier en Chine. Si votre salaire directement sur les papiers acceptés, la quantité bat la qualité ...

À mon humble avis, nous sommes proches d'un point de basculement maintenant. De nombreux examinateurs experts refusent presque toutes les demandes de révision - parce que tant de soumissions sont si bâclées, qu'il est assez ennuyeux de les examiner. Cela devrait être différent: la plupart des soumissions devraient être de si haute qualité que vous aimeriez lire cela et que vous puissiez vous concentrer sur les détails. Donc, de plus en plus d'experts sont simplement ennuyés. Ils délèguent davantage la révision aux étudiants, ou refusent tout simplement. Mais cela signifie maintenant que les critiques restants reçoivent plus de demandes et plus de mauvais articles. Cela peut basculer rapidement, comme la plupart des écosystèmes.

Les éditeurs ont donc besoin de trouver d'autres réviseurs, et nous avons de moins en moins de réviseurs experts. Cela ouvre également les portes aux escroqueries et aux stratagèmes. Les outils et applications multimédias, par exemple, semblent être la proie du système de manipulation des rédacteurs et des réviseurs.

Alors, quelle est la solution? Je ne sais pas.

  • Rendre publics l'éditeur de traitement et les noms des réviseurs et donc rendre des comptes sur les articles acceptés - c'était assez courant; les examinateurs experts ont tendance à soutenir publiquement leurs critiques s'ils acceptent le document (il s'agissait auparavant d'une approbation réelle du travail dans certains domaines). Cela rend la corruption et les intrigues plus faciles à découvrir avec une analyse moderne. Mais cela rendra probablement plus difficile la recherche de réviseurs experts ...
  • Ne faites le premier examen qu'avec un seul réviseur (pour réduire la charge sur les réviseurs), résultats possibles "rejet anticipé" et "révision complète ".
  • Exiger des auteurs qu'ils fassent 5 révisions par publication acceptée (les experts ne peuvent donc pas simplement arrêter complètement de réviser, à moins qu'ils ne prennent leur retraite - la première publication est" gratuite ", mais vous ne pouvez pas continuer à rejeter les demandes de révision)?
  • En fait, payez les évaluateurs experts! Une fois que vous êtes convaincu qu'une soumission en vaut la peine, cela devrait être une option étant donné la marge bénéficiaire absurde d'Elseviers. Je crois que le principal problème ici est la bureocratie impliquée ici (qui décide si un examen est de haute qualité) et les différents coûts salariaux dans différents pays. Néanmoins, combiné au pré-examen ci-dessus, cela augmentera la «valeur» des bonnes critiques. Mais cela, à son tour, augmente le risque que les stratagèmes gagnent de l'argent grâce à cela ...
  • Examinez les avis et attribuez le prix du meilleur évaluateur.
  • Punissez les rejets répétés avec rendre le spam coûteux.
  • Limitez le nombre de soumissions par auteur et par an (cela signifiera probablement que les soumissions iront ailleurs - cela peut donc aider un journal en particulier, mais pas toute la communauté)?
  • Interdire les incitations financières - si votre pays / université a une telle incitation financière directe, vous n'êtes pas autorisé à vous soumettre à certaines grandes revues. Ensuite, ces mauvaises incitations seront rapidement abolies car elles ont tendance à demander aussi les meilleures revues. Mais cela peut simplement retarder ou cacher les paiements ... Je ne sais pas. Je ne suis pas un expert en politique. Ce ne sont que quelques idées.
#8
+8
WBT
2018-08-13 22:12:58 UTC
view on stackexchange narkive permalink

En apportant un point au-delà des autres réponses:

Différents niveaux d'effort dans l'examen conduisent à des résultats différents.

Les articles sont souvent rédigés de telle sorte que lors d'une première lecture, il est censé se lire «plutôt bien» même si une lecture approfondie plus critique et / ou une vérification des références exposerait des trous béants, de sérieux problèmes méthodologiques et des explications alternatives pour les résultats observés. Parfois, un examen encore plus approfondi peut constater que ces problèmes n'ont pas vraiment d'importance dans le cas particulier applicable à cet article spécifique (bien que l'auteur devrait généralement l'ajouter au texte lui-même).

Bien que les évaluateurs soient incités à faire du bon travail par la connaissance générale que le système en dépend, des instances spécifiques ne sont généralement pas incitées et les avis sont parfois laissés à la dernière minute avec un évaluateur qui manque de sommeil et longtemps sur d'autres tâches, qui ne fait pas l'effort d'une bonne révision. Ainsi, le résultat peut être très différent de celui du même article examiné par le même réviseur à un moment différent. Sans visibilité sur les facteurs affectant ce résultat, cela semble aléatoire.

#9
+6
Wrzlprmft
2018-08-14 18:24:56 UTC
view on stackexchange narkive permalink

Pour aborder l'aspect de:

Le même article soumis à nouveau au même journal après plusieurs années finit souvent par être rejeté en raison de «graves erreurs méthodologiques»

Dans environ un tiers des articles que j'ai examinés, j'ai identifié des défauts fondamentaux qui ne pouvaient pas être résolus en révisant l'article (vous auriez à écrire un nouvel article à la place). Quelques exemples juste pour vous donner un avant-goût:

  • L'analyse entière était une prophétie auto-réalisatrice, c'est-à-dire que le résultat était une hypothèse.
  • Une caractéristique proposée était un rond-point moyen de mesurer une propriété beaucoup plus triviale. (Cela s'est déjà produit deux fois.)
  • Un modèle proposé ignore le mécanisme dominant de ce qu'il est censé modéliser.
  • Toute l'étude portait sur la compréhension d'un artefact d'un débutant bien connu erreur (sans identifier cette erreur).

Bien que j'aie pu me tromper sur ces choses, les auteurs n'ont jamais répondu à mes préoccupations, que ce soit dans une réfutation ou une version de l'article publiée dans une autre revue (ce qui ne s'est jamais produit dans la plupart de ces cas) - ce qu'ils devraient faire même si je me trompe.

Maintenant, ces problèmes peuvent sembler avoir été faciles à repérer, mais de toute évidence ils ne l'étaient pas : Je n'ai repéré certains de ces défauts que lors de la rédaction de la critique proprement dite, et j'ai été témoin (et exécuté) de pas mal de crottes de mâchoire lors de discussions avec des collègues de co-relecture - que je savais être minutieux. De plus, dans certains cas, j'ai vu des rapports d'autres arbitres qui étaient par ailleurs exhaustifs mais qui n'ont pas repéré les problèmes.

Donc, pour conclure: même les défauts fondamentaux sont difficiles à repérer. Un critique donné n'a qu'une chance relativement faible de repérer une faille donnée dans un article. Il y a donc un risque considérable que tous les relecteurs échouent.


¹Oui, c'est une chose dans mon domaine et pleinement acceptée par les revues.

Je suis curieux de connaître la partie "discuter des articles avec des collègues co-réviseurs", car (comme je l'ai mentionné dans ma réponse) ce n'est absolument pas une chose dans mon domaine (les mathématiques).(Bien qu'en fait, dans mon domaine, le nombre d'arbitres le plus courant soit un.) Comment cela fonctionne-t-il?
@PeteL.Clark: Essentiellement, un arbitre est autorisé à solliciter l'avis de collègues tant qu'il s'assure que le matériel examiné est gardé confidentiel et nomme les examinateurs supplémentaires lors de la soumission de l'examen ([exemple de politique] (https: //journals.aps.org / pre / auteurs / éditoriaux-politiques-pratiques # anonymat)).En règle générale, un conseiller prend un conseiller dans l'équipe.
#10
+6
BruceET
2018-08-16 13:04:30 UTC
view on stackexchange narkive permalink

La différence fondamentale entre la notation des essais GRE et l'examen des articles scientifiques soumis pour publication a été discutée de manière convaincante dans plusieurs réponses précédentes. La différence fondamentale entre l'examen des demandes de subvention et des articles pour publication n'a pas.

Publications. Lorsqu'un article est soumis à une revue, il est généralement censé être un produit fini, ou à au moins une étape terminée vers un objectif défini. Il est vraiment difficile de trouver des critiques capables d'évaluer l'importance d'un article et de trouver toutes les lacunes dans le raisonnement ou toutes les imperfections de la technique, mais au moins les réviseurs d'articles de revues ont les résultats d'une recherche à

Un article Nobel potentiel peut couvrir des documents si nouveaux ou si éloignés des sentiers battus qu'il sera particulièrement difficile de les évaluer équitablement. Un article soumis à nouveau après plusieurs années peut avoir été basé sur des procédures ou des techniques qui ont été considérablement affinées entre-temps. Alors peut-être qu'ils étaient à la pointe de la technologie au moment de la soumission initiale, mais ils sont maintenant «sérieusement imparfaits» en termes de méthodes actuellement disponibles. Il n'est donc guère surprenant que les critiques ne notent pas à 100% ces tâches.

Cependant, même si les évaluateurs sont des bénévoles non rémunérés, surchargés de travail, travaillant sans formation spécialisée ni commentaires sur les détails de la révision, je pense qu'il est surprenant de voir à quel point la révision de journaux fonctionne bien dans la pratique.

Subventions. En revanche, porter des jugements sur les subventions de recherche est une tout autre type d’activité. Il y a quelques années (lorsque le financement fédéral américain était disponible à un niveau beaucoup plus élevé qu'aujourd'hui), j'ai passé plusieurs années dans une agence fédérale avec un budget raisonnablement important pour soutenir la recherche fondamentale et appliquée dans une variété de domaines scientifiques. J'essaierai donc d'aborder brièvement cette partie de l'image. Je commencerai par dire que je ne suis pas du tout surpris qu’un groupe de chercheurs scientifiques trouve que le financement du NIH (ou de toute autre agence gouvernementale américaine) n’est «pas meilleur qu’une loterie».

De manière générale , si vous savez exactement ce que vous faites, combien de temps cela prendra et combien cela coûtera, vous ne faites pas de recherche. Les évaluateurs peuvent souvent être utiles pour évaluer les antécédents de réussite d'un proposant et donner une idée approximative de la compétence du proposant pour entreprendre des recherches dans un domaine particulier. (Je dois ajouter que la plupart des directeurs de programme sont bien conscients des normes, des préjugés, des faiblesses et des atouts des évaluateurs qu'ils utilisent. J'ai rarement été surpris par le contenu d'un examen demandé, mais les quelques surprises ont été extrêmement précieuses.) Cependant, Les commentaires des évaluateurs ne sont qu'une partie de l'image.

Au-delà des commentaires des examinateurs, les directeurs de programme des organismes subventionnaires doivent tenir compte d'autres facteurs. Dans une certaine mesure, ils doivent tenir compte des facteurs financiers, politiques et infrastructurels. «Politique» signifie généralement que cet argent a été affecté ou donné spécifiquement pour soutenir un objectif scientifique particulier. Les préoccupations en matière d'infrastructure peuvent se concentrer sur le développement de technologies qui sont les objectifs de l'agence, la formation d'étudiants diplômés dans des domaines où il n'y a pas assez de chercheurs, si l'institution qui demande la subvention a la sophistication pour une gestion adéquate, etc.

Aux États-Unis, des agences telles que NIH, NSF, DoE, EPA, diverses agences de défense et diverses fondations privées peuvent avoir des objectifs très différents. Cependant clairement ces agences Les missions et les objectifs peuvent être énoncés dans des `` demandes de propositions '', ils sont souvent ignorés par les demandeurs de subvention, qui pourraient mieux justifier leur travail si les liens appropriés étaient clairement établis.

Malgré ces contraintes en ce qui concerne l’octroi de subventions, les directeurs de programme s’efforcent de ne soutenir que la science de la plus haute qualité, et je crois qu’ils y parviennent généralement. D'après mon expérience, presque tous se considèrent d'abord comme des scientifiques, puis comme des bureaucrates d'agence. Souvent, leur succès est grâce à l'aide considérable de critiques, mais parfois non.

#11
+2
Keith
2018-08-20 06:23:49 UTC
view on stackexchange narkive permalink

Quand j'étais à l'école supérieure en informatique, j'ai remarqué quelques difficultés dans le processus de révision des articles. J'ai observé la plupart de ces choses à travers les expériences des autres:

  1. Les revues et les conférences utilisent la communauté des auteurs précédents pour réviser les articles. Les personnes qui publient le plus travaillent très dur. Ils peuvent ne pas être en mesure de consacrer suffisamment de temps pour bien réviser un article. Si le contenu de l'article est nouveau, inconnu, terne, très technique ou manque de clarté, ces facteurs le rendent moins susceptible d'être examiné attentivement.
  2. Le critique qui a été initialement sélectionné par la publication peut remettre le revoir la tâche à un étudiant diplômé. L'élève peut simplement apprendre à lire et à digérer des articles de recherche dans le domaine. Si le contenu est difficile, le réviseur inexpérimenté peut ne pas être en mesure de le réviser correctement et peut ne pas avoir appris à nuancer ses jugements en fonction de son degré de compréhension.
  3. Les examinateurs les plus qualifiés ont souvent des points de vue solides sur le sujet et peut avoir une approche très différente. La dissonance cognitive et émotionnelle que l'on ressent en essayant de comprendre l'application d'outils inconnus à des problèmes familiers peut être trop difficile à surmonter. Bien sûr, ce travail acharné peut entraîner des avantages pour les deux parties lorsque le processus fonctionne.
  4. Une nouvelle approche réussie peut même être ressentie comme une menace pour d'autres chercheurs ou pour la communauté dans son ensemble. De véritables percées perturberont les axes de recherche que d'autres poursuivent. C’est l’une des raisons pour lesquelles les affirmations fortes seront soumises à un niveau de justification plus élevé.
  5. Les auteurs se disputent un espace limité dans les revues et les conférences. J'ai entendu des auteurs dire qu'ils estiment qu'un article a été rejeté en raison d'un examen injuste par un rival intéressé. Bien sûr, ils ne peuvent généralement pas le savoir avec certitude.
  6. Parfois, les critiques font des commentaires valables, mais le fort attachement émotionnel que l'auteur ressent pour leur travail les amène à rejeter les commentaires. Cela peut bloquer le processus, rendant difficile la publication du travail en raison de défauts non corrigés, même lorsque le travail est solide. J'ai lu des articles à ce sujet même dans certains articles célèbres.

La publication d'articles est une activité professionnelle essentielle pour la plupart des auteurs, mais la révision d'articles est un acte de service communautaire. Cela résume beaucoup de problèmes spécifiques.



Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 4.0 sous laquelle il est distribué.
Loading...