En règle générale, en tant que réviseur, on vous demande votre opinion sur l'exactitude de l'article et sa signification (importance, niveau d'intérêt, etc.). Évidemment, dans ce cas, vous pensez que les résultats ne sont pas suffisamment significatifs ou intéressants pour être publiés dans ce journal, vous devriez donc le dire dans votre critique. Si possible, vous devez expliquer pourquoi vous le pensez: les auteurs ne donnent aucune candidature convaincante, les résultats ne sont qu'une amélioration marginale par rapport à ce qui est connu, etc.

Ce n'est pas une raison pour refuser la critique . Penser que l'article n'est pas intéressant n'est pas un «préjugé».

Si les rédacteurs ne sont pas d'accord avec votre évaluation, ils sont libres de l'ignorer et de publier l'article de toute façon. Mais vous avez la responsabilité de donner votre opinion honnête.

En fait, je vous suggère d'évaluer l'intérêt du papier avant de commencer à vérifier soigneusement son exactitude. Si vous pensez que la publication n'est pas suffisamment importante, même si elle est correcte, vous pouvez en informer les éditeurs et gagner du temps.

Il y a quelques exceptions, où les éditeurs peuvent seulement être intéressés à savoir si vous pensez que l'article est correct. Peut-être sont-ils déjà convaincus que c'est suffisamment important (d'après leurs propres opinions ou d'autres critiques), ou peut-être que «l'importance» n'est pas un critère de publication dans cette revue (par exemple PLOS One). Si tel est le cas, l'invitation à l'examen doit le préciser; sinon, considérez l'importance de l'article dans le cadre de votre examen.

tl; dr: Laissez le papier essayer de vous convaincre que ce n'est pas inutile; si ce n'est pas le cas, vous pouvez le juger sévèrement.

En vous référant à vos trois options:

Refusez l'examen parce que vous avez des préjugés et ne pouvez pas produire un examen juste.

Vous n'avez pas de préjugés contre le papier spécifique ou l'auteur spécifique, vous avez une opinion sur l'importance de ces articles. Mais - assurez-vous de ne pas pré-juger un article spécifique parce que vous n'aimez pas les articles existants qui se situent quelque part entre la théorie et la pratique.

Eh bien, l'article est correct, n'est-ce pas il? Jugez exclusivement par le contenu.

Vous «gâchez» cette réponse en ajoutant une question rhétorique non pertinente. Nous parlons de pertinence et d'importance, pas d'exactitude. Jugez toujours par le contenu; mais - le contenu doit inclure un argument de signification et de pertinence si ceux-ci ne sont pas immédiatement apparents. Pour cela, le contexte est important.

L'éditeur a demandé votre avis et vous pensez que l'article ne devrait pas être publié. Dites-le: "C'est correct, mais cette ligne de recherche est inutile. Oui, je sais qu'il y a des centaines d'articles dans cette ligne, mais ce ne sont pas mes affaires et je suis en train de réviser cet article".

Ne dites pas cela tant que vous n'avez pas lu l'article et que vous n'avez pas été convaincu du contraire. De plus, encore une fois, la "correction" n'est pas le problème.

La ligne du bas est résumée dans le tl; dr ci-dessus.

PS - Un article peut avoir une méthode très intéressante pour prouve un résultat pas très utile, et cela peut être une raison indépendante d'accepter.

J'aurais choisi, et j'ai choisi l'option 3. Cependant, je la formule différemment. Faites valoir votre point de vue en utilisant des termes neutres, de sorte que l'accent soit mis sur votre argument plutôt que sur votre évaluation. Cela est utile à l'éditeur, qu'il soit d'accord ou non avec vos points. Un désaccord professionnel n'est pas une raison d'être mis sur liste noire.

Vous estimez qu'environ la moitié des articles de l'une des principales revues appartiennent à cette catégorie d'articles «inutiles». Honnêtement, pour moi, cela dit que votre vision de ce qui est "inutile" est si loin de ce que pense la communauté dans son ensemble, que vous ne devriez pas faire de recommandations sur des articles sur ce sujet.

En tant qu'éditeur, l'option 3 est exactement ce que j'aimerais que vous exprimiez. En tant que rédacteur en chef et en tant que membre de la communauté, je suis d'accord que nous publions beaucoup d'articles qui sont en effet (i) inutiles, ou au moins (ii) font un travail plutôt médiocre, motivant pourquoi tout le monde devrait s'en soucier.

Alors pour poser la question "Pourquoi quelqu'un devrait-il s'en soucier?" est vraiment l'une des tâches les plus importantes d'un critique. Si vous pensez que cela devrait nous intéresser, vous pouvez vérifier l'exactitude technique, mais je suis tout à fait d'accord pour dire qu'un article inutile, techniquement correct ou non, ne devrait pas être publié. C'est le travail de l'éditeur de poser également des questions aux critiques sur ce problème.

(J'ajouterai que j'ai du mal à voir ce que je trouve également dans de nombreux articles. Mais j'ai aussi appris que tous les papiers font un travail particulièrement bon pour expliquer ce qu'est le point, et que cela n'équivaut pas à ce qu'il n'y ait pas de point. C'est particulièrement vrai pour de nombreux papiers de mathématiques pures qui ne contiennent essentiellement aucune introduction qui met le résultat en contexte. Cela ne veut pas dire qu'il n'y a pas de contexte dans lequel le résultat n'est pas pertinent - cela signifie simplement que vous devez être un expert dans le domaine pour le voir. Je soupçonne que de nombreux articles en mathématiques appliquées et dans d'autres domaines tombent dans la même catégorie: comprenez le point où vous en savez suffisamment sur le problème, ce que la plupart d'entre nous ignorent. Bien sûr, cela ne réfute pas le fait qu'il existe de nombreux articles qui sont vraiment inutiles.)

C'est correct mais cette ligne de recherche est inutile.

Théorie des nombres. Je conviens que la façon dont vous l'avez décrit semble être des résultats vraiment mineurs. Mais d'un autre côté, je crois que les résultats mineurs ont presque toujours été le tremplin en mathématiques. Et si vous pensez que la «ligne de recherche» elle-même est inutile, je ne peux m'empêcher de penser à la théorie des nombres. C'était considéré comme inutile avec les problèmes de jouets jusqu'à la cryptographie.

Donc, je dis que vous ne pouvez pas vraiment juger si une ligne de recherche restera toujours inutile ou si les problèmes de jouets deviennent des problèmes intéressants à l'avenir parce que nous ne pouvons pas connaître l'avenir.

J'ai posé une question très similaire ici:

À quoi sert la recherche en ingénierie sans pertinence pratique?

Cependant, la majorité des répondants m'a réprimandé pour ne pas avoir vu l'utilité de "recherches inutiles" (dans vos propres mots). Si seulement ces répondants avaient vu les papiers que j'ai vus !! Je suis trop poli pour publier ces documents de recherche ici, mais lorsque vous utilisez un algorithme génétique pour allouer des engrais (en 2017, lorsqu'il existe des méthodes d'optimisation extrêmement robustes), vous faites peut-être quelque chose de mal. Lorsque vous redécouvrez le processus de décision de Markov, vous faites quelque chose de mal. Lorsque vous modélisez le comportement d'achat d'êtres humains réels en tant que système dynamique (sans stochasticité) et que vous proposez une fonction de Lyapunov pour «montrer la convergence», vous faites quelque chose de mal. Il ne s’agit pas de mathématiques, mais d’hypothèses et de pertinence pratique.

Dans le but de produire de bonnes recherches, tout en étant protégé de nos propres préjugés, le mieux que nous puissions faire est de mettre en évidence et remettre en question (et remettre en question à plusieurs reprises) la pertinence pratique de ces «recherches inutiles».

Nous ne devrions pas avoir peur de demander des choses comme: «Comment pouvez-vous étendre vos résultats? ? quel avantage cela apporte-t-il par rapport à des alternatives apparemment meilleures et plus largement utilisées? Pourquoi l'application de votre article est-elle si limitée? Est-il possible d'utiliser l'algorithme que vous proposez pour un problème non lié au jouet "

ou

"pourquoi quelqu'un devrait-il s'en soucier?"

C'est le seul moyen de rivaliser avec la recherche dans l'industrie et de préserver le prestige du titre d '"universitaire", sinon la qualité de recherche dans une université particulière ou même dans un pays entier.

Certains pays sont connus pour produire une quantité énorme de recherches inutiles, et je pense que cela a profondément nui à la réputation des chercheurs de ces pays.

Pour répondre à votre question, si vous trouvez que l'application est trop spécifique ou que l'algorithme est trop limité, je vous recommande de ne pas vous retenir lorsque vous décidez d'appuyer ou non sur le bouton de rejet. Mais discutez-en d'abord avec plusieurs pairs, un consensus devrait être rapidement atteint si l'article en question est, en effet, inutile.

C'est la seule façon pour le monde universitaire d'innover. J'ai vu des gens faire la même chose qu'il y a 20 ans, juste avec des modifications mineures dans la configuration, de sorte qu'un algorithme semble légèrement différent de celui qu'il a été proposé pour la première fois il y a plus de 20 ans. Il est temps pour un changement sérieux.

Quand j'ai lu votre question et arrivé au passage "pages et pages d'équations, couronnées ... ou le critère de stabilité de Lyapunov", ma réaction a été que, s'il s'agit d'une description précise de l'article, alors vous devriez dire l'éditeur exactement cela.

J'admets mon parti pris ici: une fois, un article a été rejeté comme "une solution à la recherche d'un problème" par un critique (essentiellement le même que "c'est inutile") quand:

1. Ce document faisait partie intégrante d'un projet plus vaste
2. Ce document a été cité 33 fois et est bien au-dessus de mon h-index personnel.

Donc je je suis un peu sceptique quant à la capacité des gens à évaluer ce qui est utile.

Personnellement, j'ai tendance à revoir les articles en fonction de leurs mérites techniques - pour que je rejette quelque chose, il faut que ce soit mal fait, carrément faux, «Cela ne dit pas ce que vous pensez que cela dit», etc. plutôt que simplement «je n'aime pas ça». Je peux cependant laisser aux auteurs un commentaire selon lequel les résultats ont besoin d'un lien plus ferme avec certains résultats pratiques (je suis dans un domaine où les résultats pratiques comptent, et «est intéressant pour lui-même» est rarement accepté).

Dans les commentaires à la section de l'éditeur, je ferais remarquer que je ne pense pas que le papier aura beaucoup d'impact, et qu'il est l'un des nombreux exemples du champ descendant dans un terrier inutile. Mais je laisserais à leur jugement rédactionnel le soin de déterminer s'ils pensent que c'est une raison de ne pas accepter quelque chose.

Je voudrais offrir une réponse légèrement contrariante, peut-être controversée, mais réfléchissez-y.

Vous avez parfaitement droit à votre évaluation du manuscrit; après tout, vous ne seriez pas contacté si vous ne disposez pas des informations d'identification appropriées. Vous avez également raison de dire que ce papier est votre affaire et non d'autres documents similaires. Je vous exhorte à aller plus loin et à considérer l’impact de votre décision.

En tant qu’académicien responsable , il peut être bon de penser qu’une décision de «rejet» est probable pour modifier le nombre d'articles sur le «changement de paramètre» publiés. Peu probable - l'éditeur est plus susceptible de le traiter comme un cas isolé. Cela soulève certainement une voix, mais si, comme vous le dites, 50% des articles publiés sont similaires, cette voix sera étouffée.

Considérons maintenant l'effet sur les auteurs - ils ont vu de nombreux articles similaires publiés dans le même journal. Il se peut même qu'ils aient choisi ce journal pour cette raison même. Pour eux, cela semble être une décision injuste et partiale. Cela n'aide pas leur moral, et pour un jeune chercheur, cela pourrait être démotivant. Il est un peu injuste pour eux d’être distingués. (Oui, le processus d'examen est probabiliste et les inégalités sont inévitables, mais peut-être pourrions-nous faire notre part pour les réduire, quand nous le pouvons.) Lorsque le chercheur est démotivé, il est moins susceptible de comprendre des arguments nuancés (par exemple pertinents. mais inutile) et prenez-les dans le bon esprit. L'article sera probablement soumis à des modifications mineures et envoyé à une revue similaire, où il pourrait bien être publié. En tant que critique, vous avez peu de chances de changer les tendances de recherche de l'auteur de manière isolée. Au final, vous aurez la satisfaction d'avoir énoncé votre point (très important en science!), Mais au-delà, à qui ou à quoi cela a-t-il servi?

À mon avis, une alternative serait soit de revoir ce document (rigoureusement) en fonction de sa pertinence et de son exactitude (en laissant de côté la pertinence), soit de refuser l'examen. Il est certain que l'intérêt d'un article doit être pris en compte dans un examen régulier, mais étant donné vos sentiments forts à propos de ce journal / type d'article, ce n'est pas vraiment un examen régulier. Je le répète, je ne pense que c'est ainsi que chaque examen doit être fait, c'est un cas particulier.

Si vous êtes sérieux dans votre objection au type d'articles publiés, vous devriez plutôt utiliser votre niveau académique pour écrire au comité de rédaction, soulever cette question lors de conférences ou prendre position dans des forums publics. À tout le moins, la conversation dépassera vous, un éditeur et un auteur. Vous constaterez peut-être que beaucoup d'autres sont d'accord avec vous, et cela pourrait être un pas vers une contribution vraiment significative. Même si cela ne se produit pas immédiatement / visiblement, vous saurez que vous avez attaqué la cause première, pas le symptôme.

L'affectation des arbitres est proposée dans le contexte où vous savez ce qui est acceptable et approprié pour ce journal. Si l'on croit que la moitié de ce qui est publié dans cette revue n'est pas appropriée en raison du domaine dans lequel se trouve le travail, alors cette personne n'est pas un référent approprié pour ce domaine pour cette revue. Le PO devrait refuser d'examiner ces documents.

C'est une excellente question. J'ai été à "l'autre bout" de la situation - j'ai soumis mon article qui "pourrait" résoudre un problème du monde réel, mais le journal n'a fait qu'une simulation sur un problème de jouet / artificiel.

Déclaration du problème : exécuter tous les tests de régression peut prendre beaucoup de temps pour une équipe / une organisation / une entreprise. Si nous pouvions planifier les tests du point de vue de la théorie des jeux en considérant la testabilité comme une compétition entre les testeurs et les développeurs, nous pourrions obtenir une planification supérieure par opposition à «tout» type d'un schéma de priorisation que l'on pourrait trouver.

C'est vraiment très difficile à faire sur un vrai système avec de vraies personnes avec de vrais tests. En fait, nous n'avons même pas de données sur le "succès" des tests même si nous utilisons des logiciels open source (c'est-à-dire quels tests ont été les plus efficaces pour identifier les problèmes / bogues).

Le le mieux que nous pourrions faire dans cette situation, est d'abstraire tout ce qui concerne le "monde réel" et de se concentrer uniquement sur l ' algorithme à portée de main. Nous avons essayé de modéliser tous les algorithmes de hiérarchisation connus de la même manière afin qu'une simulation puisse nous donner une idée de son efficacité.

Nous avons reçu des commentaires sur les lignes que vous suggérez:

... Je (critique) suis d'accord avec n'importe quelle direction de recherche, mais c'est tellement tiré par les cheveux que les auteurs imaginent ce problème dans leur tête alors qu'il n'en existe pas. Il n'y a aucune preuve de concurrence entre les testeurs et les développeurs en réalité et cela n'est même pas applicable dans la nature.

Cela nous a pris au dépourvu - apparemment, le ou les critiques se sont davantage concentrés sur la «formulation» du problème que sur ce que nous proposions. L'hypothèse de notre article était de proposer une meilleure façon de hiérarchiser et de programmer les tests de régression afin d'optimiser les chances de trouver des bogues en randomisant les tests w.r.t. modèles de théorie des jeux. C'est si nous ne pouvons exécuter que 10% des tests, qui à exécuter (au hasard) qui maximiserait nos chances de trouver des bogues à un niveau de confiance de X%.

Ce que j'essaie de dire, c'est , cela aurait été vraiment bien si certains des critiques avaient juste pris du recul et évalué l'article à partir du point de vue du problème par rapport à tout le reste. Certains critiques ont pensé que c'était inutile - nous avons pensé que c'était un excellent nouveau POV qui n'a jamais existé auparavant et donc nous avons rédigé un article pour présenter l'idée là-bas. Peu de gens ont aimé l'idée, mais beaucoup ne l'ont tout simplement pas compris (ou ont été influencés par leurs préjugés).

Par conséquent, je vous exhorte vivement à voir le problème réel résolu - est-ce un problème intéressant ? Peut-il être résolu d'une autre manière? Qu'y a-t-il de mieux dans «leur» façon? Pouvez-vous, le critique, imaginer une application possible? Le journal le dit-il? Quels sont les avantages de cette approche?

Si le document répond à la question ci-dessus, alors il peut être un candidat à l'acceptation plutôt qu'une direction de recherche inutile. Notez que les personnes qui rédigent l'article sont plus profondément impliquées dans le problème et ont une idée de son applicabilité (ou pas du tout, et le réviseur devrait vous aider).