Question:
J'ai un fort soupçon et une faible preuve que les données dans le journal sont fausses. Que faire?
Marco Capitani
2017-12-08 21:06:52 UTC
view on stackexchange narkive permalink

J'ai examiné un article soumis pour un petit magazine. Il a présenté un algorithme pour effectuer une tâche d'allocation et a comparé ses performances à celles de plusieurs autres algorithmes de la littérature effectuant la même tâche de plusieurs manières (les résultats, c'est-à-dire l'allocation, peuvent être évalués en fonction de l'utilisation de plusieurs ressources différentes, donc un résultat pourrait utiliser moins de ressource A, mais plus de ressource B, et ainsi de suite).

Mon opinion était que, bien que l'algorithme soit mal présenté et que l'article soit presque incompréhensible, les résultats présentés semblaient bien, donc les auteurs méritaient une autre chance de mieux s’expliquer, donc je n’ai pas suggéré de le rejeter complètement.

Le premier tour d’examen s’est déroulé avec un verdict unanime de "révisions majeures".

Ensuite, on m'a demandé de revoir la deuxième version soumise de l'article aussi. Dans cette nouvelle version, l'algorithme avait été comparé à une gamme beaucoup plus large d'algorithmes. Le problème est: même si les algorithmes auxquels ils étaient comparés ont changé, les graphiques de comparaison sont restés exactement les mêmes, et les regarder côte à côte n'a révélé aucune différence (aucune donnée numérique explicite n'a été fournie) .

Ce qui est pire, c'est que le changement n'était même pas un pour un. Dans la première soumission, l'algorithme (appelons-le A) a été comparé aux trois mêmes autres algorithmes dans toutes les catégories (utilisation de la ressource A, utilisation de la ressource B, etc.) tandis que dans la deuxième soumission, chaque comparaison de ressources impliquait des algorithmes différents, donc pour Par exemple, A a été comparé à B, C et D dans l'utilisation de la ressource A, mais il a été comparé à C, E et F dans l'utilisation de la ressource B, et ainsi de suite.

Néanmoins, chaque graphique de la deuxième soumission était identique à celui de la première soumission.

À ce stade, j'étais à peu près certain qu'au moins la deuxième série de comparaisons avait été complètement falsifiée, c'est-à-dire que les auteurs venaient de changer les étiquettes sur les graphiques.

En demandant à l'un de mes collègues seniors, on m'a conseillé d'ignorer simplement le problème et de ne pas soulever de chahut, car ce problème a de fortes chances de se retourner contre vous: nous ne sommes pas une institution universitaire, nous sommes le département R&D d'une jolie petite entreprise privée, donc nous avons très peu de poids politique et de réputation scientifique.

Je me demande si je devrais vraiment soulever cette question avec l'éditeur, avec qui mon entreprise entretient des relations commerciales , comme nous sommes partenaires dans plusieurs projets financés par le gouvernement, ou je devrais tenir compte des conseils de mon collègue.

Bien que l'article ait très peu de chances d'être publié car la deuxième soumission est également presque illisible, un co-auteur de cet article a un indice h extrêmement élevé (100+), donc je pense que si mes soupçons sont fondés, ils devraient vraiment être mis en lumière.

Je ne comprends pas comment la révision d'un article peut se retourner contre vous.Il ne semble pas pertinent que vous travailliez pour «une jolie petite entreprise privée, [avec] très peu de poids politique et de réputation scientifique».Je ne comprends pas non plus pourquoi les relations commerciales avec l'éditeur devraient influencer votre avis.
Eh bien, je ne suis pas sûr moi-même.Je suis dans ce domaine depuis pas plus d'un an, donc votre commentaire est en fait la moitié (ou plutôt la meilleure partie) d'une réponse à ma question :)
Re: commentaire de user2768: À l'inverse, je pense que s'il y a des dommages politiques / relationnels à faire, cela pourrait être fait de manière équivalente en laissant passer les erreurs / fraudes connues, alors que l'éditeur comptait en partie sur votre aide pour la révision.
Je suis d'accord avec @DanielR.Collins ici - vous risquez tout autant de dommages en laissant passer un papier potentiellement frauduleux.En demandant plus d'informations, vous paraissez (et êtes) minutieux;mieux cela que considéré comme non informé ou imprudent.
Ce genre de divergence semble pouvoir survenir sans le vouloir;est-il possible qu'ils se précipitent sur le papier révisé et ont simplement mal étiqueté les graphiques par accident?
@MarcoCapitani Si vous allez laisser passer une telle chose, pourquoi même prendre la peine de revoir?Si vous n'avez pas le pouvoir de signaler des problèmes importants, la révision semble être une perte de temps particulièrement inutile.
Il y a beaucoup de réponses que dire à l'éditeur.Rares sont ceux qui disent quoi dire aux auteurs.Vous pouvez demander aux auteurs (dans la partie de l'examen qu'ils voient) de fournir des données brutes dans un téléchargement supplémentaire et / ou d'étendre la méthodologie pour refléter la façon dont ils ont mesuré les données.Cela vous aiderait probablement à mieux comprendre l'origine des données.Le moyen le plus simple est de plaider pour un rejet de toute façon ...
Vous avez dit qu '"aucune donnée numérique explicite n'a été fournie".À mon avis, une solide comparaison des performances doit absolument inclure des chiffres explicites.
Sept réponses:
user24098
2017-12-08 22:30:00 UTC
view on stackexchange narkive permalink

Vous devez absolument signaler votre problème, mais supposez de bonne foi.

Cela semble certainement être un problème majeur. Cependant, la fabrication de données est une allégation très sérieuse (voire de fin de carrière). Vous ne devriez pas accuser quelqu'un de cela sans preuves très solides, et je ne pense pas que vous les ayez dans ce cas. Il pourrait y avoir une explication innocente.

  • Vous avez peut-être mal compris ce qu'ils font. Par exemple, plutôt que d'exécuter tous les nouveaux tests, ont-ils utilisé les mêmes résultats pour leur algorithme, mais les ont-ils ensuite comparés à des algorithmes différents? (Je ne suis pas sûr de la question de savoir si cela serait possible).
  • Cela pourrait être une simple erreur. Par exemple, que se passe-t-il s'ils ouvraient accidentellement le mauvais fichier image et y ajoutaient des étiquettes?

Je soulèverais le problème, mais plutôt que de dire "cela semble faux", quelque chose comme ceci:

Les auteurs prétendent avoir effectué de nouvelles comparaisons, et pourtant les résultats sur les graphiques sont exactement les mêmes que dans leur brouillon précédent. Je ne comprends pas comment cela peut être correct. Pourraient-ils s'il vous plaît expliquer, ou corriger les graphiques si nécessaire?

Une autre chose que vous devriez faire est de demander des résultats plus détaillés et plus d'informations sur leurs méthodes. Il semble que leurs rapports sur ce qu'ils ont fait sont loin d'être adéquats. La manière dont ils répondent à cette demande pourrait donner plus de preuves sur la possibilité que les résultats soient falsifiés. S'ils sont incapables d'expliquer de manière convaincante les résultats étranges et de décrire complètement leurs méthodes, vous devriez au moins soulever votre inquiétude auprès de l'éditeur. Je ne pense pas que vous ayez encore suffisamment de raisons de le faire.

S'il y a d'autres mesures à prendre, ce sera la responsabilité de l'éditeur. Voici ce que le Comité d'éthique de la publication recommande aux éditeurs dans cette situation. Si les auteurs ne peuvent pas s'expliquer de manière satisfaisante, cela devrait aboutir à un rapport à leur institution et à une enquête.

Ce.Je suis sûr que je ne suis pas le seul à avoir presque collé le mauvais graphique / tableau / pièce jointe dans un document important.
Oui;la préoccupation est valide, mais elle est plus susceptible d'être une erreur que délibérée.
S'ils sont incapables d'expliquer de manière convaincante les résultats étranges et de décrire pleinement leurs méthodes, avez-vous même besoin de soulever le problème de la falsification de données?Il semble que cela seul suffirait à justifier le rejet.
Encore plus diplomatique: "Il semble qu'ils se sont trompés et ont mis les nouvelles étiquettes sur les anciens graphiques de comparaison."
@jpmc26 fabriquer des données devrait avoir des conséquences au-delà du rejet.En pratique, cela n'est peut-être pas possible, mais il appartiendrait à l'éditeur de prendre des mesures supplémentaires, donc je pense qu'informer l'éditeur est une diligence raisonnable dans un cas où il y a de fortes raisons de soupçonner une fraude.
J'irais aussi avec le rasoir de Hanlon, mais je mentionnerais également à l'éditeur que les tableaux de comparaison semblent être en conflit avec le premier article et qu'il est difficile de juger ce qui pourrait être correct car il ne semble pas y en avoir assez.informations à comparer pour confirmer les résultats par vous-même.Encore une fois, il pourrait y avoir une explication innocente, mais elle devrait être vérifiée à nouveau.
@jpmc26 Je ne sais pas si copier / coller accidentellement les mauvaises données (ou oublier de mettre les données correctes) est un motif de rejet pur et simple.Révisions, bien sûr.
@QPaysTaxes Si leur réponse est: "Nous avons fait une erreur lors de la création du nouveau graphique. Voici la version corrigée", c'est une explication convaincante et ne rentrerait pas dans la catégorie que je questionne.
Konrad Rudolph
2017-12-08 22:26:42 UTC
view on stackexchange narkive permalink

La plupart (tous?) des processus d'évaluation par les pairs vous permettent d'écrire une note privée à l'éditeur qui n'est pas montrée aux auteurs de l'article. Utilisez ceci pour soulever votre inquiétude auprès de l'éditeur, en fournissant une explication détaillée des preuves.

En ce qui concerne la partie publique de l'examen, il est tout à fait légitime de noter que la description dans l'article est insuffisante pour reproduire le résultats (ce qu'il semble être, d'après votre description): si les données ne sont pas truquées, les auteurs ne devraient avoir aucun problème à décrire la méthode avec suffisamment de détails pour que le lecteur puisse la récapituler complètement.

En fait, votre description des résultats vagues dans le document serait à elle seule un motif d'exiger une révision appropriée.

Pour répondre au commentaire de votre collègue principal: ils sont faux. La fabrication de données est une grave violation de l'éthique de la recherche. En tant que réviseur, vous ne devez en aucun cas le laisser glisser, quel que soit le statut de rejet du manuscrit.

user80454
2017-12-08 22:30:48 UTC
view on stackexchange narkive permalink

Malheureusement, vous avez de bien meilleures chances de harceler quelqu'un sans aucune répercussion en tant qu'arbitre anonyme de journal qu'en tant que modérateur le plus moche de academia.stackexchange. ;-) Plus sérieusement: pas de soucis, optez simplement pour la critique si votre rapport est anonyme. Si votre rapport n'est pas anonyme (ce qui est rarement), faites la même chose que lorsque vous écrivez une belle lettre de recommandation qui est en fait "un peu discutable" dans son contenu réel.

Dans tous les cas , vous avez déjà fait un bien meilleur examen que l'écrasante majorité des arbitres de recherche .

Je vous suggère de supprimer le passage sur les mods stackexchange de votre réponse.Je ne vois pas comment cela est lié à la question.
Scientist
2017-12-09 20:25:53 UTC
view on stackexchange narkive permalink

J'ai contribué en tant que critique à plus de quarante articles à ce jour. Dans la plupart des cas, j'ai suggéré (ou «laissé entendre», parce que dans la mesure du possible, je préfère ne pas dire au rédacteur quoi faire) de rejeter l'article. J'ai signé un tiers de mes avis, mais je n'ai signé un avis négatif qu'une seule fois. Je m'efforce de signer mes avis plus souvent.

Je comprends qu'il peut y avoir des réactions négatives. Plus souvent que prévu. Malheureusement, de nos jours, trop d'éditeurs ont des liens avec des auteurs, et certains auteurs ne peuvent tout simplement pas accepter d'être critiqués. La principale raison pour laquelle je ne signe pas toutes mes critiques est la peur des réactions négatives, surtout parce que je suis toujours post-doctorant. Ainsi dit, retrouvez ma recommandation ci-dessous.

Soulevez ouvertement la question des images dupliquées et insistez sur le fait que la soumission avait déjà des problèmes profonds dans sa forme originale. Commentez toute autre facette de la nouvelle soumission et terminez votre examen froidement. Si le système vous oblige à suggérer une recommandation, choisissez le rejet. Je pense que vous avez toutes les raisons de rejeter un article qui ne s’est pas amélioré de manière significative lorsqu'on lui en a donné la possibilité, et il ne devrait pas y avoir de chahut à ce sujet. Ne venez pas accuser les auteurs d'inconduite sur des images dupliquées, car un comportement bâclé n'est pas une fraude. Si vous le devez, faites simplement allusion aux problèmes à l'éditeur en privé, mais à votre place, j'éviterais cela en raison des conflits secondaires potentiels que vous avez mentionnés.

cybernard
2017-12-11 05:14:00 UTC
view on stackexchange narkive permalink

"la deuxième soumission est également presque illisible"

Cela semble en soi une raison pour la rejeter totalement.

Soit:

  1. C'est une poubelle illisible (Rejeter MAINTENANT!)
  2. Le sujet pourrait être trop complexe pour que vous puissiez le comprendre.

J'essaierais de poser des questions aux autres sur le contenu du reste de l'article pour voir si quelqu'un comprend quelque chose. Trouvez des spécialistes dans ce domaine de recherche.

Les auteurs n'ont pas compris la définition de "révisions majeures", renvoyez-les pour des révisions plus importantes.

Si vous laissez passer les ordures, vous ne le ferez jamais par respecté scientifiquement.

Cela ressemble à une recommandation pour trouver une excuse pour rejeter l'article, au lieu d'exprimer les véritables préoccupations du PO.
Dragan Juric
2017-12-11 23:06:55 UTC
view on stackexchange narkive permalink

Étant donné que l'article décrit l'algorithme, par définition, l'auteur ne le cache pas ... alors pourquoi ne pas simplement demander à l'auteur de vous envoyer le code source, pas les binaires, mais la source réelle, que vous pouvez construire , exécutez, et créez ainsi les données vous-même?

La source doit inclure non seulement son algorithme, mais également tous les autres algorithmes qui ont été utilisés dans l'article à des fins de comparaison.

Ensuite, comparez les données vous l'avez obtenu en exécutant son code avec les données du papier et voyez s'il y a des différences.

OMI cela devrait être une norme pour tout article sur les algorithmes - soumettez le code source que n'importe qui peut construire et exécuter le prouver.

Vous pouvez également mettre en place un standard concernant ce qui est autorisé ou non dans le source, afin que vous (ou n'importe qui d'autre) puissiez facilement le construire sans avoir besoin de bibliothèques propriétaires. Par exemple, "VS 2017 Community Edition - C ++ ou C #" ou Python ou Java couvrira probablement 99% de ces cas.

mathreadler
2017-12-09 06:48:30 UTC
view on stackexchange narkive permalink

C'est pourquoi nous avons des exigences de reproductibilité en science. Tout ce qui a été mesuré doit être vérifiable indépendamment par d'autres. Encore et encore et encore ...

Mais si les revendications ne sont acceptées pour publication nulle part, la communauté ne saura même pas ce qu'il faut essayer de vérifier ou de réfuter. Imaginez le papier de Mickelson-Morleys de la mesure de la vitesse de la lumière refusée partout par exemple. Ce ne serait clairement pas bon.

@dan1111 pourquoi deviner quand vous pouvez lire ce qui est écrit à la place?
Désolé, c'est un langage familier américain, je ne devine pas vraiment.Ce que je veux dire, c'est que la conclusion logique de votre réponse semble être que l'examen par les pairs ne devrait pas du tout exister.Si une expérience falsifiée n'est pas une raison pour empêcher la publication, quelle raison pourrait-il y avoir?
L'incrédulité à l'égard des données est une chose.Cette donnée acquise semble étrange peut être pour de nombreuses raisons différentes.Peut-être qu'ils ont mal utilisé l'équipement, peut-être qu'ils ont utilisé le mauvais équipement.Peut-être n'ont-ils pas décrit ce qu'ils ont réellement fait dans les expériences. Mais il est parfaitement possible d'obtenir des résultats surprenants sans avoir rien fait de mal.Supposer que la mauvaise foi est rarement une voie à suivre dans un sens quelconque ...
Je suis d'accord, et j'ai littéralement commencé ma réponse par «présumer de la bonne foi» dans la première phrase.Mais je pense qu'ils doivent sauvegarder les données étranges avec des preuves avant qu'elles ne soient publiées.S'ils peuvent documenter entièrement comment ils ont obtenu leurs résultats, alors oui, qu'ils soient publiés même si les résultats sont difficiles à expliquer.Mais votre réponse semble impliquer qu'elle devrait simplement être acceptée pour publication sans autre vérification.
Votre soif de "semblant-impliquer" ne me donnerait pas envie de vous avoir comme critique, c'est sûr.
Le PO demande "que dois-je faire en tant que critique?"et vous répondez "le travail doit être publié pour que d'autres puissent le vérifier" (sans le qualifier d'aucune façon).Quelle conclusion est-on censé en tirer?
@mathreadler C'est Stack Exchange, pas la science.Nous sommes intéressés à répondre à la question en haut de la page, et non à discuter de la façon dont la science devrait être faite.
La reproductibilité et la vérification nécessitent un article publié pour expliquer adéquatement comment les résultats ont été générés, ce qui est * précisément * ce que je préconise ici.


Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 3.0 sous laquelle il est distribué.
Loading...