Publiez simplement. Publiez vos tentatives pour reproduire les résultats, en documentant les écarts, ainsi que les bons résultats que vous avez obtenus en étendant leur travail. Pensez à envoyer un brouillon aux auteurs originaux pour leurs commentaires.

La publication de résultats qui contredisent les publications précédentes peut être gênante, mais si vous pouvez montrer que votre méthode est correcte au-delà de tout doute raisonnable, cela ne devrait pas poser de problème. Aucun code n'est garanti sans erreur et aucun résultat n'est garanti juste parce qu'il est publié.

Vous ne parlez pas beaucoup de la nature de vos calculs / méthodes, mais avez-vous des cas de test pour lesquels des solutions analytiques sont connues ou peuvent être dérivées? Si vous pouvez montrer que votre code reproduit ces résultats, alors vous pouvez faire valoir que les résultats de votre code pour le problème spécifique en question doivent être fiables.

Idéalement, si vous avez un tel cas de test, vous pourrait demander aux autres auteurs de l'exécuter avec leur propre code, et voir s'ils produisent également des résultats corrects. Ils peuvent ne pas vouloir, mais c'est leur problème, pas le vôtre.

En résumé, si vous allez à des longueurs raisonnables dans votre article pour démontrer l'exactitude de votre code / méthode par rapport aux solutions analytiques connues, vous ne devriez pas ' t être trop inquiet de ne pas correspondre aux résultats des autres. Au moins, ce serait mon opinion en tant qu'arbitre.

(Clause de non-responsabilité: je n'ai aucune expérience personnelle d'une telle situation, donc je ne fais que faire preuve de bon sens. Cela dit ...)

Cela ressemble à vous avez déjà pris toutes les mesures raisonnables pour découvrir la source de l'écart, et il ne vous reste plus qu'un «écart inexpliqué» entre vos résultats et les leurs. Vous dites également que l'écart n'affecte en rien les conclusions qualitatives tirées des résultats.

À ce stade, si j'étais à votre place, je publierais simplement vos résultats détaillés, et notez brièvement l'écart lorsque vous comparez vos résultats avec des travaux antérieurs. Tant que vous êtes raisonnablement certain que vos résultats sont corrects (jusqu'aux limites attendues de la précision numérique), vous ne pouvez pas vraiment vous attendre à pouvoir expliquer toute inexactitude dans les résultats d'autres personnes. Bien sûr, vous devez absolument vous assurer que d'autres peuvent facilement reproduire vos résultats et vérifier l'exactitude des méthodes que vous avez utilisées pour les obtenir, par exemple en rendant votre logiciel disponible gratuitement.

Si vous pensez vraiment que le simple fait de documenter l'écart entre les deux ensembles de résultats serait publiable seul, le faire et ensuite citer cette publication dans votre article principal pourrait également être une option. En général, cependant, je m'attendrais à ce que cela ne soit pratique que si les valeurs quantitatives précises en litige sont réellement importantes pour les autres personnes travaillant dans votre domaine.

Je me méfierais beaucoup de la publication et en tant que critique, je me méfierais de recommander la publication. La différence inexplicable dans les résultats laisse entrevoir une erreur. Cette erreur est la vôtre ou la leur. Je voudrais être sûr que c'est leur erreur avant de publier. Même si vous ne pouvez pas comparer les deux méthodes directement, vous pouvez toujours publier votre méthode indépendamment en montrant qu'elle donne la réponse «correcte» dans une batterie de cas de test, puis en notant qu'elle donne une réponse différente dans le cas non testable.

Vous pouvez alors vous référer à ce papier lorsque vous publiez le vrai travail. L'avantage est que cela supprime le besoin de diluer le message du vrai papier avec les détails de la méthode. Un deuxième avantage est que les auteurs originaux peuvent exécuter le testeur avec leur méthode. Cela est particulièrement vrai si vous les appelez dans un brouillon antérieur et leur envoyez une copie avant la soumission. Vous pouvez également les demander en tant que réviseurs.

Une stratégie différente pourrait être une visite en laboratoire (physique ou virtuelle) pour utiliser leur logiciel sur votre batterie de test.

Pouvez-vous / êtes-vous prêt à jeter un os?

Cela pourrait valoir la peine de discuter de leur participation en tant qu'auteur à l'article. Peut-être pouvez-vous conclure un accord pour obtenir ce que vous voulez (avoir accès à leurs logiciels, résultats, etc.) en échange de leur inclusion dans vos publications et d'un certain niveau de collaboration. Vous pourriez être surpris d'être honnête à ce sujet et d'en parler ouvertement pourrait fonctionner! Mes deux meilleurs articles à ce jour viennent de faire exactement cela et ensuite de développer des relations de travail avec des personnes qui n'étaient pas à venir. Après cela, nous avons publié ensemble deux articles supplémentaires. Qui sait, vous pourriez finir par collaborer et faire des choses plus grandes et meilleures ensemble si cela fonctionne. Je voudrais essayer avant de décider de simplement publier les résultats comme vous l'avez décrit.

Toutes les publications dans les revues scientifiques doivent être reproductibles et exactes. Il est très important d'examiner les résultats des autres. Les auteurs originaux obtiennent beaucoup de crédit si un chercheur indépendant vérifie leur théorie ou leur modèle.

Presque toutes les revues ont une section intitulée Commentaire, * Lettres * ou Lettre à l'éditeur. Voici quelques liens vers ces colonnes:

• Commentaire dans IEEE Trans. Antennes. Prop. Un commentaire sur «Élévation conjointe et radiogoniométrie azimutale utilisant un tableau en forme de L»

• Lettres dans PNAS Composition du génome, caste et évolution moléculaire chez les insectes eusociaux

• Correspondance dans la nature Répondre à «Mesure de la mobilité dans les transistors MoS2 à double ouverture

  Vous pouvez envoyer vos découvertes au même journal et expliquer toutes vos découvertes. Ensuite, les éditeurs envoient vos commentaires aux auteurs, et ils doivent fournir une réponse appropriée à la revue.

Bien sûr, c'est délicat et vous devez être prudent. Si vous pensez que tout est précis dans votre code, commenter le papier est une option.

Je voudrais ajouter un point qui n’a pas encore été mentionné. Cela peut ou non être applicable à votre situation, mais cela peut être dans le cas général. Vous mentionnez que les résultats des simulations numériques ne concordent pas. Par conséquent, je suggère:

Si deux modèles ne peuvent pas être mis d'accord, il est temps de faire des mesures.

En fait, c'est une bonne idée même s'ils sont d'accord, mais si vous pouvez faire des mesures, vous pourrez confirmer qu'au moins l'un des modèles est incorrect au moins pour la situation spécifique de la mesure.

Bien sûr, ce n'est pas le cas toujours possible.

Je suis d'accord avec d'autres qui ont suggéré que la publication des nouveaux résultats était OK. Mentionnez qu'il y a une différence avec l'ancienne méthode mais qu'elle n'est pas qualitativement différente.

De nombreuses revues ont pour politique de demander un commentaire / réplique à l'auteur de toute étude dont le travail contredit directement. Si les rédacteurs pensent que votre commentaire dans l'article est admissible, vous pourriez enfin obtenir la réponse que vous recherchez.

Mais je vous invite également à réfléchir sérieusement à ce que vous voulez mettre en jeu pour cela divergence et combien de temps vous voulez y consacrer. Il semble que les résultats soient qualitativement les mêmes. Si vous finissez par être correct à 100% sur tout, la contribution d'un article qui ne parle que de la différence sera une estimation légèrement meilleure. Dans certaines situations, cela peut valoir beaucoup. Dans beaucoup d'autres, cela ne compte pas beaucoup. Vous saurez à quel point c'est important pour votre domaine.

Une fois, j'ai trouvé un petit problème méthodologique dans un article lors de ma deuxième année d'études supérieures. J'ai posé une question similaire à la vôtre à un professeur qui m'a demandé si l'erreur méthodologique était susceptible de modifier le résultat ou d'invalider les principales conclusions. Quand j'ai dit que c'était très improbable, il m'a dit que ce n'était probablement pas la meilleure utilisation de mon temps pour travailler beaucoup sur une réplique.

C'est difficile. Je pense que vous devriez dire quelque chose. Une note dans le papier suffit probablement. Pour ce genre de choses, je pense qu'une note de recherche sur Arxiv que vous pouvez citer pourrait être une alternative.