Si les auteurs ont fourni un lien vers leur code comme référence, alors il est approprié de proposer des commentaires, en particulier si l'article est basé sur le code.

Cependant, je recommanderais de faire la critique constructif: proposez des suggestions concrètes sur la façon de l'améliorer plutôt que de simplement dire que c'est «salissant» ou «bâclé» et qu'il doit être «nettoyé».

Le code entre dans le cadre de la révision, et il convient de l'examiner et de proposer des suggestions constructives par rapport à ses lacunes. Maintenant, gardez à l'esprit qu'il incombe à l'auteur de satisfaire les critiques de leur argument, et si l'argument dépend d'un code informatique qui est si compliqué qu'il est illisible, il ne vous incombe pas de résoudre ce problème pour eux. Dans ce cas, les conseils constructifs pourraient se limiter à expliquer pourquoi ils sont actuellement trop difficiles à lire (c.-à-d. Manque d'indentation, noms de variables peu clairs, etc.), ce qui pourrait raisonnablement conduire à une recommandation de révision et de soumission à nouveau. Essayez d'être clair et complet en décrivant les raisons pour lesquelles le code est actuellement difficile à lire, afin que les re-soumissions ultérieures soient à la hauteur.

La meilleure chose à faire dans ces cas est de traiter le code informatique comme la prose dans le papier. Tout comme pour la prose, le code informatique doit être clair et intelligible par rapport aux normes de codage. S'il est désordonné et inintelligible, il doit être révisé jusqu'à ce qu'il soit clair. Les critiques n'hésitent pas à rejeter des articles lorsque la prose est inintelligible, il est donc parfaitement raisonnable de demander que le code informatique soit rendu intelligible.

Oui, vous devriez commenter et peut-être plus.

Vous l'avez dit vous-même:

Beaucoup de résultats dans l'article dépendent fortement des calculs informatiques.

Eh bien, le code du programme pour les calculs fait donc partie du travail que vous passez en revue. Si le texte du document était difficile à lire, ne considérez-vous pas cela comme une faiblesse? Logiquement, donc, la même chose est vraie pour le code (même si c'est dans une moindre mesure).

De plus, si le code vous est illisible - peut-être qu'il contient des erreurs, malgré le son mathématique sous. Et enfin, si vous pouvez dire quels devraient être les résultats sans le code, alors pourquoi même avoir le code?

Donc, si vous sentez que le désordre n'empêche pas "d'analyser" le papier, commentez-le (et peut-être, le cas échéant, rétrograder de Strong Accept à Weak Accept, bien que ce soit peut-être trop sévère - cela dépend des détails.)

Si vous avez besoin de lire le code pour obtenir les résultats, et vous ne peut pas, alors c'est un problème plus grave. Mais avant de dire quelque chose comme «Nécessite une révision», consultez le rédacteur en chef de la revue / le président du comité de programme / etc.

_{Remarque: je suis informaticien, donc ma réponse pourrait être quelque peu biaisée. D'un autre côté, j'ai écrit un article de pure théorie sans code.}

Le code malpropre affecte la reproductibilité

Vous avez essayé de reproduire leurs résultats avec le code lié, mais vous n’êtes pas parvenu à le faire. Alors que vous sous-entendez que vous avez finalement pu développer votre propre code et reproduire les résultats, je soutiens que du code mal écrit affecte la reproductibilité. En programmation informatique, cela peut être encore plus important, car les langages de programmation n'ont pas nécessairement une très longue vie. Qui sait si le magma ou toute autre langue sera de notoriété publique dans 50 ans.

À long terme, la reproductibilité est la partie la plus importante de l'effort scientifique. La preuve que faire a aboutit à b , un fait qui peut être ré-prouvé par quiconque souhaite essayer, est un élément de base axiomatique sur lequel d'autres résultats scientifiques peuvent reposer.

Si la reproductibilité est importante, alors il n'y a rien de mal à leur dire de nettoyer leur code. Franchement, si leur code est aussi mauvais que vous le décrivez, il semble que les auteurs auront du mal à comprendre leur propre travail pour y revenir dans quelques années. Dans ce cas, en les forçant à apprendre un peu à écrire du bon code, vous leur rendriez service.

Permettez-moi d’aborder brièvement un aspect qui n’apparaît pas dans les réponses existantes.

Ma question est la suivante: est-il raisonnable que je dise aux auteurs que leur code est inutilement difficile à comprendre et devrait être amélioré?

Oui , vous devriez commenter le code, mais pas seulement cela: convaincre les auteurs que c'est en eux-mêmes -intérêt pour résoudre ces problèmes.

Le code lisible est un code facile à réutiliser. Le code réutilisable est un code qui facilite l'exploration des mathématiques présentées dans l'article. Les mathématiques explorables sont plus susceptibles d'avoir des lecteurs qui trouvent des extensions intéressantes. Des extensions intéressantes sont publiées, et ces publications citent le code original - et, en outre, fournissent certaines des citations les plus précieuses.

Rendre votre code lisible et réutilisable ne garantit pas que cela se produira, mais si vous publier du code illisible, vous mettez en place une barrière artificielle devant un lecteur qui pourrait ou non poursuivre ses recherches en fonction de votre travail, et s'il y a suffisamment de telles barrières, ce lecteur se tournera simplement ailleurs. Rendre le code lisible est un investissement de temps modeste qui se traduit par une grande amélioration de l'extensibilité du travail.

Cette mise en place de barrières, bien sûr, n'est pas propre au code: pas clair les chiffres, la structure enchevêtrée, la grammaire désordonnée, les lemmes manquants et toutes sortes d'autres problèmes peuvent créer des barrières similaires, et votre travail en tant que réviseur consiste à les signaler et à aider les auteurs à s'en débarrasser. Le code n'est pas différent - aidez-les à l'améliorer!

Je ne suis pas dans le milieu universitaire ou un critique d'articles / articles à ce niveau (adjoint à l'école de technologie), mais je note beaucoup de devoirs de programmation et des exemples de documents techniques étranges, et je fais du développement de logiciels pour payer réellement les factures.

Si le papier dépendait de la sortie du code généré, alors le code doit être lisible et compréhensible - sinon, le code peut ne pas faire ce que l'auteur pense faire et il est impossible pour les autres de confirmer w / o leur propre réimplémentation. Si une telle réimplémentation est relativement triviale, il semble que le code réel n'est pas important, et je me demande donc pourquoi du code cassé pour quelque chose de facile à implémenter en fonction des spécifications serait inclus ou référencé dans un article scientifique.

Étant donné que vous avez pu vérifier en utilisant votre propre implémentation de code de son ou ses algorithmes, je ne pense pas que ce soit le cas, mais cela devrait être pris en considération. Tout IDE décent ou même éditeur de texte avancé devrait être capable de formater automatiquement le code et d'effectuer une recherche / remplacement à l'échelle du projet (refactoring). Un peu pointe vers la pure paresse ....

Les auteurs fournissent un lien dans l'article , donc le code est soit considéré comme une référence, soit comme faisant partie de la recherche. Quelle que soit la situation, cela soulève des questions:

1. Le code est-il archivé? Les moyens pratiques d'archiver le code incluent Zenodo ou figshare. Le code sur une page d'accueil est aussi bon que pas de code du tout.
2. Y a-t-il une licence pour le code? Sinon, son statut n'est pas du tout évident.

En tant que réviseur, c'est à vous de décider quoi faire. Les actions possibles incluent:

1. Ne pas commenter le code.
2. Commenter le code avec ce que j'appellerais le minimum: exiger que le code soit archivé et autorisé correctement .
3. En fonction de l'importance du programme informatique dans la recherche, exiger un minimum de lisibilité et que l'auteur fournisse des tests sur le programme (c'est-à-dire que le programme fournit des réponses analytiques connues si certains jeux de paramètres le permettent

Concernant l'archivage, vous pouvez vous référer aux informations éditoriales du Journal of Open Research Software.

Je suis ingénieur logiciel et je souhaite répondre à la question sous cet angle. La plupart du code n'est pas lisible en soi. Vous avez besoin d'un commentaire pour documenter les structures de données et les spécifications des appels de sous-programmes. Les universitaires ne sont pas des ingénieurs en logiciel et je ne m'attends pas à ce qu'ils fassent un travail professionnel à cet égard. Pourtant, c'est certainement pour commenter la qualité du logiciel. Sans regarder le code réel, je ne suis pas sûr de pouvoir dire qu'il est illisible, car l'article (qui est selon le témoignage, suffisant pour reproduire le code) doit être considéré comme faisant partie de la documentation du programme. Si le programme utilise des noms courts, qui sont les mêmes que dans le papier, ce n'est pas un problème. Une indentation manquante n'est pas une indication de mauvaise qualité, mais de nombreux niveaux d'indentation le sont. Je vous suggère d'exprimer votre sentiment que vous avez du mal à lire, mais que vous n'êtes pas non plus un expert en code, et peut-être demander à un ingénieur logiciel de l'examiner. C'est un ensemble de compétences différent que vous connaissez. Cela devrait atténuer le commentaire.

Pour couronner le tout: j'ai fait un bon travail de nettoyage du code, que je ne comprenais pas au niveau de l'objectif. Vous serez surpris de ce dont un expert dans un domaine différent est capable.

En fin de compte, le code n'est pas essentiel, la qualité du code est accessoire et cela ne devrait pas affecter votre décision de toute façon.

Je crois comprendre que les auteurs ne soumettent pas le code pour publication, le code ne semble donc pas être soumis à votre examen. Les auteurs donnent juste un lien vers leur code. Cela soulève une question: s'ils venaient de fournir une référence à leur travail publié ailleurs, auriez-vous envisagé de leur dire que ce travail devrait être amélioré? On peut affirmer que la validité de leurs résultats dépend de l'exactitude de leur code, mais ils pourraient choisir de ne pas donner du tout accès au code, car «les mathématiques sous-jacentes à ces calculs sont suffisamment bien expliquées pour qu'il soit possible de reproduire les résultats sans en utilisant le code des auteurs ". En tant que critique, vous avez pris la peine de vérifier les résultats de leur calcul, allant ainsi au-delà de votre devoir, mais cela signifie que leurs résultats sont effectivement reproductibles.

Je pense donc que vous pouvez mentionner que leur code est moche (bien qu'apparemment correct), mais cela ne devrait pas affecter votre recommandation de publier / ne pas publier l'article.

Je n'ai connaissance d'aucune revue scientifique qui fonde ses décisions sur le code. Que ce soit en désordre ou non, ce n'est pas une préoccupation concernant le journal. Le fait qu'il devrait être reproductible devrait être un problème, mais je ne suis au courant d'aucune revue qui en fasse un critère, à l'exception de certaines initiatives pour certaines communautés, par exemple NIPS, CVPR. À mon avis, c'est déjà un bonus qu'ils aient choisi de le libérer (et dans certains cas, les gens ne sont même pas autorisés à les libérer en raison des règles de leur organisation). Si vous prétendez que le code n'est pas correct ou ne fait pas ce qu'il est censé faire, il se peut que ce soit une autre histoire, mais vous devez le justifier. Si vous voulez seulement faire un commentaire sur la négligence du code, je pense que vous devriez clarifier votre commentaire et souligner que cela n'affecte pas la revue globale, je suis d'accord avec un commentaire fait plus tôt "convaincre les auteurs que c'est dans leur l'intérêt personnel de résoudre ces problèmes. " Faites simplement savoir que votre commentaire sur le code n'est pas lié à la révision de l'article. De plus, veuillez ne pas décourager les personnes qui publient leur code même s'il est "désordonné".