Pourquoi les chercheurs hésitent-ils à partager leur code: D'après mon expérience, il existe deux raisons courantes pour lesquelles certains / de nombreux chercheurs ne partagent pas leur code.

Premièrement, le le code peut donner aux chercheurs un avantage important pour les travaux de suivi. Cela peut les aider à avoir une longueur d'avance sur les autres chercheurs et à publier plus rapidement les recherches de suivi. Si les chercheurs ont l'intention de faire des recherches de suivi, garder leur code secret leur donne un avantage concurrentiel et les aide à éviter d'être récupérés par quelqu'un d'autre. (Cela peut être bon ou mauvais; je ne prends pas position là-dessus.)

Deuxièmement, beaucoup de code de recherche est, eh bien, de qualité recherche. Les chercheurs ont probablement pensé que c'était assez bon pour tester les hypothèses de l'article, mais c'est tout. Il peut avoir de nombreux problèmes connus; il peut ne pas avoir de documentation; il peut être difficile à utiliser; il peut se compiler sur une seule plate-forme; et ainsi de suite. Tous ces éléments peuvent compliquer l'utilisation par quelqu'un d'autre. Ou, cela peut prendre beaucoup de travail pour expliquer à quelqu'un d'autre comment utiliser le code. En outre, le code peut être un prototype, mais pas de qualité de production. Il n'est pas inhabituel de prendre des raccourcis lors du codage: des raccourcis qui n'affectent pas les résultats de la recherche et conviennent dans le contexte d'un document de recherche, mais qui seraient inacceptables pour un code de qualité de production déployé. Certaines personnes sont perfectionnistes et n'aiment pas l'idée de partager du code avec des faiblesses connues ou où ils ont pris des raccourcis; ils ne veulent pas être gênés quand les autres voient le code.

La deuxième raison est probablement la plus importante; c'est très courant.

Comment aborder les chercheurs : ma suggestion est de recentrer vos interactions avec ces chercheurs. Quels sont vos vrais objectifs? Vos vrais objectifs sont de mieux comprendre leurs algorithmes. Alors, partez de cette perspective et agissez en conséquence. S'il y a des parties de l'article qui sont difficiles à suivre ou ambiguës, commencez par lire et relire leur article, pour voir s'il y a des détails que vous avez peut-être manqués. Réfléchissez bien à la façon de combler les lacunes manquantes. Faites un effort sérieux par vous-même, d'abord.

Si vous êtes au niveau de la recherche et que vous avez fait un effort sérieux pour comprendre, et que vous ne comprenez toujours pas ... envoyez un courriel aux auteurs et demandez-leur des éclaircissements sur le (s) point (s) spécifique (s) que vous pensez ne pas être clair. Ne dérangez pas inutilement les auteurs - mais si vous vous intéressez à leur travail et que vous avez une bonne question, de nombreux auteurs seront heureux de répondre. Ils sont simplement reconnaissants que quelqu'un lise leurs articles et s'intéresse suffisamment à leur travail pour étudier attentivement leur travail et poser des questions pertinentes.

Mais assurez-vous de poser de bonnes questions. Ne soyez pas paresseux et demandez aux auteurs d'éclaircir quelque chose que vous auriez pu découvrir par vous-même avec plus de réflexion. Les auteurs peuvent le sentir et vous considéreront comme un ravageur, pas comme un collègue apprécié.

Très important: Veuillez comprendre que ma réponse expliquant pourquoi les chercheurs ne partagent pas leur code est conçu comme une réponse descriptive , pas une réponse prescriptive . Je ne porte absolument aucun jugement sur la question de savoir si leurs raisons sont bonnes ou si les chercheurs ont raison (ou tort) de penser de cette façon. Je ne prends pas position sur la question de savoir si les chercheurs devraient partager leur code ou non; Je décris simplement comment certains chercheurs se comportent . Ce qu'ils devraient faire, c'est une boule de cire complètement différente.

L'affiche originale a demandé de l'aide pour comprendre pourquoi de nombreux chercheurs ne partagent pas leur code, et c'est ce à quoi je réponds. Les arguments pour savoir si ces raisons sont bonnes sont subjectifs et hors sujet pour cette question; si vous voulez avoir ce débat, postez une question distincte.

Et s'il vous plaît, je vous exhorte à utiliser un peu d'empathie ici. Que vous pensiez que les chercheurs ont raison ou tort de ne pas partager leur code dans ces circonstances, sachez que de nombreux chercheurs ont ont des raisons qui leur semblent valables et appropriées. Essayez de comprendre leur état d'esprit avant de les critiquer par réflexe. Je n'essaie pas de dire que leurs raisons sont nécessairement bonnes et bonnes pour le terrain. Je dis simplement que, si vous voulez persuader les gens de changer leurs pratiques, il est important de comprendre d'abord les motivations et les forces structurelles qui ont influencé leurs actions actuelles, avant de vous lancer dans une tentative de les inciter à agir différemment.

Annexe: Je souscris définitivement à la recommandation de Jan Gorzny de lire l'article dans SIAM News qu'il cite. C'est informatif.

Stephen, j'ai exactement la même expérience que vous, et mon explication est que le rapport avantages / coûts est trop faible.

Emballer un logiciel, afin qu'il puisse être utilisé par un autre personne, est difficile - souvent encore plus difficile que de l'écrire en premier lieu. Cela nécessite, entre autres:

• d'écrire de la documentation et des instructions d'installation,
• de s'assurer que le code est exécutable sur une variété d'ordinateurs et de systèmes d'exploitation (je code sur Ubuntu, mais vous pouvez coder sur Windows, donc je dois obtenir une machine virtuelle Windows pour m'assurer qu'elle fonctionne là aussi),
• répondant aux questions de maintenance du formulaire "pourquoi j'obtiens ceci et cette erreur de compilation lorsque je compile votre programme sur la nouvelle version d'Ubuntu "(allez comprendre. Peut-être que la nouvelle version d'Ubuntu a abandonné une bibliothèque requise par le code? qui sait).
• prendre soin des dépendances tierces (mon code peut fonctionner très bien, mais cela dépend d'un fichier jar tiers dont l'auteur a décidé de supprimer du Web).

De plus, je devrais être disponible pour répondre aux questions et corriger les bogues, plusieurs années après diplômé, quand je travaille déjà à plein temps ailleurs et que j'ai de jeunes enfants.

Et tout cela, sans recevoir de paiement spécial ni de crédit académique pour tous ces efforts.

Une solution possible à laquelle j'ai récemment pensé est de créer une nouvelle revue, Journal of Reproductible Computer Science , qui n'acceptera que les publications dont les expériences peuvent être répétées facilement. Voici quelques-unes de mes réflexions sur un tel journal:

Les articles soumis doivent avoir une section reproduction détaillée, avec (au moins) les sous-sections suivantes: - pre -requisites - quels systèmes, logiciels tiers, etc., sont nécessaires pour répéter l'expérience; - instructions - des instructions détaillées sur la façon de répéter l'expérience. - licences - licence open source ou open source, mais doit permettre une utilisation gratuite à des fins de recherche.

Le processus de révision nécessite que chacun des 3 évaluateurs différents, d'horizons différents, passe par cette section, en utilisant différents ordinateurs et systèmes d'exploitation.

Après le processus de révision, si l'article est accepté pour publication, il y aura une autre étape de pré-publication , qui durera un an. Au cours de cette étape, l'article sera disponible pour tous les lecteurs, et ils auront la possibilité de répéter l'expérience et également de contacter l'auteur en cas de problème. Ce n'est qu'après cette année que l'article sera enfin publié.

Cette revue permettra aux chercheurs d'obtenir le crédit pour le travail difficile et important de rendre leur code utilisable par d'autres.

EDIT: Je vois maintenant que quelqu'un y a déjà pensé! https://www.scienceexchange.com/reproducibility

"Science Exchange, PLOS ONE, figshare et Mendeley ont lancé l'Initiative de reproductibilité pour résoudre ce problème. Il est temps de commencer récompenser les personnes qui prennent le temps supplémentaire pour faire le travail le plus soigné et reproductible. Les incitations académiques actuelles mettent l'accent sur la nouveauté, ce qui se fait au détriment de la rigueur. Les études soumises à l'Initiative rejoignent un pool de recherche, qui sera reproduit de manière sélective au fur et à mesure que le financement devient disponible. L'Initiative fonctionne sur une base opt-in parce que nous pensons que le consensus scientifique sur le travail le plus solide, par opposition au travail simplement le plus cité, est un signal précieux pour aider à identifier des résultats reproductibles de haute qualité qui peuvent être fiables construit pour faire progresser la compréhension scientifique. "

Cet article de SIAM News met en lumière la première question, il vaut donc peut-être la peine d'y jeter un coup d'œil. Il explique, pour un public mathématique, pourquoi les chercheurs devraient publier leur code source, et énumère de nombreuses raisons pour lesquelles vous pourriez entendre pourquoi les chercheurs ne partagent pas leur code source. Il le fait par une analogie intelligente, une analogie qui compare le partage de preuves mathématiques au partage de code source. Regarde; il contient une liste assez longue de raisons pour lesquelles les chercheurs pourraient préférer ne pas partager leur code source (ainsi que certaines réponses affirmant que ces raisons ne sont pas bonnes).

Voici une citation:

Les dix principales raisons de ne pas partager votre code (et pourquoi vous devriez quand même le faire). Randall J. LeVeque. SIAM News, 1er avril 2013.

Dans le partage de code, il y a plusieurs problèmes:

• Le premier problème est le droit d'auteur, car certaines recherches / projets de CS sont financés par certains industriels / organismes de financement qui découragent le partage des informations sensibles telles que des algorithmes, du code ou des logiciels lors de la publication dans des périodiques publics.

• En effet, il existe des articles basés sur certaines données (collectées à partir de l'exécution de code) qui sont malheureusement modifiés manuellement par les auteurs. S'ils partagent le code, attraper leur erreur / erreur / modifications devient très facile, ce qui entraîne un échec de leur MS / PhD ou de leur projet de recherche, ce qui n'est pas souhaitable.

• Dans la recherche CS et en particulier la publication, le développement de code, en particulier un code long et complexe, est une tâche non triviale et, dans la plupart des cas, est considéré comme un actif générateur de monnaie et de papier. En partageant le code avec le public, ils dévoilent des faits très détaillés qui risquent de dégrader leur contribution aux recherches futures. De plus, ils ne sont peut-être pas les seuls à pouvoir régénérer l'article et à faire honneur à cette recherche et à ce code. Dans la plupart des cas, les étudiants en master choisissent un algorithme ou une méthode, le modifient légèrement et soumettent une thèse et un article basés sur celui-ci, qui peuvent contredire les conclusions et les affirmations du premier auteur. Souvenez-vous de Thoma Herdon, un étudiant diplômé qui a critiqué les conclusions de deux éminents économistes de l'université de Harvard ( ici est le lien). Si les codes dans CS sont révélés, les conséquences sont probablement catastrophiques (ce ne sera peut-être pas trop de cas, mais si cela se produit, ce sera catastrophique).

• Les codes sont une propriété vitale pour la plupart des chercheurs pour mener des expériences et des recherches. Si vous avez un code, vous pouvez simplement jouer avec et le modifier pour générer un nouvel ensemble de résultats qui pourraient être plus précieux que les résultats initiaux. Sans avoir la paternité de l'auteur initial, il n'y a aucun crédit pour eux.

Cependant, Elsevier a récemment introduit une nouvelle fonctionnalité utilisant COLLAGE appelée Executable Papers qui est actuellement disponible pour la revue Computers & Graphics grâce à laquelle les codes et les données sont disponibles et les chercheurs peuvent modifier le code et les valeurs d'entrée pour jouer avec.

J'espère que cela vous aidera.

Je ne suis pas un chercheur CS en soi, mais j'écris du code Android pour mes recherches en physique atmosphérique, donc mon point de vue est quelque peu limité. Cependant, je peux dire d'après ma propre expérience qu'une grande partie du code que je développe et teste fait partie d'un projet plus vaste que l'équipe dont je fais partie est en train de développer. C'est un mélange de règles auxquelles je suis lié et de la nécessité de garder une partie du code secrète pour le moment.