Question:
Pourquoi les chercheurs ne publient-ils pas les expériences qui ont échoué?
user107
2012-03-15 10:01:05 UTC
view on stackexchange narkive permalink

Ce qui suit pourrait être une légère généralisation pour tous les domaines, mais quelque chose que j'ai remarqué en particulier dans le domaine du calcul scientifique:

  1. Pourquoi les gens ne publient-ils pas les échecs? Je veux dire, s'ils ont essayé une expérience et réalisé à la fin qu'ils ont tout essayé et que rien n'a fonctionné. Pourquoi ne publient-ils pas ça? Est-ce parce qu'un tel contenu ne sera pas publié ou est-ce parce qu'il est honteux d'avoir une expérience ratée dans un journal aux côtés d'articles primés?

  2. J'ai dépensé une meilleure partie d'un an à travailler sur, à quoi ressemble maintenant, un problème mort. Cependant, la plupart des articles que j'ai lus au départ vous ont amené au point d'être optimiste. Maintenant que j'ai relu les articles, je me rends compte que je peux dire (avec beaucoup de confiance) que l'auteur cache quelque chose. Par exemple, l'un des auteurs qui comparait deux systèmes, a donné une excellente base théorique, mais quand il a essayé de valider la théorie avec des expériences, il y avait d'horribles divergences dans les expériences (que je réalise maintenant). Si la théorie n'était pas satisfaite par les expériences, pourquoi ne pas la publier (en indiquant clairement les parties de la théorie qui ont fonctionné et celles qui n'ont pas fonctionné) et faire gagner du temps aux futurs chercheurs? Si ce n'est pas dans un journal, pourquoi pas ArXiv ou leurs propres sites Web?

c'est l'un des points de la science ouverte. Vous publiez des approches ayant échoué sur votre blog ou wiki. Je me souviens avoir lu il y a quelque temps, que les études échouées (c.-à-d. Que la drogue ne fait rien) étant non publiées devenaient un problème dans certaines parties de la recherche en médecine et maintenant les grandes études des NIH (je pense) doivent être enregistrées dans une base de données avant d'être menées et incluses. leurs résultats, qu'ils soient positifs ou non. Je ne me souviens malheureusement pas d'une source pour cela :(.
Belle liste Joel Reyes Noche. Cependant, parmi les 6 revues que vous avez mentionnées, les cinq premières se concentrent sur les articles aux résultats négatifs. Le dernier, le [Journal of Errology] (http://www.bioflukes.com/JoE) est axé sur la fourniture d'un support pour ces tentatives vaines inédites derrière chaque article publié qui sont généralement rejetés. Ceux-ci sont beaucoup plus courants que les autres articles, pour lesquels la plupart des chercheurs n'ont pas le temps de publier, car ils n'apportent aucun bénéfice pour leur carrière.
Je poste le reste du commentaire de Selvin ici (anciennement soumis en tant que réponse, mais converti car il ne répond pas à la question): "Cela me rappelle les pratiques d'Edison, où il a gardé une liste de toutes les choses qui n'ont pas fonctionné , ce qui l'a aidé plus tard d'une manière majeure. Imaginez faire 10 000 expériences différentes, sans suivre correctement chaque expérience. Ce sera un cauchemar. "
Ma thèse de recherche a été un résultat nul. L'article à ce sujet a plus de 80 citations. Mais c'est en physique des particules où fixer des limites à l'apparition d'un phénomène attendu est une chose très courante.
(J'ai posté ceci comme réponse mais j'ai été supprimé car ce n'est pas vraiment une réponse. Donc, poster comme commentaire) Partiellement inspiré par cette discussion et partiellement par ma propre expérience, nous, un groupe de chercheurs en science computationnelle, organisons un atelier intitulé "Recherche d'E-science conduisant à des résultats négatifs (ERREUR)". L'atelier se tiendra parallèlement à la conférence eScience 2015 à Munich, en Allemagne. Pour plus d'informations sur l'atelier, voir http://press3.mcs.anl.gov/errorworkshop.
Il est généralement possible de transformer un échec en positif. Par exemple, je suis au courant de deux cas où quelqu'un n'a pas réussi à faire xyz (comme il l'avait promis sur la proposition de subvention) mais beaucoup de réflexion + de travail acharné et ils ont réussi à en tirer un article sur la nature, sans aucune mention bien sûr. qu'ils ont raté la cible et ont accidentellement fait quelque chose de tout à fait différent.
J'ai toujours pensé que c'était parce que les universitaires ne faisaient jamais d'erreur.
J'espère que cette question n'est pas hors sujet mais: comment ces documents de recherche ne disparaissent-ils pas dans le vide? Si tout le monde publie environ 4 articles par an, cela ne signifie-t-il pas qu'il existe déjà des quantités incroyables d'articles sur lesquels vous pouvez baser / référencer votre propre article? Y a-t-il environ 10000 personnes acédémiques sur terre, de sorte que le cercle est assez petit? Ou est-ce quelque part une base de données centrée qui garde une trace de toutes les informations scientifiques disponibles sur terre? J'aimerais savoir comment avoir une vue d'ensemble des papiers existants, afin de ne pas «perdre» votre temps en refaisant la même chose
(Oui, je sais que cette "refonte" s'appelle "Preuve" mais ce n'est pas la question)
Huit réponses:
#1
+92
Joel Reyes Noche
2012-03-15 14:18:51 UTC
view on stackexchange narkive permalink

"Pourquoi les gens ne publient-ils pas les échecs?"

En fait, ils le font.

  1. Journal of Negative Results (écologie et évolutionniste biologie)
  2. Journal des résultats négatifs en biomédecine
  3. Journal des résultats pharmaceutiques négatifs
  4. Journal des résultats négatifs intéressants (traitement du langage naturel et apprentissage automatique)
  5. Journal des résultats négatifs en sciences de l'environnement (pas encore de problèmes?)
  6. Journal of Errology (pas encore de problèmes?)

et ainsi de suite ...

(Vous pouvez également section Résultats négatifs du Journal of Cerebral Blood Flow & Metabolism.)

ils le font, mais pas souvent, et pas dans les `` revues standard ''
Rares sont ces revues, voire aucune, qui ont reçu de nombreuses soumissions. Ceci est tragique car le manque de tentatives de réplication publiées est l'un des plus gros problèmes de la science (voir l'article classique d'Ioannidis, «Pourquoi la plupart des résultats de recherche publiés sont faux»). Des réformes sont nécessaires pour inciter davantage les scientifiques à réaliser et publier de telles études. Nous approchons les éditeurs d'un nouveau concept de revue dans lequel seul le plan d'étude (méthodes et plan d'analyse) pour une tentative de réplication serait revu (https://plus.google.com/113040210411045341720/posts/BB2BnpHi8Tw), puis publication garantie.
Au premier cycle, nous avons fantasmé sur la création du "American Journal of Failures and Missteps".
Je voudrais également ajouter que démystifier une idée théorique établie mérite d'être publiée, même dans une revue qui publie des résultats positifs. Et cela arrive (malheureusement pas assez souvent).
Il y a aussi une raison pratique: rédiger un * bon * article (même s'il est négatif) prend du temps et des efforts, ce que la plupart des chercheurs préfèrent dépenser autrement - par exemple pour obtenir des résultats * positifs * (peut-être dans l'espoir de les publier. dans des lieux plus prestigieux).
J'ai regardé http://jinr.site.uottawa.ca/ - c'est mort Jim!
#2
+49
Fomite
2012-03-15 11:53:00 UTC
view on stackexchange narkive permalink

Les résultats nuls sont difficiles à publier. Ils sont juste. Chose intéressante cependant, dans mon domaine, ils ne sont pas la chose la plus difficile à publier. L'ordre général est le suivant:

Des (grandes) études bien puissantes qui trouvent ce que les gens attendent
Des (petites) études peu puissantes qui trouvent ce que les gens attendent
Des études peu puissantes qui trouvent le contraire de ce que les gens résultats attendus ou nuls
Des études bien puissantes qui trouvent le contraire de ce que les gens attendent

Ces deux catégories du milieu sont celles où vous trouverez la plupart des «échecs», du moins en termes de recherche d'un effet statistiquement significatif. Cela étant dit, il y a une pression croissante pour voir ce type d'études publiées, car elles constituent une partie importante de la littérature, et plusieurs revues médicales ont fait des pas assez remarquables dans cette direction - par exemple, si elles acceptent un article sur le protocole pour un essai clinique à venir, ils s'engagent également à publier les résultats de l'essai (s'ils réussissent l'examen par les pairs) quel que soit le résultat.

En fin de compte, Je pense qu'il y a trois raisons pour lesquelles les résultats négatifs ne sont plus publiés au-delà de "c'est difficile":

  1. Manque de profit. Il faut du temps et de la réflexion pour faire entrer un article dans la littérature, et des efforts. Et de l'argent, en temps et en efforts. La plupart des découvertes / échecs nuls sont des impasses - ils ne seront pas utilisés pour de nouvelles propositions de subventions, ils ne seront pas là où vous vous faites un nom. Le mieux que vous puissiez espérer, c'est qu'ils soient cités plusieurs fois dans des commentaires ou des articles de méta-analyse. Alors, dans un univers de temps fini, pourquoi voudriez-vous davantage rechercher ces résultats?
  2. Manque de polissage. Le simple fait de trouver le résultat est une étape intermédiaire dans la publication des résultats, pas l'étape «et donc il apparaît dans une revue». Souvent, il est facile de dire quand quelque chose ne va pas bien avant d'être prêt pour la publication - ces projets ont tendance à être abandonnés. Ainsi, bien qu'il y ait des résultats "échoués", ce ne sont pas des résultats prêts pour la publication, même si nous nous soucions des échecs.
  3. De nombreux échecs sont d'ordre méthodologique. Cette conception d'étude ne peut pas vraiment répondre à la question que vous souhaitez poser. Vos données ne sont pas assez bonnes. Toute cette ligne de raisonnement est imparfaite. Il est vraiment difficile d’en faire un article.

Les articles qui réussissent peuvent être publiés sur leur propre succès - cela est intéressant. Les articles qui ont échoué ont le double fardeau d'être à la fois difficiles à publier et d'avoir échoué de manière intéressante.

Il n'est pas clair pour moi quel est l'ordre du plus difficile au moins difficile à publier dans votre liste?
@Stephanie Ils sont tous «Je ne peux pas être dérangé d'en faire un article», plutôt que des difficultés à soumettre, et donc probablement varier en fonction de votre motivation.
Cette partie "Etudes (grandes) bien puissantes qui trouvent ce à quoi les gens s'attendent.Etudes (petites) peu puissantes qui trouvent ce que les gens attendent.Etudes mal puissantes qui trouvent le contraire de ce à quoi les gens s'attendent ou résultats nuls.Etudes bien alimentées qui trouvent le contraire de ce que les gens attendent" Non numéroté bit
@Stephanie Ah, cela a plus de sens. Ils sont classés par ordre de difficulté, du moins au plus difficile à publier, bien que cela puisse être spécifique au domaine et basé sur une diapositive que j'ai vue une fois dans une présentation.
J'aime cette réponse le plus car elle répond réellement à la question Rien ne vous empêche de publier un échec, mais cela coûte du temps, des efforts et de l'argent; exige votre attention et doit être transformé en quelque chose avec un point. J'ajouterais aussi une autre: vous ne souhaitez pas trop en dire sur votre recherche, si elle est encore prometteuse pour une sorte de succès. Triste mais nécessaire.
#3
+35
Stefano Borini
2012-03-15 10:19:53 UTC
view on stackexchange narkive permalink

Il n'est pas tout à fait vrai que les échecs ne soient pas publiés. Le manque de signaux ou le manque de corrélation sont publiés. Le fait est que tout ce qui fait avancer les connaissances mérite d'être publié. Cela dit, il y a d'autres facteurs dont vous devez tenir compte

  1. certains échecs sont d'ordre méthodologique, c'est-à-dire que vous faites quelque chose de mal. Ce n'est pas un signal scientifique. c'est quelque chose que vous devez résoudre.
  2. savoir ce qui ne fonctionne pas vous donne un avantage concurrentiel par rapport aux autres groupes de recherche.
  3. les signaux négatifs n'ouvrent presque jamais de nouveaux domaines. S'ils le font, c'est parce qu'ils ont orienté l'attention pour trouver un signal positif ailleurs. Vous n'ouvrez pas un nouveau développement de médicament anticancéreux s'il s'avère qu'une substance n'a pas d'effet. Vous en fermez un. Pour cette raison, les articles négatifs ne reçoivent généralement pas beaucoup d'attention, et l'attention des pairs est beaucoup dans le monde universitaire.
Intéressant. Mais, n'est-ce pas tout l'intérêt de publier la diffusion de l'information? Si ça ferme un champ, bien bien! Plus de perte de temps. J'ai également vu beaucoup de publications sur la guerre, comme entre les théoriciens des cordes et les autres. Ou GPU * fanboys * contre ceux multicœurs. Mais personne ne va contre le sien.
@Nunoxic: c'est le but: laisser les autres perdre leur temps pour que, pendant qu'ils sont occupés à découvrir ce que vous avez déjà appris, vous pouvez les battre en publiant avant eux. Pensez-vous que le monde universitaire est un groupe de hippies?
Le meilleur exemple d'un résultat négatif extrêmement important auquel je puisse penser est l'expérience de Michaelson-Morley qui a complètement fait sauter le couvercle de l'ancienne théorie de l'éther. La plupart des résultats négatifs ne sont pas aussi intéressants que cela. :)
@StefanoBorini Je pense que c'est plutôt pessimiste. Je vois régulièrement de la littérature médicale publiée ne montrant aucun avantage / effet pour les médicaments et c'est important. De manière générale, je pense que beaucoup d'impasses ne sont pas publiées parce que les impasses sont souvent supposées; les résultats prometteurs (qu'ils soient positifs ou négatifs) prennent encore beaucoup de temps à se concrétiser, du temps qu'il serait peut-être préférable de consacrer à quelque chose de plus prometteur.
@Nunoxic - Non, le but de la publication est que cela stimule les dons et l'intérêt pour votre recherche. Si vous publiez un tas d'articles sur la façon dont vous avez foiré et gaspillé des millions, voire des milliers de subventions et de fonds privés parce que vous avez foiré, les gens sont moins susceptibles de financer votre prochain projet de recherche et peuvent obtenir des fonds pour ce que vous avez fait.
@george - C'est la recherche du secteur privé. Les compagnies d'assurance partagent volontiers des informations qui peuvent leur permettre d'économiser de l'argent. Ce que vous ne voyez pas publier, ce sont des études qui montreraient que les traitements qui coûtent plus cher offrent également plus d'avantages. Ceux-ci viennent des médecins.
@StefanoBorini: Oui, en fait, nous sommes un groupe de hippies. Certains d'entre nous, en tout cas.
#4
+12
Ondrej
2012-03-15 18:26:28 UTC
view on stackexchange narkive permalink

Une des conséquences de la non-notification des échecs est le biais de publication. C'est un phénomène largement décrit qui est généralement traité à l'aide d'une méta-analyse. C'est-à-dire que si la recherche concerne des résultats quantifiables, disons une régression (linéaire), la signification statistique est généralement souhaitable. Si ces résultats ne sont pas atteints, les chercheurs essaient parfois d'ajuster leur méthodologie, leurs modèles, leurs données ou autre chose afin d'avoir des résultats plus «publiables».

Le problème soit de l'ajustement des modèles, soit du retrait complet de le papier (le soi-disant problème du tiroir de fichiers) était (et est encore dans une certaine mesure) un problème en médecine, comme le note @Artem Kaznatcheev dans le commentaire et a abouti, comme il l'ajoute, à l'enregistrement des essais avant publication. Ses sources peuvent différer, mais un article qui le décrit est par exemple Krakovsky (2004).

De manière plus générale, consultez Stanley (2005) ou Stanley (2008) pour plus d'informations sur le biais de publication et la méta-analyse.

#5
+8
Bravo
2012-03-15 11:24:31 UTC
view on stackexchange narkive permalink

Parfois, certains échecs donnent lieu à de nouvelles théories. Par exemple, il existe des théorèmes d'impossibilité dans la conception de mécanismes (Arrow ou Gibbard-Satterthwaite) qui établissent les limites des mécanismes implémentables.

En ce sens, les échecs seuls peuvent ne pas être utiles dans une publication. Les gens sont intéressés de savoir pourquoi les choses ont échoué ou plutôt quelle catégorie d'expériences / théories échouerait. Mais procéder dans cette direction comporte souvent des risques: il est plus facile d'énoncer un problème et de le résoudre plutôt que de dériver des conditions sur lesquelles le problème ne peut pas être résolu. Le premier est intéressant pour un public plus large que le second.

Donc l'essentiel: essayez de formaliser ou de théoriser vos échecs et de voir si un résultat se profile; sinon passez à essayer de résoudre un problème plus intéressant.

#6
+8
Mark Hahnel
2012-04-10 15:22:26 UTC
view on stackexchange narkive permalink

Je pense que cela se résume au temps pris. Personnellement, je ne pourrais pas être dérangé de passer 2 jours à rédiger et à formater un article pour les données négatives. Cela doit être très simple à faire et je dois soit obtenir un certain crédit pour cela, soit être mandaté pour le faire.

Il y a une demande croissante de la part des bailleurs de fonds et des mandats obligeant les chercheurs à tout faire leurs résultats de recherche disponibles ne sont qu'une question de temps. En attendant, les altmetrics peuvent agir comme des carottes pour encourager les chercheurs à partager leurs données, même les éléments négatifs.

#7
+3
lynxoid
2012-03-19 02:12:46 UTC
view on stackexchange narkive permalink

Si vous avez lu beaucoup de littérature et que vous vous êtes ensuite rendu compte que vous êtes dans une impasse, vous pouvez au moins publier une critique sur toutes les méthodes et techniques que vous avez apprises.

#8
+1
uli
2015-04-02 19:03:20 UTC
view on stackexchange narkive permalink

Il existe le Journal des questions non résolues JunQ. Ils collectent des recherches de résultats «nuls» et des problèmes ouverts.



Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 3.0 sous laquelle il est distribué.
Loading...