Question:
Impact Factor reflète-t-il la qualité d'une revue?
ShadowWarrior
2012-06-16 20:46:09 UTC
view on stackexchange narkive permalink

Le facteur d'impact est-il vraiment utile pour juger de la qualité d'un article de revue?

question connexe: [Comment jugez-vous la qualité d'une revue?] (http://academia.stackexchange.com/q/101/66)
Non: http://arxiv.org/pdf/1010.0278v4.pdf
Interesting commentary (written by Physical Review Letters) about how journals that publish more articles are penalized with lower impact factors: http://prl.aps.org/edannounce/PhysRevLett.102.060001
tout le monde dit non, mais tout le monde le regarde :)
Six réponses:
#1
+29
JeffE
2012-06-17 03:12:07 UTC
view on stackexchange narkive permalink


Pour répondre au commentaire de Paul:

Le titre de l'article pose des questions sur les revues. Pour une liste bien rodée des critiques de Impact Factor en tant qu'indicateur de la qualité de la revue, consultez l'article de Wikipédia et les sources qu'il cite. Dans de nombreuses disciplines, les articles importants reçoivent la plupart de leurs citations bien en dehors de la fenêtre de deux ans de la FI. Les données de citation brutes peuvent être manipulées par des politiques éditoriales, certaines plus néfastes que d'autres, ou même par des articles individuels. Les calculs de Thomson-Reuters du facteur d'impact ne sont pas reproductibles, même en utilisant leurs propres données de citation. Et cetera ad nauseam. Mais plus important encore: Avoir beaucoup de citations n'est pas la même chose que la qualité.

Le corps du message pose des questions sur les articles de revues. Le facteur d'impact est (à peu près) le nombre moyen de citations de tous les articles publiés par une revue dans une fenêtre temporelle donnée. Même s'il s'agissait d'une mesure fiable de la qualité moyenne (ce qui n'est pas le cas), cela ne dirait rien du tout sur la qualité de tout papier individuel .

Pourriez-vous élaborer?
Répondre à la question de savoir si le facteur d'impact «reflète» ou «est utile» pour juger de la qualité par un simple «non» ** est une simplification grossière **, et est gravement miné par les preuves concrètes de la réponse d'@Jeromy's. (Je ne vais pas donner un -1 car la réponse fournit une critique utile du facteur d'impact, mais j'encourage les gens à regarder également la réponse de Jeromy pour une vue plus équilibrée et réaliste.)
#2
+18
Artem Kaznatcheev
2012-06-17 08:22:10 UTC
view on stackexchange narkive permalink

Si les deux autres réponses ne l'ont pas rendu évident. La réponse est non , mais elle peut aller encore plus loin que ce que suggèrent les réponses ci-dessus. Nous pouvons étudier cela!

enter image description here

L'image ci-dessus est le coefficient de détermination entre le facteur d'impact des revues et le taux de citation de 2 ans de leurs articles de 1902 à 2009, pour toutes les revues de sciences naturelles et médicales. Fondamentalement, cela signifie que même si vous ne vous souciez que du nombre de citations que vous obtenez, alors même les facteurs d'impact des revues commencent à avoir de moins en moins d'importance.

Bien sûr, ce qui compte, c'est l'influence de vos idées et pas dans quelle mesure ils sont cités, mais nous n'avons pas vraiment une bonne métrique pour cela.

Malheureusement, le nombre de citations compte beaucoup si votre université décide de vous donner des citations multipliées par X dollar de bourses de voyage.
#3
+17
Jeromy Anglim
2012-06-18 13:13:59 UTC
view on stackexchange narkive permalink

De toute évidence, les gens ici ne semblent pas aimer l'idée que le facteur d'impact serait utilisé pour évaluer la qualité d'une revue. Je ne suis pas non plus un grand fan du facteur d'impact. Il peut être joué (et le degré auquel il est joué augmentera au fur et à mesure que l'on y accordera une plus grande importance). Cela devient également particulièrement problématique lorsque vous comparez entre disciplines avec différentes pratiques de citation et demi-vies de citation. De plus, il y a aussi le risque que les gens commencent à utiliser le facteur d'impact pour évaluer la qualité des articles, ce qui est beaucoup plus discutable.

Cela dit, au sein d'une discipline, je trouve généralement que les meilleures revues ont des facteurs d'impact plus élevés. Ce n'est pas parfait. Mais il existe une forte corrélation. Il existe également des recherches qui montrent des corrélations très élevées entre divers indices de qualité des revues, y compris les notes des pairs, le facteur d'impact et divers autres indicateurs basés sur des citations.

En bref, dans un champ, le facteur d'impact est l'une des nombreuses variables qui sont généralement fortement corrélées à la qualité de la revue . Si vous ne savez rien de la qualité d'une revue, vous en saurez plus en regardant son facteur d'impact. Cependant, cela ne devrait pas vous empêcher de regarder d'autres indicateurs, probablement meilleurs, de la qualité de la revue (par exemple, quelle est votre propre évaluation du contenu publié dans la revue ces dernières années).

Il est également très important de vous demander pourquoi vous voulez évaluer la qualité d'une revue. Est-ce pour sélectionner un journal? récompenser, promouvoir ou embaucher des universitaires? L'utilisation du facteur d'impact dans ces cas peut être problématique pour une grande variété de raisons, mais ce sont des problèmes distincts.

Voici un article que j'ai trouvé fournissant des preuves empiriques par Saha et al (2003). Pour citer le résumé:

Objectifs: Impact factor, un indice basé sur la fréquence à laquelle les articles d'une revue sont cités dans les publications scientifiques, est un marqueur putatif de la qualité d'une revue. Cependant, des études empiriques sur l'impact la validité du facteur comme indicateur de qualité fait défaut. Les auteurs ont évalué la validité du facteur d'impact en tant que mesure de la qualité pour les revues médicales générales en testant son association avec la qualité des revues telle que notée par les praticiens cliniques et les chercheurs.

Méthodes: Nous avons interrogé des médecins spécialisés en médecine interne dans le États-Unis, échantillonné au hasard dans le Physician Masterfile de l'American Medical Association (groupe de praticiens, n = 113) et d'une liste de diplômés d'un programme national de formation postdoctorale en recherche clinique et sur les services de santé (groupe de recherche, n = 151). Les répondants ont évalué la qualité de neuf revues médicales générales, et nous avons évalué la corrélation entre ces notes et les facteurs d'impact des revues.

Résultats: La corrélation entre le facteur d'impact et les évaluations de la qualité des revues par les médecins était forte (r2 = 0,82, p = 0,001). La corrélation était plus élevée pour le groupe de recherche (r2 = 0,83, P = 0,001) que pour le groupe de praticiens (r2 = 0,62, P = 0,01).

Conclusions: Le facteur d'impact peut être un indicateur raisonnable de qualité pour les revues médicales générales.

Références

  • Saha, S., Saint, S. & Christakis, DA (2003). Facteur d'impact: une mesure valide de la qualité de la revue ?. Journal of the Medical Library Association, 91, 42. PDF
#4
+7
Joe Kington
2012-06-17 00:37:42 UTC
view on stackexchange narkive permalink

La "qualité" est très subjective. Le facteur d'impact est une bonne mesure de la fréquence à laquelle les articles d'une revue sont cités, mais cela ne se rapporte pas nécessairement directement à la "qualité".

De nombreuses revues avec un objectif étroit auront des facteurs d'impact relativement faibles, mais sont toujours considérés comme des revues de très «haute qualité» (c'est-à-dire prestigieuses à publier dans).

Par exemple, dans les géosciences, le Journal of Structural Geology est une revue beaucoup plus prestigieuse (et plus difficile à publier) que, disons, Tectonophysics (juste pour choisir un autre journal Elseviver), mais il a un facteur d'impact plus faible.

#5
+6
Fomite
2012-06-17 09:02:47 UTC
view on stackexchange narkive permalink

Les rédacteurs de Epidemiology (une très bonne revue) ont récemment publié un éditorial à ce sujet:

La plupart des grandes revues d'épidémiologie, y compris le nôtre, ont connu une augmentation constante de leurs facteurs d'impact au cours des dernières années. Dans le même temps, le rang relatif de ces revues change d'année en année. Il est peu probable que de tels changements représentent de véritables changements annuels dans la qualité relative de ces revues. Nous pensons que les différentes revues d'épidémiologie sont en effet différentes et qu'elles méritent d'être évaluées et comparées. Mais nous sommes plus heureux lorsque de telles évaluations sont basées sur des questions de fond, telles que les politiques éditoriales, la qualité des critiques, la qualité de l'édition, l'efficacité du traitement des manuscrits et l'impact (réel) de la revue sur le terrain.

Cet éditorial a également des liens vers plusieurs autres dans cette revue critiquant la notion de facteur d'impact, et son mérite scientifique (ou son absence).

#6
+1
IgotiT
2016-05-12 18:38:12 UTC
view on stackexchange narkive permalink

J'ai vu qu'en terme de citation d'un article vous remarquerez que dans la plupart des cas, un article a été cité plusieurs fois par l'auteur lui-même dans ses autres articles de recherche ou par ses étudiants et parfois par ses collègues sans attacher aucune importance réelle à la citation. La localisation géographique de la citation importe également, supposons par exemple, si l'auteur de certains pays reçoit 10 citations de 10 pays différents, ces 10 citations seraient plus importantes que 10 citations d'un seul pays.



Ce Q&R a été automatiquement traduit de la langue anglaise.Le contenu original est disponible sur stackexchange, que nous remercions pour la licence cc by-sa 3.0 sous laquelle il est distribué.
Loading...