Another Test of the Normative Theory of Citing
Another Test of the Normative Theory of Citing (原文PDF網址、布丁標註過的PDF檔) 引用理論的另一個測試
M. H. MacRoberts and B. FL MacRoberts JOURNAL OF THE AMERICAN SOCIETY FOR INFORMATION SCIENCE. 38(4):305-306, 1987
前言
一般的引用理論是源自於科學家為了「獎勵」同儕透過引用來使用他們的研究，因此科學家給予應得的功勞(credit)。這是遵照著「科學家在他們自己論文裡面引用的研究大致反映了他們研究」。因此引用可以用來測量或指出研究的品質或影響力，建立認知上的血統(cognitive pedigrees)，以及描繪科學的網路與專長。
在先前的文章中，作者檢驗了引用理論了一個預測。作者閱讀文章，並記錄任何影響，不管它到底有沒有被註明是引用。最後作者只找到30%有被註明。
引用理論也預測了作者應該不會偏好引用。因此，當作者完全沒有引用時，他有可能按比例在使用引用。總而言之，引用的資料有大幅度地改善空間，而且依然能夠用來測量品質或影響力。
發現
在此研究中，就如作者之前所研究的，作者檢驗了遺傳史的許多文章，但是改用沒有引用的簡單文章。作者記錄了該特別論文中的獨特想法與論據(fact)。作者並追蹤了在23篇文章當中選出了的13個論據被引用的情形。根據這些論據的歷史，作者讀了許多文章，並且記錄這些論據的功勞分配。
我們用一個論據來描述這個方法：在1936年，R. A. Fisher發表了一篇文章，大意是表示Mendel的資料在統計上「太棒」(too good)了。作者讀的23篇論文都是在Fisher之後發表，其中有八篇提到Mendel「太棒」的這件事情。
表1：23篇中13個使用與引用的想法 (引用自此篇論文)
| 項目 | 總共使用次數 | 有提出來引用 | 未引用 | 引用自二次文獻 | 有提出來引用比例 |
| I | 12 | 1 | 8 | 3 | 0.08 |
| II | 8 | 6 | 1 | 1 | 0.75 |
| III | 11 | 4 | 3 | 4 | 0.36 |
| IV | 10 | 2 | 6 | 2 | 0.20 |
| V | 8 | 7 | 1 | 0 | 0.88 |
| VI | 7 | 0 | 5 | 2 | 0 |
| VII | 9 | 0 | 7 | 2 | 0 |
| VIII | 7 | 4 | 2 | 1 | 0.57 |
| IX | 6 | 1 | 3 | 2 | 0.17 |
| X | 8 | 6 | 1 | 1 | 0.75 |
| XI | 2 | 0 | 1 | 1 | 0 |
| XII | 4 | 3 | 0 | 1 | 0.75 |
| XIII | 1 | 0 | 0 | 21 | 0 |
| 總數 | 93 | 34 | 38 | 22 | |
| 比例 | 37 | 41 |
表1總結了作者研究結果。在23篇論文中，13個論據使用了93次。在這之中，有34次(37%)其實是有正確地說明是引用，38次(41%)則沒有，21次(22%)則來自於二次文獻(引用A的話，但是A卻是引用B的話，實際上正確應該要引用B的話才對)。
讓作者感興趣的地方就在這邊：功勞分配與實際影響並不成比例。有些就算不被當作引用或引用到其他人的影響，卻幾乎一再被糾正。在列表第五項裡面，之前提到的Fisher的Mendel(孟德爾的適者生存)結果「太棒」，在八篇文章就有7次正確的引用(然而這些文章應該直接引用孟德爾的研究才對，而不是引用別人對孟德爾的評論)。從另一個方面來看，我們發現R. C. Punett的文章(表1中的第一項)，他在他的Untersuchsungen sur Bestimmung des Werthes van Species und Varietat中用Mendel的研究發現了Germann Hoffmann，這個論據在12次提及當中只有1篇引用，其他11篇引用他的作者都沒有給予他應有的功勞。
如果把這個發現在引用分析裡面找個術語來看，作者認為「閉塞(obliteration)」在科學中的用法並不統一。本篇中記錄了三種模式：(1) 有些研究被拿來使用，但從沒被引用或很少被引用；(2) 有些研究主要只引用二次文獻；(3) 有些研究每次被人家使用時都會被註明引用。這些模式的原因還不明確，但這似乎跟發表時間或研究領域相關不大。
討論
許多作者已經討論過用引用數量來衡量科學生產力這件事情，即使引用分配非常不平衡，此偏差現象現在還大於用文章數量來衡量生產力。這件事情已經被從多方面去探討，但其中最普遍的認知還是使用者對於科學文獻的認識並不平衡。在作者的研究中，雖然證實某些學科引用數量是高度扭曲，但是並不代表其他都是這種情況。換個方向來看，比起只考慮被引用的影響，如果所有的影響都考慮進去，那麼這些扭曲的情況到底會多麼嚴重呢？有些人的研究幾乎在每次被用到的時候都會被註明引用，這只會輕微地提升他們的被引用率，而其他研究卻會大量地提升被引用率。舉例來說，現成的例子中作者發現Fisher的研究最常被引用(7次)。如果從引用量來看，他在樣本當中是最距影響力的文章，但就實際使用來看，計算比8次引用數量還多的論據，超過一半以上的文章影響力都還比他來得高。
雖然作者不能從這些發現中推論到其他學科與學術，但還是可以明確地知道任何想用引用數來衡量學術研究品質或影響力、建立認知血統、繪製科學網路或專長的主題領域最後都會演變成讓人難以忍受的錯誤。此外，作者之前驗證過的幾個領域，包括社會學、人類學與生物學，看起來都可以用於引用數量扭曲的發現上。
儘管引用的扭曲使用並不代表大環境(機構或國家)也是扭曲的，但如果繼續使用引用資料，那就應該警惕到這個事實。
這篇論文指出了一個讓人難過的事實，時常被學術評鑑拿來做為參考的Impact Factor(影響指數)，事實上就是這樣的不明確。每個作者對於引用的認知都不一樣，引用的數量、偏向都不相同，最後變成了引用資料的不確定性。
蔡老師在上資訊計量學的時候，時常跟我們感嘆這個無奈的事實，卻也不知道現階段該怎麼解決。如果這個扭曲的事實能讓更多學術界的人知道的話，應該總有一天，會有更好的評鑑方法出現吧。
