tag:blogger.com,1999:blog-16607461.post6700293537240134075..comments2024-03-28T23:00:58.358+08:00Comments on 布丁布丁吃什麼?: 編碼者間一致性信度:Cohen Kappa係數計算器 / Intercoder Reliability: Cohen's Kappa Coefficient Counter布丁布丁吃布丁http://www.blogger.com/profile/13614721642960940190noreply@blogger.comBlogger41125tag:blogger.com,1999:blog-16607461.post-24152766923388866582022-10-20T09:45:50.459+08:002022-10-20T09:45:50.459+08:00您好,
對。Kappa計算就是要完全一致,才算是有信度。
信度只會有一個值。
效度是其他事情,兩...您好,<br /><br />對。Kappa計算就是要完全一致,才算是有信度。<br />信度只會有一個值。<br /><br />效度是其他事情,兩者不可混為一談。布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-76790352612420116772022-10-20T04:32:37.903+08:002022-10-20T04:32:37.903+08:00不好意思,上面沒說清楚
因為要進行圖片主題的內容分析,但因為一張圖片可能涵蓋兩種主題以上,故以複選...不好意思,上面沒說清楚<br /><br />因為要進行圖片主題的內容分析,但因為一張圖片可能涵蓋兩種主題以上,故以複選題的方式進行編碼(我知道類目需互斥的原則,但考量資料特性),不確定再計算的時候,應以兩位編碼者選項需完全一樣的情況下去算嗎?例如coder A選主題k和主題p,coder B也需選主題k、p才能算同意<br /><br />但若以您提到的把多選題的選項視為一個題目,在效度程序上以多個數值呈現即可嗎?Anonymousnoreply@blogger.comtag:blogger.com,1999:blog-16607461.post-27634178553650374492022-10-20T01:42:55.038+08:002022-10-20T01:42:55.038+08:00您好,
雖然不太懂為什麼你要算這個題目的信度。
不過kappa值是不能取平均的,你看它的公式就可以...您好,<br /><br />雖然不太懂為什麼你要算這個題目的信度。<br />不過kappa值是不能取平均的,你看它的公式就可以知道了。<br /><br />如果還沒看公式,那先把公式看一下,瞭解一下你到底在幹嘛比較好。布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-42219017247038622792022-10-19T18:59:15.364+08:002022-10-19T18:59:15.364+08:00您好,就有點像是問卷多選題的方式嗎?那這樣該題的信度或是相互同意度,是把各選項算出來的值平均嗎?您好,就有點像是問卷多選題的方式嗎?那這樣該題的信度或是相互同意度,是把各選項算出來的值平均嗎?Anonymousnoreply@blogger.comtag:blogger.com,1999:blog-16607461.post-35883842642030839172022-10-19T11:14:01.283+08:002022-10-19T11:14:01.283+08:00To Jacy,
你把多選題的每一個選項視為一個題目。
1-1. 第一題的第一個選項有沒有勾選
1...To Jacy,<br /><br />你把多選題的每一個選項視為一個題目。<br />1-1. 第一題的第一個選項有沒有勾選<br />1-2. 第一題的第二個選項有沒有勾選<br />以此類推<br /><br />舉例來說,例如五題各4選項的多選<br />可轉換成20題。<br />然後就可以用一樣的思維來計算信度了。布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-35518560584197080052022-10-19T01:37:44.221+08:002022-10-19T01:37:44.221+08:00您好:想請問如果是多選題的話,也是用一樣的方法嗎?目前找好久都找不太到多選題計算信度的方式?您好:想請問如果是多選題的話,也是用一樣的方法嗎?目前找好久都找不太到多選題計算信度的方式?jacyhttps://www.blogger.com/profile/18418119426569170822noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-81552878941564246542022-06-30T16:49:53.907+08:002022-06-30T16:49:53.907+08:00您好,
intra-rater的信度分析在臺灣通常是稱作「再測信度」(test-retest r...您好,<br /><br />intra-rater的信度分析在臺灣通常是稱作「再測信度」(test-retest reliability),主要是指評分者在不同時間給分的一致性,又稱為「穩定係數」(coefficient of stability)。<br /><br />根據測量資料類型的不同,計算信度的方式也不太相同。<br />在大多情況下,連續數值的評分,也就是比率尺度的資料類型,可以使用相關分析。<br />相關分析可以看我這篇:https://blog.pulipuli.info/2017/10/bivariate-correlation-analysis-pearson.html<br /><br />給予分類的評分,也就是名義尺度的資料類型,應使用Kappa分析。<br />Kappa分析可以看我這篇:https://blog.pulipuli.info/2015/06/cohenkappa-cohens-kappa-coefficient.html<br /><br />很多統計教科書都有講到再測信度,但你可能忽略了測量方式取得的資料類型不同,需要採用不同的信度分析方法。<br />統計教科書大多都以問卷調查為主要教課內容。<br /><br />以下兩本書供你參考:<br /><br />榮泰生(2007)。Amos與研究方法。五南。(ISBN:978-957-11-4737-6)<br />吳明隆、涂金堂(2006)。SPSS與統計應用分析。臺北市:五南。(ISBN:978-957-11-4173-2)<br /><br /><br /><br />布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-83475793649448616492022-06-26T18:15:52.937+08:002022-06-26T18:15:52.937+08:00您好,
能幫上忙真是太好了。
不過信度分析做一百次,是不是哪裡怪怪呢?您好,<br /><br />能幫上忙真是太好了。<br />不過信度分析做一百次,是不是哪裡怪怪呢?布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-74259035170667113132022-06-20T14:20:44.345+08:002022-06-20T14:20:44.345+08:00布丁您好,很感謝您的文章!想請問一下如果要算intra-rater 評測者間信度要用甚麼方式呢?上網...布丁您好,很感謝您的文章!想請問一下如果要算intra-rater 評測者間信度要用甚麼方式呢?上網找資料都是inter-rater的比較多,謝謝解答!Anonymousnoreply@blogger.comtag:blogger.com,1999:blog-16607461.post-54169185114209907662022-05-16T14:16:04.060+08:002022-05-16T14:16:04.060+08:00oh my god太感謝這個tool了,沒有這個的話我SPSS要按一百次手都要抽筋了(你的網頁我也是...oh my god太感謝這個tool了,沒有這個的話我SPSS要按一百次手都要抽筋了(你的網頁我也是按一百次但步驟少,輕鬆很多)Anonymousnoreply@blogger.comtag:blogger.com,1999:blog-16607461.post-69562435980425324332022-04-27T16:31:57.712+08:002022-04-27T16:31:57.712+08:00加油!加油!布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-10352049378457198292022-04-24T22:44:54.354+08:002022-04-24T22:44:54.354+08:00謝謝,幫助我釐清了很多觀念謝謝,幫助我釐清了很多觀念Anonymoushttps://www.blogger.com/profile/04945117541563311685noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-15619078262455457982022-04-17T19:18:50.071+08:002022-04-17T19:18:50.071+08:00您好,
SPSS的教學大多都會附上如何在論文中報告分析結果的寫法。
https://statis...您好,<br /><br />SPSS的教學大多都會附上如何在論文中報告分析結果的寫法。<br /><br />https://statistics.laerd.com/spss-tutorials/cohens-kappa-in-spss-statistics.php<br />在這個網頁最下面可以看到「Reporting the output of Cohen's kappa」<br /><br />報告寫法如下:<br />````<br />Cohen's κ was run to determine if there was agreement between two police officers' judgement on whether 100 individuals in a shopping mall were exhibiting normal or suspicious behaviour. There was moderate agreement between the two officers' judgements, κ = .593 (95% CI, .300 to .886), p < .001.<br />````<br /><br />試著翻譯的結果如下:<br />````<br />對於購物中心裡100個人表現出正常或可疑行為,兩位警察在個別給出判斷後,本研究再以Cohen Kappa信度分析兩位警察的判斷結果是否一致。結果顯示兩位警察的判斷結果為中度一致性,K值為.593。95%信賴區間為.300至.886,p < .001。<br />````<br /><br />https://www.yongxi-stat.com/cohens-kappa/<br />對應的中文翻譯我參考這篇。我現在用的Linux作業系統並沒有安裝SPSS。<br /><br />----<br /><br />我這個分析器沒有加入信賴區間的分析。<br />需要的話可以看SPSS的說明,或是用PSPP作出一樣的結果。<br /><br />PSPP是免費開放原始碼的統計工具。在大部分的資料分析中都可以取代SPSS,包括Kappa分析。<br /><br />https://www.researchgate.net/figure/Calculation-of-Cohens-simple-kappa_fig12_291166204<br />PSPP中Kappa分析的操作教學,不過PSPP也沒有報告P值跟信賴區間。<br />結果好像就跟我這篇差不多?<br /><br />這個P值小於0的意思是,Kappa值顯著不為0,也就是兩人不是亂給判斷。兩個人都給的一致不一致,還是要看Kappa值本身。布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-89567107373640772292022-04-16T16:40:05.597+08:002022-04-16T16:40:05.597+08:00布丁您好,請教一個基本問題:有coder 1, coder 2, 也算出了一致性係數。但在論文裡面,...布丁您好,請教一個基本問題:有coder 1, coder 2, 也算出了一致性係數。但在論文裡面,主要是呈現coder 1 與coder 2 算出來的平均數嗎?論文中如何呈現比較恰當呢?謝謝!Anonymousnoreply@blogger.comtag:blogger.com,1999:blog-16607461.post-20791838108073908192021-12-21T08:59:49.197+08:002021-12-21T08:59:49.197+08:00不客氣。能幫上忙就好。不客氣。能幫上忙就好。布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-90006248788886957182021-12-21T06:52:46.125+08:002021-12-21T06:52:46.125+08:00感謝你整理這篇文章~~~感謝你整理這篇文章~~~Anonymousnoreply@blogger.comtag:blogger.com,1999:blog-16607461.post-80102541956290126012021-11-15T19:13:26.505+08:002021-11-15T19:13:26.505+08:00To Wayne Williams,
https://www.real-statistics.co...To Wayne Williams,<br /><br />https://www.real-statistics.com/reliability/interrater-reliability/cohens-kappa/cohens-kappa-sample-size/<br />這篇跟你提到的論文是同個來源,而且有把試算表公式列出來,方便你參考。<br /><br />加油布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-66619596917688326902021-11-15T16:57:20.596+08:002021-11-15T16:57:20.596+08:00感謝布丁大大提供的這篇文章,等我詳讀一下感謝布丁大大提供的這篇文章,等我詳讀一下Wayne Williamshttps://www.blogger.com/profile/02323812457100747035noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-13857260969654868152021-11-09T14:28:12.808+08:002021-11-09T14:28:12.808+08:00To Wayne Williams,
嗯,我沒有看懂。
Kappa是計算兩位評分者的一致性係數。...To Wayne Williams,<br /><br />嗯,我沒有看懂。<br /><br />Kappa是計算兩位評分者的一致性係數。「兩位評分者」的意思是,你不會有「rater1的kappa」或是「rater2的kappa」。<br /><br />https://www.real-statistics.com/reliability/interrater-reliability/cohens-kappa/cohens-kappa-sample-size/<br />看起來論文寫的計算方式已經很清楚了,為什麼不要照著論文的內容來計算呢?<br /><br />不過實務上應該還是很難滿足最小樣本數量要求吧?<br />布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-1466137631367281872021-11-08T15:51:48.567+08:002021-11-08T15:51:48.567+08:00布丁你好,
我有個疑惑想要請教,通常跑統計老師都會要求針對方法計算sample size,我找到是h...布丁你好,<br />我有個疑惑想要請教,通常跑統計老師都會要求針對方法計算sample size,我找到是https://www.researchgate.net/publication/320148141_Guidelines_of_the_minimum_sample_size_requirements_for_Cohen's_Kappa<br />但我的理解是他如果是對於rater1跟rater2來計算分數,rater1跟rater2的分數是跟嚴格遵循評分標準所下的分數各自先做一次kappa,然後再兩個kappa來比較<br />不知道布丁大大覺得我這樣的理解有沒有看法,還是說我有看沒有懂XD? Wayne Williamshttps://www.blogger.com/profile/02323812457100747035noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-22172104628505649152021-08-16T14:13:54.833+08:002021-08-16T14:13:54.833+08:00To mengchun,
嗯…我覺得你應該是哪裏搞錯了。
請注意一下基本上Kappa適用的是單一...To mengchun,<br /><br />嗯…我覺得你應該是哪裏搞錯了。<br /><br />請注意一下基本上Kappa適用的是單一類別型,兩位評分者的情況。<br /><br />以這篇的例子來說,我們是兩位編碼者,每個被評分的單位只能允許一種類別,例如1 , 2, 3。但不能同時有1+2,2+3的這種情況。<br /><br />你的例子看起來像是兩位編碼者,有20個被評分的單位,但每個評分允許多個類別,例如A,B,C<br /><br />https://stats.stackexchange.com/a/224303<br />如果你想要評估多類別編碼者間的一致性信度,Firebug根據這篇的做法,你需要將原本評估一致性的維度擴展到各個分類。請參考他列出的式子。<br /><br />不是平均數計算啦orz<br />不過跟我想的有點不太一樣,原本我的想法是不是太天真了@.@”布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-4496919137535973962021-08-15T15:06:13.882+08:002021-08-15T15:06:13.882+08:00感謝版主,真的是非常好用!我發展了一個類別架構來分析圖像作品,與協同各別coding之後,以一幅為單...感謝版主,真的是非常好用!我發展了一個類別架構來分析圖像作品,與協同各別coding之後,以一幅為單位,借用大大的程式,去計算每一幅的cohen's kappa值;然後逐一討論,<br /><br />有個疑問,總共20幅,有沒有可能算一個總的cohen's kappa值?是平均的概念嗎?mengchunhttps://www.blogger.com/profile/16423401447062732150noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-32997932156138867982021-06-13T12:48:31.116+08:002021-06-13T12:48:31.116+08:00To Sisley,
能幫上忙真是太好了呢To Sisley,<br /><br />能幫上忙真是太好了呢布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-13399306733766385222021-06-13T11:12:22.851+08:002021-06-13T11:12:22.851+08:00布丁學長,這個計算器真是神器啊~~在網路上找統計解方,常常一下關鍵字就來到這裡!!太感謝了布丁學長,這個計算器真是神器啊~~在網路上找統計解方,常常一下關鍵字就來到這裡!!太感謝了Sisleyhttps://www.blogger.com/profile/12855772793766434130noreply@blogger.comtag:blogger.com,1999:blog-16607461.post-29681286763805058622021-06-01T17:10:11.380+08:002021-06-01T17:10:11.380+08:00To transmlo,
可以將Cohen's Kappa用於評估機器學習結果,但是用正確...To transmlo,<br /><br />可以將Cohen's Kappa用於評估機器學習結果,但是用正確率還是比較有意義。<br /><br />Maarit Widmann在這篇文章中說明了Cohen's Kappa跟正確率評估上的差異<br />https://thenewstack.io/cohens-kappa-what-it-is-when-to-use-it-and-how-to-avoid-its-pitfalls/<br /><br />文章中提到了Coken's Kappa的三個問題:1. Kappa值域是-1到1之間,但數值的差異並不是直觀的等比尺度或等距尺度。換句話說,要達到極端的-1或1非常困難,但在-0.5到0.5之間卻很容易。2. 如果分類的分佈很平衡,則Kappa值容易偏高。但機器學習的分類結果大多是不平衡。例如信用卡評等分類為Good跟Bad的例子中,Bad僅佔少數。這使得Kappa值容易偏低。3. Kappa值難以解釋,正確率相對直觀很多<br /><br />因此一般來說仍會建議使用正確率。<br /><br />布丁布丁吃布丁https://www.blogger.com/profile/18000418899714977849noreply@blogger.com