經過將近四年漫長的碩士生涯，今日我終於拿到畢業證書。
儘管這張畢業證書領取的過程實在是風風雨雨，什麼出人意料之外的情況都發生了，但真正地拿到手之後，之間那些緊張、焦慮的心情馬上變成令人值得咀嚼、賞玩的回憶。
我很開心，已經很久沒有這樣子讓我單純地表現出「開心」的心情，也許這種心情也不會持續很久，但至少這一刻我很開心。我開心地在MSN、噗浪上炫耀、開心地跟港味食堂老闆娘炫耀（她還送了我糖果，就是照片中畢業證書上面的糖果）、開心地拿著糖果分跟還在研究室奮鬥的學妹們、開心地拿著實體的畢業證書來炫耀。
而且更開心的是，我總算可以來寫blog、整理碩士四年以來的各種文件、還有去找每一位叫我趕快畢業的人吃飯聊天。
希望這種開心的心情，也能夠分享給正在看這篇文章的你。
我終於畢業了，耶！
(more...)
寫完論文、一邊收拾東西的時候，我總算也比較能夠放心地來悠閒地寫些blog文章。趁著今天驚訝於論文紙本之量，以下就針對論文口試完畢之後、印製論文、對於印出的論文紙本感想等資料做個記錄。
碩士學位考試（也就是俗稱的「口試」）完畢、修改完論文初稿成為正式稿之後，就可以加上英文摘要、謝辭等初稿時不需審定的資料，並帶著口委們的簽名審定書、學位論文授權書等文件，就能來去影印店印論文啦。
這三張文件由右到左各別是簽名審定書、論文上網授權書與審核通知單，前兩者都需要裝訂於論文之中。
簽名審定書是通過學位論文最重要的證明，正式名稱是什麼我也不確定。簽名審定書是用來記錄口試委員們的簽名，作為承認該學生正式通過學位考試的背書，此外還需要有所長（有些地方是系主任）的簽名。我想有些人老是在「叫老師趕快簽啊」的那個受詞，應該就是指這份文件。
一開始我還以為只要口委們簽名就好，結果不知道還需要找所長。因為我們所長並不是很常來所上，要找人不太容易。這次沒找到的話，我大概沒辦法在國中圖的契約到期前去辦畢業證書了。還好所長大發慈悲，願意讓我找到她來簽這張，最後順利取得簽名，可喜可賀。
對了，因為這份簽名審定書是要拿去影印的關係，所以老師們簽名都是使用黑色簽字筆，以免在影印的時候因為非黑色太淡而印不清楚。當時拿著藍筆給所長簽名的我差點讓這份簽名審定書毀於一旦，實在是不可不注意。
第二份論文上網授權書是學生將論文資料建檔在學校的論文資料庫，然後設定授權開放的方式。要取得這份論文上網授權書，必須要先在圖書館的論文系統中建檔。建檔除了要輸入學生的資料之外，還要輸入論文的關鍵字、摘要、目次、參考文獻，並且要按照規定轉換成PDF、加上浮水印並且加密後上傳，手續挺繁雜的。
上面這張是政治大學博碩士論文全文影像系統的繳交流程圖，剛剛說的建檔只是前面三個步驟而已。由於要填許多資料，所以在這邊會花上不少時間。我還在建檔過程中又發現到論文的許多錯誤，不知道算是好事還是壞事。
建檔完成之後，就可以列印出論文上網授權書，記載著這份論文開放供人取用的時間。由於我這份論文之後可能還會再發表，所以通常並不會即刻開放供人取用。雖然我覺得就算開放了，應該也不太會有人光看論文就能夠重現我的實驗過程啦，不過既然老師都這樣說了，那就照做無妨。
以往的授權書是直接針對國家圖書館的博碩士論文網授權，但是近年來已經不是這樣處理，而是由各學校來典藏學生的論文，然後再繳到國家圖書館來管理。不知道是否是因為改制的關係，政大的論文授權書長得就跟之前國家圖書館的論文授權書很像，中英混合了一堆契約的文字。
授權書除了最下面的簽名跟日期之外，中間還有兩個空格需要手動去填寫，像是中英科系組、學期數。可是那個英文科系空格根本就是太窄了，身為圖書資訊組（Library and Information？應該吧）的我實在沒辦法在這麼窄的框格裡面寫下這個名字，所以只好將就地只寫了中文。
我觀察了一下歷年來各學長姊跟學弟妹的作法，有些人寫中文就算了，也有些人連寫都沒寫就急著在下面簽名拿去印。不知道究竟寫英文的人是怎麼做的呢？
跟簽名審定書一樣，由於論文上網授權書是需要影印的關係，所以請使用黑色簽字筆來填寫吧！
當論文建檔完成之後，學校圖書館會檢查你的論文建檔是否妥善，電子全文PDF的格式是否符合規定，一切都沒問題之後就會發一封電子郵件給你，就是這封審核通知書。相反的，如果你的建檔不符合規定，就會被通知還需要修正。來來回回幾次地把建檔填完之後，最後還是能收到這份審核通知書。
我的運氣不錯，不僅一次通過，而且正常來說需要1到2日的工作天審核，這次圖書館員只用了半天就審核完了。
這份文件是不需要裝訂在論文中，所以並不用刻意等到審核通知書下來，其實建檔完成就可以拿去送印了。如果為了保險起見，審核通知書下來、格式也確定正確之後再去影印店印刷，這才是比較不容易做錯的方法。畢竟影印店印了就無法再修改，不得不謹慎啊。
由於指導教授習慣用Microsoft Office Word來改論文，而且還是舊版的doc格式。所以就算我使用的是學校的Word 2007，還是不得不存成doc來編輯。排版過程中我再一次地覺得Word並不適合大型文件的排版，兩百多頁的論文怎麼排版都會出錯，實在是令人難過。
最讓我難過的就是交互參照與換頁符號功能。
在Word中，每一張圖表我都會插入一個「標號」，作為系統索引的標記。例如圖片就是插入「圖1 - 1」、「圖1 - 2」，編號的順序Word會依照前後自動地去編排，以確保文件再多次修改中編號仍會按照順序。
「交互參照」則是將指定的標號插入文字敘述中的功能，例如文中要說明圖片的時候，通常會寫「本研究的架構圖如圖1 - 1所示」，這個圖1 - 1就是參考標號的交互參照。如果標號因為順序而重新編號，則交互參照也會跟著變換。像是原本的圖1 - 1因為順序修改變成了圖1 - 5，那麼交互參照也會變成「本研究的架構圖如圖1 - 5所示」，而省下了手動回去確認的困擾。
至此為止，這些功能都還算方便，沒有什麼問題。問題在於排版的時候。
一般來說，為了維持圖表的完整性，我們不希望圖表經過換頁，把一張表格切成上一頁跟下一頁，這樣很不容易閱讀。如果發現有換頁的現象，我通常會在表格前插入「分頁符號」，讓表格直接跳到下一頁開始，這樣就能確保表格的完整性。
好，問題來了。
這個換行符號會造成表格標號前面插入了一個分頁符號，例如「(分頁符號)表2 - 3 研究對象列表」。當然，分頁符號並不會以文字顯示，而只是一個排版的功能符號而已。但是這個分頁符號卻會影響到交互參照，讓原本是「本研究的研究對象如表2 - 3所示」的文字敘述變成了「本研究的研究對象如(分頁符號)表2 - 3所示」。實際上排版時就變成
本研究的研究對象如
(下一頁)
表2 - 3所示
這對論文來說簡直是個悲劇。你會看到許多頁都會因為這個「(分頁符號)表」而造成一頁文字才寫到一半，文字就跨到下一頁的慘況。
搞到最後我只好放棄交互參照功能，乖乖用手寫的「表2 - 3」來取代。以免排版時交互參照受到標號影響，又來個分頁的悲劇，就真的煩不勝煩了。
另一個最令人頭痛的功能，是樣式在Word不同版本之下的相容性問題。
由於慣於使用網頁CSS的緣故，我在Word上也習慣使用樣式來管理整份文件的排版。但是在撰寫的過程中，我意外地發現樣式很容易因為相容性轉換的問題而被「影響」。舉例來說，我的「問卷order list」樣式是繼承「order list」樣式，可是修改「問卷order list」的時候卻不知為何地連「order list」都受到影響。儘管後來再嘗試修改時卻又正常，但是這種一個錯就千百個錯的問題可大著呢。
此外，套用樣式的文字跟直接設定的文字又會有衝突。例如我在標題上套用了「標題4」的樣式，行距是3，可是由於排版因素，我對某個標題特地設定了行距2的格式。理論上應該是所有「標題4」的行距都會是3，只有手動設定的標題才會是行距2，但是不知為何在某次排版時，原本手動設定的標題卻被強制套用「標題4」的行距3，讓當初手動調整版面的地方全部又亂了回去。這似乎是在doc跟docx轉換時會發生的問題，不可不慎。
上圖是論文中的系統流程圖，是使用Windows Visio這個專門用來畫流程圖的工具繪製。他可以直接嵌入在Word中直接編輯，又可以成為Word的一張圖片，大致上還算是不錯用。
問題是左上角的那個「實驗對象」，應該很明顯地可以發現，那其實是不屬於Visio的獨立插入圖片。Word裡面包含了Visio物件，而Visio裡面又插入了圖片。這在編輯、列印時雖然顯示正常，但是轉換成PDF時，問題就來了。
各位觀眾，悲劇發生了，左上角的「實驗對象」一片空白。
這可能是因為Adobe Acrobat 9 Pro的Word轉換成PDF工具沒有聰明到能辨識出Word中的Visio中的圖片，導致實驗對象的圖片就白掉了。
我後來的解決方式是把Visio獨立儲存、輸出成PNG圖檔，再插入Word當中。這缺點是解析度比較差，即使是設了300dpi，印出來時還是感覺怪怪的。另一個是編輯Word時就無法一起編輯Visio檔案，失去了原本Microsoft套裝軟體整合性的意義。
要不是老師只會用Word改論文，我在想還是用Publisher或PageMaker應該是更好的排版軟體吧……
論文的印製是要請影印店幫忙。我是找學校附近的「大學數位影印店」幫忙，這家的用紙比巧藝的Double A還薄，相對上也便宜了點，應該吧？
雖然這件事情我列在文章後半部才講，但這卻是我在論文口試完之後最先做的一件事情。
上圖的右方是論文精裝版的樣子。精裝封面及書背上的文字，都必須要用金屬板來印上去（不用活字印刷嗎？），上圖左方的三塊板子就是對應到論文精裝的文字與書背。而這個金屬板需要花上一天工作天來訂做，另外計價，我打這樣的封面就要價725元。
這個金屬板打完之後，論文的封面也就是如此，製作時不得不謹慎。雖然我也是送出去之後臨時又請老闆再修改封面，太過大意orz
要請老闆幫忙印論文之前，要先把論文檔案放到影印店的電腦中開啟。為了做確認，我借用影印店電腦開啟檔案時又檢查了一下，然後發現上述Word的好幾個錯誤都出現了，於是只好緊急地在影印店電腦進行修正。我個人就霸佔了影印店電腦半個小時，實在是很不好意思。
修正完沒問題之後，老闆會先印出一份紙本再進行確認。在此我必須要記錄一下我在列印初稿時發生的紙本輸出錯誤。
首先，我當時是用PDF列印的方式將Word檔案轉換成PDF，然後將PDF帶去影印店印出。但是原本是「(Wolfe & Neuwirth, 2001)」的英文字，卻全部變成了亂碼。不是中文喔，變成亂碼的幾乎都是英文。
仔細觀察的結果，發現這些文字大多都是來自於兩年前我論文計劃書的內容。兩年前我是用Word 2003，現在改用Word 2007，文字是從Word 2003檔案中複製到Word 2007去，難道是這兩種版本的不同所造成的錯誤嗎？這個問題就連專業的五樓都無法回答。
還好，影印店的機器可以將文字調整成影像輸出來印製。雖然印出時會稍微沒那麼清晰，但不仔細看倒也沒啥感覺。
最後論文印製時就有注意到這點，一開始就調整成影像輸出，以避免了這個問題。
印出紙本時，論文上網授權書、簽名審定書也會一併影印之後混在一起檢查。順序上要注意不要搞錯囉。
確認內文沒錯之後，最後就是跟影印店確認平裝與精裝的封面顏色、精裝的字體顏色、平裝是否上光(有上光觸感比較好、也比較不容易髒)、平裝與精裝本數、預定領取時間等細節。
最後的價錢都是在取件時才計算。雖然這會讓人有種「該不會到最後影印店給我獅子大口開，給我提出超高價格」的疑慮，但時間緊迫下，我也就懶得去顧慮這件事情了。
我印製平裝15本，精裝12本，跟老闆約三天後取件。事後回去繼續處理論文建檔時又發現了電子檔中的錯誤，不過既然紙本都已經開始印製，也只好放棄修改紙本了。
約定取件時間，我來到了影印店，跟老闆娘說明來意。
老闆娘手邊封面切割的作業停了下來，示意我去找老闆。
老闆看著我，楞了一下，然後拿起電話撥打，對電話另一端的人說：「喂，同學都在我面前了，你們論文怎麼還沒送到啊？」
我也楞了，回頭看老闆娘，她開始做起印製我的論文平裝用封面的作業。
也就是說，論文精裝還沒送到，論文平裝封面也還沒做，嗚呼哀哉。
我留了手機之後請他們處理完打電話給我，還好，大概也只隔了一個多小時，論文紙本就能夠順利取件了。
一進影印店，我就發現入口附近擺著印有我的論文題目的精裝紙本。
影印機上也擺著我的平裝論文，讓我心裡鬆了一口氣。
在取件的作業上，老闆的意思是，由於本數過多不太可能一次搬完，建議我分多次取件，每次取件時都跟老闆計算結帳的本數。不過我想說這樣每次來拿都要算錢，挺麻煩的，所以請老闆一次算完結帳。
計算結果，12本精裝與16本平裝(1本平裝是多印的)，總共7846，取零頭為7800，平均一本約278元。我論文頁數兩百頁出頭，每頁打7折。然後還要加上精裝打版、封面、精裝裝訂等價格。這算不算貴我也不知道，我只知道我錢包根本就沒這麼多錢，只能摸摸鼻子趕快跑去提款機，去壓榨我那所剩不多戶頭餘額而已。
取件時除了可以拿到論文紙本之外，也可以拿到精裝打版的金屬板，就是上面照片的那三塊鐵片喔。
拿到論文紙本之後，接下來就是繼續跑完離校流程，並且將精裝論文送給口委等雜事。
寄送論文時有個小插曲。我買了A4牛皮紙袋來裝A4的論文，但是赫然發現A4紙袋根本就塞不下意外地厚的精裝論文，必須要用B4紙袋才行。明明平裝論文就塞得下去說orz
另外一件事情，你不覺得精裝論文的書角硬到有點恐怖嗎？ 如果不小心(?)打中太陽穴，搞不好還會因此殺死人耶！天啊，我居然寫了一本殺人兵器出來！唆使我這樣做的是政大圖書館，連我輔大的朋友都沒有這樣做啊！(輔大畢業論文不需要製作精裝的意思) 這當然只是開玩笑的，請勿認真看待，辦公室內殺人道具已經夠多了，不缺你這個精裝論文。
畢業學位論文的口試加上最後的印製，花了我超過一萬塊，都已經可以買一台PS3(?)了！
不過大概是因為趕著國中圖契約的關係，倒也沒有什麼開心或是慶典的氣氛，只想趕快把手續辦完而已。
總之，論文印製的過程很多細節要確認，也希望未來學弟妹也要小心啊！
(more...)
對於這四年來的學習生涯，首先我得感謝家人的支持。我是個很任性的孩子，老是隨著自己的喜好做自己感興趣的東西。雖然我是個不專心畢業的不肖子，家人還是放任我自由地學習、成長，這種開放的家庭環境算是我的驕傲吧。
這本論文能夠完成，主要要感謝陳志銘老師的指點與修改。雖然老師很忙，但能夠在這麼短的時間內將論文改到這種程度，我感到相當地欽佩。然後也要感謝擔任口試委員的卜小蝶老師、侯惠澤老師與林巧敏老師，老師們能發揮耐心看完這本枯燥乏味的論文，還給予我許多一針見血的建議，實在是獲益良多。在口試過程中給我許多協助的拉麵、范敏、上資、柏翰、育如、森吉與瑞敏等學弟妹，不好意思我這個人笨手笨腳的，大家真是幫了我很多的忙。感謝傻殿每天叫我寫論文之外還幫我校正謝辭。再來感謝國立臺中圖書館的補助，對不起，讓國中圖等了兩年。
我在這政大山中百年樓渡過的每一天，要感謝政大圖檔所的助教與同學們溫馨的大家庭（傳萱、泓翔、怡甄、巧倫、阿基、白桑、明雯、甲哥、宇帆、青親等）、陳老師實驗室的同窗（廣宗、佳琪、COS、帥哥、浚維、憶珊等）、教育部與國科會計畫愉快的助理夥伴（小頭、汽水、玉玲、小嫣紅、小咪、筱芳、祿恩、家成、裕民、立偉等），還有陪我聊天耍低能的的現充輔大動漫社（小逼、阿誠、阿米、藍風、竹竿、小k、湯豪、UMA、阿曉、九熊等）、夢想生活的瑪奇戰友（OC、阿水、亞欣、道具、七香等）、健康生活登山友（咻咻、飛凱特、大個子）、有事沒事陪我大吼發牢騷的同學們（傻殿、歪歪、無名、ONK等）、滾來滾去抱來抱去的網友們（汪汪、克羅、水倩兒等）。
研究所這段生活我玩得很開心。儘管在很多人眼中，我只是一直待在百年樓實驗室的一個角落，年復一年、日復一日。不過其實我總是透過網路、閱讀，一直在知識的國度裡四處旅遊。旅遊中的記錄化為了我論文中每篇參考文獻、表格與圖片，這一本論文就是我這四年來的遊記，而KALS知識標註學習系統更像是我旅遊之後帶回來的紀念品。也因此，論文中我寫了很多「與研究沒有直接相關」的記錄資料。比起研究本身的價值，我更珍惜我在這些日子學到的點點滴滴。
最後，我要感謝有意願承接KALS繼續研究的後人。我花了半年多的時間學習、開發的KALS，它就像是我的孩子一樣。雖然這孩子還不夠成熟，還有很多地方需要人照顧，但我也將個人未能完成的願望寄託在這孩子身上，希望這孩子能夠幫助更多的人。在此要先感謝願意照顧這孩子的後人，不論是實驗室的學弟妹、網路上看到KALS的朋友、還是未來的我。然後，大家一起繼續努力吧，加油！
布丁布丁吃布丁 僅誌
中華民國一○○年三月
(more...)
要評估一個人的閱讀理解能力並不是很容易的事情。除了閱讀理解的程度會隨著文章不同而有所變動之外，閱讀理解能力還涉及多方面的概念，根據Cromley等人(2010)提出的DIME Model，認為閱讀理解涵蓋了「先備主題知識」、「推論」、「閱讀策略」、「閱讀詞彙」與「閱讀流暢度」這五個構面；而Keshav(2007)、Bogucka & Wood(2009)、John & Roy (2010)等人又針對學術論文提出了閱讀指導，他們認為學術論文的重點通常落於「研究問題」、「研究貢獻」、「研究結果」的證據、「結論」等部分。
為了使閱讀理解能力的評估更為客觀，我採用了兩種方式來評估：問答題形式的心得報告以及四選一選擇題的測驗。並規劃為期兩週的閱讀文章作業流程來取得這些資料，而這也就是我論文中最主要的實驗設計。
這是實驗是在數位學習碩士課程中作為一個課堂報告進行。在課堂報告目的中融入了我的實驗目的，我希望能在這次的作業中讓受試者使用KALS標註系統、並取得受試者閱讀理解能力資料。
在實驗開始之前，我會課堂中說明閱讀文章與標註系統操作，並告知受試者要在閱讀過程中填寫閱讀心得報告，以及閱讀文章完畢之後要進行閱讀理解測驗的訊息。說明結束之後，我請受試者先進行閱讀文章、確認閱讀心得報告的問題，並即時回答受試者的疑惑。
課堂結束之後，受試者會有兩週的時間閱讀文章並撰寫閱讀心得報告。在這段期間中，受試者可以利用課堂討論區進行非同步的提問，我也會在最短時間為受試者排解操作上的困難。受試者可在這段期間內任意時候利用數位學習平台繳交閱讀心得報告，在兩週期限結束之前，我也會確認尚未繳交的受試者，並催促受試者完成撰寫。
兩週報告結束後，我會要求受試者利用數位學習平台填寫閱讀理解測驗，並限時30分鐘內完成。除了填寫測驗時發生了操作上的問題之外，所有受試者都能在時限內完成。
另一方面，原本應該在兩週內完成的閱讀心得報告，卻仍有部分受試者無法在期限內繳交。所以我只好延後繳交時間，讓實驗過程從14天延長到16天才能回收所有的閱讀心得報告。然而閱讀心得報告在設計上並沒有嚴格要求時間限制，因此延後繳交並不會造成太大的影響。
在本次實驗中，閱讀文章是要給數位學習碩士課程「資訊科技融入教學」作為課堂作業來閱讀，因此文章的選擇與主題會受限於實驗情境，必須要搭配課程以及授課內容大綱，課程的涵蓋主題包括了數位學習理論、教案設計、研究方法、學習風格與適性化、遊戲式學習等。另一方面，由於我的系統需要辨識「詞性」的特徵，所以選用文章必須使用中文語言。
基於以上理由，我選擇使用黃桂芝、曾憲雄、翁瑞鋒與何筱婷於2008在數位學習科技期刊發表的「採遊戲式學習教育平台之科學教育活動設計」作為指定的閱讀文章。該文章是描述如何使用e-GBL遊戲式學習平台，並應用知識螺旋理論，讓遊戲式學習導入教學過程中，採用的研究方法是數位學習常見準實驗研究法，並利用了思考風格之學習分析。其探討議題多能與實驗情境配合，因此我選擇他作為本研究實驗中的指定閱讀文章。
關於這篇文章的原文可以到開放進用期刊「數位學習科技期刊」中下載，下載位置連結在此。我也做了這篇文章的介紹投影片如下：(SkyDrive下載)
心得報告的規劃是參考Keshav(2007)、Bogucka & Wood(2009)、John & Roy (2010)等人認為閱讀學術論文的重點，並根據指定閱讀文章、實驗的情境來設計。閱讀心得報告是五題問答題，請受試者自由作答。不限字數，但在說明時提示受試者不用寫太多文字。每個題目配分皆為20分，滿分為100分。受試者必須在兩週的閱讀文章過程中繳交，但是實際上最後是延期到16天才收齊所有受試者的閱讀心得報告。
由於問答題的題目設計在評分上容易偏於主觀、難以取得公平。所以我安排兩位評分者為受試者的閱讀心得報告評分。這兩位評分者熟悉指定閱讀文章，能夠勝任評判閱讀理解能力的工作。每個題目皆有設計好的評分準則，依據題目複雜度的不同，評分準則有2到5條不等，皆有各自的配分。評分時則是請評分者依照此準則，評定受試者回答內容與此準則的符合程度來給分，以確保評分具備信度。
閱讀心得報告的題目與評分準則在評分者之間有多次討論與修正。最早設計時是6題(SkyDrive下載)，後來擬定評分準則 (SkyDrive下載)，最後的題目與評分準則如下：
在回收受試者的閱讀心得報告之後，我擷取受試者針對各五個題目回答的答案，並重新組合成五份評分表格。以第四題的評分表格(SkyDrive下載)來說，表格中包含了題目、評分準則、受試者回答內容、評分欄位。評分表格除了可以方便評分者進行評分之外，還可以讓評分者容易比較所有受試者的回答狀況，以確保評分能夠客觀、公正。
在回收受試者的閱讀心得報告之後，兩位評分者即依照評分準則給分。良好的評量工具需要具備效度與信度。閱讀心得報告的效度可從文獻探討中確定，而信度的計算方式，則讓我花了好一段時間研究。
根據余敏賢(2003)的教育測驗與統計重點整理所述，依照評分者人數與評分方法的不同，求評分者信度可用的評分方法有四種，引用表格如下：
| 評分者人數 | |||
|---|---|---|---|
| 二名 | 二名以上 | ||
| 評分方式 | 名次法 (等級資料) | Spearman等級相關係數 | Kandall和諧係數 |
| 分數法 (等距資料) | Pearson相關係數 | 變異數分析 (Hoyt分析法) | |
根據我的情況，應該採用Pearson相關係數。但是卻也有許多學者認為這是錯誤的作法。
大陸學者徐曉鋒與劉勇(2007)講解James(1993)的組內評分者間一致性評估的方式，他們指出信度與一致性的不同，此外也有組間與組內的差別。柴惠敏(2007)認為評分者信度評估不應該用Pearson相關係數，因為Pearson相關係數的前提是兩個變項應該是獨立，而我目前資料狀況中，兩位評分者評定出來的分數卻是相依的。他建議應該使用Shrout與Fleiss提出的組內相關係數分析 (intraclass correlation coefficient, ICC)來進行分析。但是ICC需要確認許多前提，竹家庄blog中有專家回答讀者問題中可以得知，這的確不是簡單、隨便就可以使用的一種工具。最後讓我打退堂鼓、回來使用Pearson的是庄主最後的一段話：
定量分析与其它绝大多数知识不同，只能循序渐进、一个台阶一个台阶往上爬。如果对进阶的方法不甚了了，与其大胆试用（大部分情况下会用错，而且错了还不知道原因何在），我强烈建议使用熟悉的经典方法，如回归、方差、crosstabs等等。经典方法也许用到你的数据上会有些问题、但那是已知的问题，而新方法可能带来的风险是无法预知。如果医生不了解某一新药，绝不敢乱用，而会使用已知作用有限并有副作用的旧药。我们是给数据看病的Data Doctor，也要有如此的基本医德。共勉。
回收受試者的閱讀心得報告之後，兩位評分者即依照評分準則進行評分。評分結果再以Pearson相關係數進行分析，取得Pearson相關係數r = 0.832，雙尾的顯著性p = 0.000 < 0.001，顯示兩位評分者的評分具有顯著的相關性。據吳明隆(2009)的相關係數評判準則來看，r = 0.832屬於高度正相關，也就是評分者A認為高分的受試者、評分者B也認為高分，反之亦然。
| 相關係數 | 相關程度 |
| 0.7以上 | 高度相關 |
| 0.4-0.69 | 中度相關 |
| 0.1-0.39 | 低度相關 |
| 0.1以下 | 弱或無相關 |
由於每個領域的評量工具都有不同的信度準則，r=0.832作為評分者信度來使用是否達到理想的信度水準，這點我還沒有找到足夠的文獻來支持。然而我的研究並不是專注於發展一個評量工具，所以分析到這邊我自認應該足矣。
基於以上信度水準，我可以有信心地將兩位評分者的分數取平均結合，成為最後的報告分數。簡單來說就是下圖：
除了閱讀心得報告之外，我也根據Cromley等人(2010)提出的DIME Model來設計四選一的閱讀理解測驗。
DIME Model (Direct and Inferential MEdiation Model，直接與推論調解模型)是一個閱讀理解測驗設計的模型，Cromley等人認為「閱讀理解能力」(Comp. = comprehension)是由「先備主題知識」(Background)、「推論」(Inference)、「閱讀策略」(Strategies)、「閱讀詞彙」(Vocabulary)與「閱讀流暢度」(Word)這五個構面組成。並在2010的實驗中以生物學專業領域的學術文本作為指定閱讀文章，探討是否DIME Model也適用於特定領域的文章上。研究結果發現，先備主題知識、閱讀詞彙、閱讀策略與推論跟閱讀理解有顯著的影響。而沒有顯著影響的閱讀流暢度，可能是由於學術文章的重點與閱讀快慢並沒有太大影響的關係。
我採用DIME Model的架構來設計閱讀理解測驗，並依據Cromley等人的發現而捨棄閱讀流暢度的構面，僅以先備主題知識、推論、閱讀策略與閱讀詞彙這四個構面來設計題目。依照DIME Model的設計概念來看，只要檢測這四個構面即可推測出綜合的閱讀理解能力。
根據DIME Model題目設計的說明，配合我在實驗中的指定閱讀文章等實驗情境之後，四個構面的設計理念如下：
依照以上四個構面與設計理念，最後我設計出15題的閱讀理解測驗 (SkyDrive下載)。並在為期兩週的閱讀文章期間結束之後，於數位學習平台上進行限時30分鐘的測驗，測驗完成之後即進行統計分析。
比起問答題的心得報告，選擇題的測驗較容易評估，不僅方法客觀、爭議性也較少。在此我主要參考了鄭湧涇(1998)的評量結果統計分析步驟：
難度指數(P) = {[T-(RU+RL)]／T}x100
RU :高分組答對該題人數
RL :低分組答對該題人數
T :全部取樣人數，即高、低分組試卷份數之和
鑑別指數(D) =（RU-RL）／(1/2)T
最後我再用庫李法(Kuder-Richardson method，1937)中的KR20來評估內部一致性信度。但是必須說明的是，許多評估測驗評量的指導中並沒有說明他們是使用哪些數值作為計算KR20的數據，到底是要用全部受試者的答題狀況、還是應該要像難度指數與鑑別指數一樣只取用高分組、低分組的答題狀況來計算，似乎較難以有所定論。可以確定的是，僅使用高分組與低分組來計算KR20信度係數的結果會比採用全部受試者的結果還要高，也就是數字看起來會比較漂亮的意思。所以以下KR20內部一致性信度係數我只有使用高低分組的受試者來計算。
19位受試者完成測驗之後，我就可以依據測驗結果來進行分析。
初步分析結果顯示整體難度指數為36%，比正常情況下的50%還要簡單很多，也不到理想的37.5%；整體鑑別指數為0.29，屬於不佳的試題，必須加以改進或棄卻(Ebel, 1972)；整體無效選目高達36.8%，也就是完全不會有人去選、一看就知道是錯誤的選目數量。而最後的KR20內部一致性信度為0.56，在10到15題的小型題庫中算是可接受的範圍(林朝順等，2005)，但不算理想。
| D值 | 評鑑 |
|---|---|
| 0.40以上 | 極佳的試題 |
| 0.30-0.39 | 尚可的試題，可能需要稍加改進 |
| 0.20-0.29 | 不佳的試題，必須加以改進或棄卻 |
| 0.19以下 | 極差的試題，應棄卻 |
為了提高這份測驗的信度，參考Ebel (1972)的建議，將題目中鑑別指數等於或低於0.2的題目刪除，修正整份測驗。刪減之後題目數量從15題降至8題，整體難度指數提高到47.5%，屬於理想的程度；整體鑑別指數提高到0.6，屬於極佳的程度；無效選目降低到28.3%，KR20內部一致性信度更是提高到0.77。
整體而言，修正後的測驗都顯示出較理想的狀況，因此我將之作為「測驗分數」來採用。修正過程簡單來說就是下圖：
閱讀理解測驗的詳細結果請看投影片：(SkyDrive下載)
在實驗中利用兩種評量工具可以取得兩項數值：「報告分數」與「測驗分數」。我以Pearson相關係數再做分析，計算出r = 0.616，雙尾顯著性p = 0.005 < 0.01，屬於顯著的中度正相關，顯示這兩項數值都可以測量出同一種概念，也就是閱讀理解能力。接著我將兩項數值以比例的方式標準化，並取平均結合，得到最後的閱讀理解分數。處理方式如下圖：
整個處理過程的分數列於下表：
| 修正前 測驗分數 | 測驗分數 | 評分者A 報告分數 | 評分者B 報告分數 | 報告分數 | 閱讀理解 分數 | |
|---|---|---|---|---|---|---|---|
| 1 | 12 | 6 | 48 | 50 | 49 | 0.84 | |
| 2 | 12 | 6 | 53 | 75 | 64 | 1 | |
| 3 | 12 | 5 | 46 | 65 | 55.5 | 0.81 | |
| 4 | 9 | 4 | 40 | 31 | 35.5 | 0.49 | |
| 5 | 10 | 3 | 46 | 52 | 49 | 0.54 | |
| 6 | 10 | 4 | 39 | 52 | 45.5 | 0.6 | |
| 7 | 8 | 4 | 26 | 14 | 20 | 0.32 | |
| 8 | 8 | 2 | 34 | 41 | 37.5 | 0.31 | |
| 9 | 11 | 4 | 37 | 48 | 42.5 | 0.56 | |
| 10 | 8 | 2 | 47 | 47 | 47 | 0.41 | |
| 11 | 10 | 5 | 59 | 61 | 60 | 0.86 | |
| 12 | 8 | 1 | 40 | 42 | 41 | 0.25 | |
| 13 | 9 | 4 | 32 | 46 | 39 | 0.53 | |
| 14 | 10 | 5 | 57 | 63 | 60 | 0.86 | |
| 15 | 10 | 6 | 54 | 63 | 58.5 | 0.94 | |
| 16 | 9 | 4 | 48 | 60 | 54 | 0.69 | |
| 17 | 12 | 6 | 51 | 56 | 53.5 | 0.88 | |
| 18 | 6 | 2 | 17 | 20 | 18.5 | 0.1 | |
| 19 | 7 | 2 | 40 | 30 | 35 | 0.28 |
我將以上所有過程以投影片方式說明，投影片如下：(SkyDrive下載)
這些資料都是我論文的一部分，但是在寫這篇文章的時候，我並不是抱著我在寫論文的心態而寫，而只是單純地記錄我是如何處理這些資料以及這之中遇到的困惑。實際上論文時可能會將一些無法解答的疑惑刪除、修飾，讓論文寫起來漂亮一點。
儘管為了我花了許多精力在蒐集文獻、規劃如何評估閱讀理解能力，但是平心而論，這並不能非常準確地說這樣子就能評估閱讀理解能力，只能說是盡可能地去得到受試者在閱讀理解能力上高低的量化數值而已。就如我內文所說的，這個研究並不是發展閱讀理解能力評估量表或是心得報告規範工具，在撰寫這份論文之中，我最多就做到這邊而已。
被迫採用這種不穩定的評估方式，最大的原因還是受限於實驗情境中，必須要配合課堂內容而選定文章。碩士生閱讀的文章不會是一般常見的泛用讀本，自然也難以有客觀、公正的評量工具。迫於這種情況下只能自己規劃，但這不管怎麼做都很難讓人真的信服。
最理想的解決方式還是換一個實驗情境、採用經過公開評量的工具，例如PIRLS(Progress in International Reading Literacy Study，促進國際閱讀素養研究)或是全民英檢使用的閱讀文章與評量工具，就能夠避免陷入這種窘境。
事實上，在之前的規劃中，我的確是打算採用PIRLS的文章作為實驗的工具。但是人算不如天算，在種種無奈與時間限制之下，我只能採用目前這種作法。然而換個角度想想，很多時候我們很難去創造一切盡如己願的環境來評估資料，像現在這樣能夠配合場域、情境即時地設計一個評估方式，說不定這才是比較貼近現實的狀況。變化並沒有錯，錯的是無法因應變化的人，我是這樣子認為的。
即使如此，我想我在評估閱讀理解能力的過程中，應該還是有些地方值得別人參考、使用，所以才將資料彙整、撰寫成這篇文章。希望能夠幫到大家的忙。
現在論文的進度來到了「分析資料」的步驟。很多人會問我：「論文寫得怎樣了？」我都會回答：「一個字都還沒寫。」是的，論文還沒正式動筆寫，因為我現在還在數字之間打轉。
距離上次論文進度報告居然隔了快要兩個月的時間，這段時間我到底在幹嘛呢？其實是因為12月底的時候我就在進行論文的實驗。由於擔心受試者會有霍桑效應的影響，也就是他們發現到自己原來就是實驗的對象，而改變了原本自然的行為，所以我想應該是要隱瞞「這是一個實驗、我正在觀察你們」的這個訊息。
實驗的過程中其實有很多想跟大家分享的資料，可是礙於這個限制，我自己也悶了好久。現在實驗已經結束，進入分析資料的階段，也跟老師確認了一下，就算公開應該也是不受影響，所以接下來我會陸陸續續地在這邊敘述目前論文的進度。
由於實驗進行方式與當初計劃書規劃的有很大的不同，所以連研究目的、研究問題、研究架構等設計都要全部重寫。會變動我覺得很正常，跟人扯上關係的計畫通常都無法如願地進行，這並不是任何人的錯。如果真要怪是誰的責任，那我會認為是自己需要去承擔這種變更帶來的風險與額外工作。
簡單來說，整個研究架構都要做調整。從上週與老師討論時講的研究架構投影片 (SkyDrive下載) 讓老師直呼：「你的研究怎麼會變成這樣？」就可以知道我的論文變動的程度大到令應該是很熟悉的老師都覺得很驚訝。
總而言之，現在就是要改研究架構。我希望整個研究架構能寫到簡單、直覺、易懂，所以不斷地翻修，並嘗試跟別人說明、邊講邊反省看看自己是否寫得好或壞。
目前的論文的標題我擅自將之修改成「基於標註行為之知識萃取研究與應用」，而研究目的主要有三項：
根據以上研究目的，我需要探討以下研究問題才能達到這些目的。其中「發展」目的是要仰賴文獻探討與系統發展，因此只需要針對「驗證」與「改善」來設計研究問題：
「驗證」目的
「改善」目的
上述研究問題中主要需要定義的有四個名詞：
基於以上五個研究問題，就可以整理成下面的研究架構圖：
而這五個研究問題又必須蒐集不同的資料、做不同的統計與分析方法來處理，才能回答這些問題。詳細的內容就請看投影片吧：(SkyDrive下載)
由於分析方式與實驗室中常見的準實驗研究法有很大的不同，各種因素之間要如何配對比較都需要構思，再繼續分析的這段日子裡，研究架構還會持續地被修正吧。
另一方面，不熟高級統計的我實在是無法貿然地使用單因子變異數等統計工具，就算統計軟體跑得出來，但我也不會解釋或是確認各種數字。儘管目前我只是使用初統的獨立樣本T檢定與Pearson相關係數，一方面我想這已經足以解釋之外，另一方面是我預期這些因素相關都不太能達到統計上的顯著性，因此到最後還是需要參雜許多質性的個案觀察來解釋吧。
(more...)
序列分析是一種行為分析的工具，國內研究者侯惠澤老師是應用序列分析數位學習行為的專家。最近聽老師演講受到他的啟發，我也去借了Bakeman跟Gottman(1986)的「Observing interaction : an introduction to sequential analysis」來看，了解序列分析是怎麼分析資料，順便將之整理成方便計算的小工具，供大家使用。
話說回來，序列分析到底是什麼呢？
在做研究記錄的時候，我們可以把各種「事件」進行「編碼」，然後依照時間順序排列，就可以得到一連串的事件序列觀察樣本。以一群分組合作的學生為例，研究者在觀察他們行為的時候，可以將「各做各的」編碼為「A」、「討論作業」編碼為「B」、「創新意見」編碼為「C」、「聊天」編碼為「D」，於是可以得到「ABDCACDABACADCB」這樣子的資料。從這邊我們可以探討學生行為轉換究竟哪一種比較明顯的議題，最後可能會發現「討論作業」轉換到「創新意見」有顯著高的頻率，那麼我們就可以說學生在「討論作業」時比較容易進入到「創新意見」，並畫出本頁開頭的那張圖。
附帶一提，其實頁首的那張圖是序列分析工具範本觀察樣本算出來的結果。從範本觀察樣本輸入的「ABBDCCAABCBDBCBBBBCDDBCBCBCBBDBCDB……」可以變成這樣的轉換示意圖，你就可以知道序列分析多麼有用了。
進行序列分析研究需要幾種知識：
其中1跟2是許多質性研究內容分析法都會探討的議題，而在序列分析裡面更傾向於行為事件的編碼。3跟4則是利用機率統計z分數二項式檢定的顯著性來描述、解釋資料的作法，這就是序列分析需要學習的關鍵。
為了跟大家解釋怎麼去找出「ABDCACDABACADCB」的關連、並計算其顯著性，我做了一個簡單的投影片供大家參考：(SkyDrive備份)
如果你覺得計算序列分析很麻煩，也可以用用看我寫的序列分析工具，應該有助於你快速分析出資料的規則。至於要怎麼觀察、編碼，那就不是我的領域了，請努力進行文獻探討跟身體力行吧！
主要功能差不多算是完成了，雖然還有一些bug，但總算是具有可以拿出來見人的程度。儘管我認為如果要讓使用者很開心地使用KALS!標註工具的話，仍有許多需要調整的地方，不過進度有點迫在眉睫了。
以下是KALS!標註工具的說明內容，有興趣的讀者可以從說明一窺KALS!的介面與功能，也算是論文進度到一個段落的報告吧！
KALS!標註工具是一種附掛在HTML網頁上的標註工具。他可以剖析、調整HTML的內文，將原本靜態的網頁加上「標註」的功能。
使用者可以透過KALS!標註工具為網頁上的文字新增標註並填寫補充的筆記，也可以瀏覽其他人的標註、針對其他人的標註進行討論，或是將其他人的標註加入「喜愛清單」，給予他一個鼓勵。
KALS!標註工具會在網頁上將重要性較高的範圍文字標示為「紅色的文字」，並根據使用者的標註行為，適時地提供閱讀技巧的「建議」與「推薦標註」，進而提昇使用者的閱讀能力。
KALS!操作介面
工具列介面：未登入的狀態
使用KALS!標註工具的網頁上方會固定顯示工具列。工具列在未登入之前的顯示狀態如上圖，左方是KALS!標題，右邊則是可以使用的功能，包括「登入」、「註冊」、「標註顯示」與「說明」。請以滑鼠點選各功能開啟。
工具列介面：登入之後的狀態
當您登入或註冊之後，工具列會隨著您的帳號而改變。左方是KALS!標題，右邊則是會顯示您的「名字」，以及其他可以使用的功能，包括「帳號資料」、「登出」、「標註顯示」、「說明」。
網頁文字上的標註顯示
KALS!會依照您的登入狀況而在網頁上呈現不同的標註顯示。各種標註顯示如下：
建議工具的標註顯示
在使用建議工具時，則會顯示需要建議的標註與推薦標註的範圍。
標註工具介面
當您在網頁上選取要標註或瀏覽的範圍之後，標註工具便會自動顯示在您選取範圍的附近。
標註工具的功能包括：
標註編輯器介面
您能透過標註編輯器新增、編輯標註。標註編輯器的功能包括：
標註編輯器的標註類型選單
點下標註類型(預設是顯示「重要」)，右邊就會帶出標註類型選單。每個標註類型都表示不同的標註策略，目前有五種標註類型：
標註編輯器的筆記編輯器
您可以利用筆記編輯器補充標註的內容。筆記編輯器具備所見即得的功能，您可以為您的筆記添加格式，像是字體粗細、大小、顏色。
全螢幕的筆記編輯器
點選筆記編輯器左上角的「
最大化」按鈕，就可以放大筆記編輯器的編輯空間。除此之外，筆記編輯器也會顯示完整的工具列。放大的筆記編輯器中還可以插入表格、圖片、甚至是YouTube的影片。
標註工具中的標註列表與標註選單
標註列表是條列您選擇範圍之下重疊的所有標註。條列的規則為：
標註列表介面
標註列表的介面中包含以下功能：
加入/
移出喜愛清單：您只能對不是您的標註進行加入/移出喜愛清單的動作。當您將該標註加入喜愛清單之後，這個功能就會變成移出喜愛清單。 
觀看建議提示：如果標註上有顯示建議提示的圖示，表示有建議要給這篇標註。請點選此圖示來開啟建議工具，觀看建議的內容吧。 
標註選單介面之您自己的標註
標註選單介面之別人的標註
當滑鼠移至標註列表的標註上時，標註旁邊會顯示標註選單。標註選單會依照標註的狀況而有不同的功能，包括：
標註討論視窗介面
當您在標註列標中要「回應」某個標註、或是點選「瀏覽討論」時，就會開啟標註討論視窗。標註討論視窗的功能包含：
建議工具介面
當您新增標註之後，KALS!會在適當的時機提供您標註的建議。您也可以在標註工具的標註列表中點選
觀看建議提示，以顯示該標註的建議。建議工具的功能包括：
要使用KALS!撰寫標註的話，一定要先登入才行喔！
登入視窗介面
如果您要切換帳號的話，請使用登出功能。
登出視窗介面
您帳號的名字會顯示在標註上，預設是使用電子信箱地址中帳號的名字，您也可以自訂您的名字。
帳號資料視窗介面
帳號資料視窗中的開啟密碼變更視窗連結
密碼變更視窗介面
KALS!標註操作相關的所有動作，都是從選取標註範圍開始。
選取提示介面
附帶一提，英文文字會依據空格斷開成為一個一個的字，標點符號也是可以選取的喔。
選取標註範圍之後，便可以在標註工具的標註列表中瀏覽跟此範圍重疊的標註，而標註列表下方則是會顯示其他人的標註。
當您在撰寫標註時，別忘了看一下這段範圍有誰標註過。如果您覺得別人的標註寫得很不錯，您可以把他
加入「喜愛清單」。下次顯示標註列表時，他的標註就會排在更上方。
KALS!只會將推薦的標註顯示在網頁文字上，而不是顯示所有人的標註。因此一般來說是不容易知道別人的標註在哪邊。這是為了避免大量標註造成使用者的混亂而作的過濾。
已經新增的標註範圍是無法編輯的，所以在新增標註的時候要慎選標註範圍，否則就只能刪除重寫囉。
愛心圖示的用處是？愛心的意思是
加入或
移出喜愛清單。加入喜愛清單，表示您對他的標註的認同。
您可以對別人的標註進行加入/移出喜愛清單的動作。當您將該標註加入喜愛清單之後，這個功能就會變成移出喜愛清單。
對話與筆圖示的用處是？對話與筆的意思是
建議提示。如果標註上有顯示建議提示的圖示，表示有建議要給這篇標註。如果您要查看給您的標註的建議，請點選此圖示來開啟建議工具並觀看建議的內容吧。
建議與推薦只是供您參考，並不是強制性的規則，您也可以選擇不贊成，並隱藏建議。
不過，無論您是贊成或是不贊成，都請盡量選擇建議回饋的其中之一。您的建議回饋會改善KALS!的建議與推薦的方式，讓之後的建議與推薦更為準確。
由於電腦技術無法完美地剖析中文語法，因此難以避免的是會發生誤判的情況。如果您遇到了類似的建議錯誤，請回報給系統管理者以求得改善。
如果您覺得網頁文字上的標註顯示太過雜亂，您也可以關閉標註顯示。
標註顯示視窗介面
歡迎大家多多提供建議喔！
(more...)
Comments