:::

DSpace-DLLL教學投影片 / DSpace-DLLL Teaching Slides

DSpace-DLLL教學投影片 / DSpace-DLLL Teaching Slides

image

最近幫老師上課教了DSpace-DLLL,教導學生如何用DSpace-DLLL建檔、規劃社群與類別、設計遞交表單。在此公開教學的內容。

In recent days, I taught students how to use DSpace-DLLL to archive items, organize communities and collections, design submission input forms (metadata schema). I public my teaching materials in this article.


什麼是DSpace-DLLL? / What is DSpace-DLLL

DSpace-DLLL係以DSpace 1.5版本為基礎,結合實驗室長久使用DSpace發展數位典藏系統專案的經驗,改良並同樣以BSD條款釋出開放給讀者使用的數位典藏軟體。DSpace-DLLL系統與原本的DSpace 1.5版本有許多改良的地方,列舉如下:

  1. 以臺灣國情為主的中文化介面。
  2. 加強DSpace著錄數位典藏後設資料的功能。使用者可以用已經具備的後設資料格式,以輸入文字、上傳檔案等多種輸入型態來著錄後設資料。
  3. 在網頁使用介面裡加入許多管理工具,諸如設定檔編輯、語系檔編輯、遞交表單編輯、重新啟動Tomcat伺服器與記錄檔查閱等。即使不熟悉各個設定檔的編輯語法細節,讀者也可以在網頁使用介面上輕易地調整這些設定。
  4. 改良部份操作細節、版面配置,讓使用上能夠符合一般使用者的邏輯與習慣。

我之前已經用「談DSpace-DLLL系統」一文來介紹了一些DSpace-DLLL的事情。關於DSpace-DLLL的細節會在專書中介紹。

以下是以DSpace-DLLL的教學內容。跟專書中有點不一樣的是,我針對社群、類別、文件這三個重要但容易混淆的差異,我用目錄、Excel、表格內容來比喻:

2014-03-31_15-39-00

針對Metadata Schema概念設計的部分,我建立了一份「遞交表單規劃表」供初學者規劃。

image

遞交表單規劃表下載:Google DriveOneDriveBox.net

Part.1 資料建檔:新增遞交作業

大綱:

  • 進入並登入您的DSpace
  • 文件建檔:新增遞交作業
  • 檢視已建檔的文件

檔案下載:Google DriveOne DriveBox.net

Part.2 建構DSpace的架構

大綱:

  • 修改系統設定
    • DSpace-DLLL網站名稱
    • 編輯網站介紹(頭條新聞)
  • 介紹內容資料組織架構概念
    • 新增社群(community)
    • 新增類別(collection)

檔案下載:Google DriveOne DriveBox.net

Part.3 設計遞交表單

大綱:

  • 遞交表單介紹
  • 遞交表單規劃表
  • 遞交表單新增與編輯

檔案下載:Google DriveOne DriveBox.net

Part.4 遞交作業與問題回報

大綱:

  • 新增遞交作業
  • 修改文件與多媒體轉檔
  • 常見錯誤與問題回報

檔案下載:Google DriveOne DriveBox.net


心得:感謝雲端平台 / Thinking: Thanks for Proxmox VE

我教DSpace已經教很久了,不管是教使用操作、還是教系統開發,但直到現在,我還是覺得那些metadata schema什麼的概念,是很難一下子就搞懂得的事情。所以這次的教學,我也比上次又更改進了一些地方。希望大家都能夠透過簡單的比喻、熟悉的討論工具,能夠更容易操作DSpace-DLLL。

另外,多虧實驗室的Proxmox VE虛擬機器IaaS架構,以及之前把DSpace-DLLL改成OpenVZ的形式。一台實體伺服器跑11台DSpace-DLLL,運作起來仍游刃有餘。這比起去年教學時的狀況還要好上許多了。

這次所上開設的雲端運算研習班(名字尚未確定)中,我會去介紹實驗室的雲端平台架構,裡面會講我們是如何用開放原始碼的軟體來整合虛擬網路與虛擬機器,來提供快速提供大量伺服器服務的功能。有興趣的話請報名。

(more...)

EverCam 7之Power Point簡報錄影教學 / EverCam Introduce

EverCam 7之Power Point簡報錄影教學 / EverCam Introduce

image

最近我做了一個簡單的簡報,教大家如何使用EverCam錄製教學影片。然後聊一下我對MOOCs的一些想法。

This is a simple slide to introduce how to record Power Point reporting video with EverCam. The research issues of MOOCs are dicussed.


投影片下載 / Slide Download


心得:不斷進步的數位教材 / Conclude: Digital Learning Keep Growing

多年以前,由於所上要開設數位在職專班,那時候大家都在研究如何錄製數位教材,我開始認識了Power Cam這套軟體。後來在全國通識網的計畫中,接觸其他老師使用的串流大師。在學弟撰寫的論文中,探討了許多不同的數位教材錄製方式。也有回歸手寫類型的Khan學院。而這些蓬勃發展的數位教材錄製結果,造就了各種MOOCs(磨課師)的興盛。

這些數位教材的用意就是要將知識更有效率地帶給大眾,因此比起傳統的書籍、後來的資料庫、電子書來說,圖書館現在也應當開始注重MOOCs的典藏與使用了。我這裡列舉幾個簡單的研究方向供大家參考,希望對此感興趣的人可以深入研究、探討:

  • MOOCs如何編目、索引、規劃Metadata Schema?讓讀者能夠有效率的使用MOOCs
  • 圖書館自動化系統如何整合MOOCs的檢索系統?例如將圖書,以及相關主題的MOOCs結合在一起,讓讀者能一邊看書一邊進行學習。
  • MOOCs長期典藏與資料交換研究。就如同當初研究數位典藏一樣,MOOCs也會遇到相同的問題。

然後數位學習領域也可以針對MOOCs繼續深入探討,舉例來說:

  • 找尋有效利用MOOCs自學的方法。只有教學影片就能有效學習嗎?不同使用情境會有不同的答案,仍值得繼續探索。
  • 針對MOOCs設計方式進行探討。要直接錄製畫面呢?要EverCam投影片+人頭+大綱呢?還是要Khan的手寫畫面呢?先別論廣告商總是說自己最好,在技術蓬勃發展的現代,我們需要去釐清這些不同方法帶給學習者的影響
  • MOOCs與學生互動的問題。單方面看影片就是學習嗎?會不會陷入過於被動的侷限呢?MOOCs如何解決這個問題呢?
  • MOOCs融入課堂教學:翻轉教室。教師如何更有效率地使用MOOCs?

世界正在努力變得更美好,我們也應該更加關注這些議題,而不要畫地自限囉。

(more...)

從紙本到數位閱讀策略的轉變 / Exploring the online reading comprehension strategies used by sixth-grade skilled readers to search for and locate information on the Internet

從紙本到數位閱讀策略的轉變 / Exploring the online reading comprehension strategies used by sixth-grade skilled readers to search for and locate information on the Internet

image

這是課堂中的論文閱讀筆記。作者詳細比較了印刷文本(printed text)、離線超文本(hypertext)與網際網路文本(internet text)三種不同的特性,並規劃實驗以分析學生在傳統印刷文本到數位文本上閱讀策略的差異。這篇論文為數位閱讀紮下了良好的理論基礎,值得一看。

This is a course reading note. Author compared the difference of printed text, hypertext and internet text. An online reading experiment was conducted to investigate the reading comprehension strategies. This paper is a good foundation of digital reading research.


書目 / Bibliography

Coiro, J., & Dobler, E. (2007). Exploring the online reading comprehension strategies used by sixth-grade skilled readers to search for and locate information on the Internet. Reading Research Quarterly, 42(2), 214–257. doi:10.1598/RRQ.42.2.2

摘要 / Abstract

  • 本研究是為了探索網際網路閱讀理解的特性。
  • 本研究從美國3所150位6年級學生中挑選了11位具備高度閱讀能力、閱讀報告、網際網路瀏覽經驗的學生。
  • 這11位具閱讀能力的學生各別進行兩種實驗任務,一是閱讀Yahooligans!搜尋引擎上的多媒體網站。實驗之後,學生會被詢問關於他們在每一階段閱讀任務中使用的閱讀策略。
  • 實驗結果採質性分析,包含四個四個面向,分析資料是透過蒐集方式包括放聲思考法(think-aloud protocols)、實地觀察法(field observations)以及半結構訪談法(semistructured interviews)等四種方法來找出線上閱讀理解的特性。
  • 結果發現成功的網際網路數位閱讀需以下三種相似但更複雜的閱讀策略應用:
    1. 先備知識來源 (prior knowledge sources)
    2. 推論策略 (inferential reasoning strategies)
    3. 自律策略 (self-regulated reading processes)
  • 作者認為網際網路線上閱讀中由讀者自行建構的閱讀文字也許可以解釋線上閱讀的複雜性。此外本研究也包含了一些文獻探討並提供未來研究的建議。

筆記 / Note

(more...)

實體與虛擬檔案史料運用於教學活動 / Archives, Documents, and Hidden History: A Course to Teach Undergraduates the Thrill of Historical Discovery Real and Virtual

實體與虛擬檔案史料運用於教學活動 / Archives, Documents, and Hidden History: A Course to Teach Undergraduates the Thrill of Historical Discovery Real and Virtual

image

這是一篇課堂的閱讀筆記。本文旨在講述檔案教育的重要性,文中作者也在圖資系中開課教導檔案學,並介紹了他的教學大綱。

This is a course reading note. Author emphasised the importance of archival education. This article describes how author teach a course “Archives, Documents, and Hidden History” in Baruch College library department.


書目 / Bibliography

Roff, S. (2007). Archives, Documents, and Hidden History: A Course to Teach Undergraduates the Thrill of Historical Discovery Real and Virtual. The History Teacher, 40(4), 551-558. doi:10.2307/30037050

筆記 / Note

嗯,老實說,我覺得寫得不是很好啦,跟前幾篇相比XD 所以讀起來也很隨便就是了!

(more...)

運用批判性思考進行歷史研究指導 / The Archivist as Educator: Integrating Critical Thinking Skills into Historical Research Methods Instruction

運用批判性思考進行歷史研究指導 / The Archivist as Educator: Integrating Critical Thinking Skills into Historical Research Methods Instruction

image

這是一份課堂閱讀筆記。作者從歷史研究方法中的批判性思考理論為基礎,將之應用於檔案教育活動上。批判性思考的教學方式可以用於教學設計研究上,值得參考。

This is a course reading note. Author incorporation of critical thinking from historical research methods into archival education course. We could apply critical thinking skill into teaching design to develop a learning research.


書目 / Bibliography

Robyns, M. (2001). The Archivist as Educator: Integrating Critical Thinking Skills into Historical Research Methods Instruction. American Archivist, 64(2), 363-384. Retrieved from http://archivists.metapress.com/content/Q4742X2324J10457

摘要 / Abstract

  • 檔案館員(archivist)最近紛紛舉辦工作坊以及實務課程討論如何讓學生更能夠知道並使用檔案史料(archival materials)。
  • 結合批判性思考技巧(critical thinking skills)到教學課程中可以明顯地強化並改善學生對於一手史料(primary source)的分析與詮釋能力。
  • 這份文章首先介紹批判性思考教學,然後敘述Northern Michigan大學的檔案館員如何成功地將批判性思考整合到歷史研究方法課程中。

筆記 / Note

(more...)

大學生檔案使用指導 / Teaching Undergraduates to Think Archivally

大學生檔案使用指導 / Teaching Undergraduates to Think Archivally

image

這是一份課堂閱讀筆記。這份研究是一份應用檔案史料與檔案學理論設計的完整教案,附有長達28頁的兩份課程大綱。儘管研究方法並不若教育學般地嚴謹,但卻是檔案應用教育的一份紮實的起點。

This is a course reading note. This article applied archival materials and theories to design a well-organized teaching plan. There are two course syllabuses in 28 pages appendix. Although the research method of this article is not so scientific like a education research, it’s a good beginning toward archival education research.


書目 / Bibliography

Nimer, C. L., & Daines III, J. G. (2012). Teaching Undergraduates to Think Archivally. Journal of Archival Organization, 10(1), 4-44. doi:10.1080/15332748.2012.680418

摘要 / Abstract
  • 這份個案研究描述了L. Tom Perry特藏的建立以及一堂教導大學生檔案素養(archival literacy skills)的課程。
  • 這篇文章回顧了目前的檔案教學以及描述這些檔案要如何用於授課內容。
  • 文中也敘述如何評估課堂的成果與效益。

關鍵字:

  • 檔案素養 (archival literacy)
  • 檔案知能 (archival intelligence)
  • 檔案教學 (archival instruction)
  • 課程設計 (course design)
  • 課程整合 (course integration)

筆記 / Note

(more...)

以檔案原件與GIS系統的歷史地理教學 / Archival Materials and the Teaching of Historical Geography and Historical GIS

以檔案原件與GIS系統的歷史地理教學 / Archival Materials and the Teaching of Historical Geography and Historical GIS

image

這是一篇課堂閱讀筆記。本篇將檔案用於歷史地理的教學,講述了歷史地理的特性,並介紹寶藏獵人與GIS研究海報兩種教學方式,非常有意思。

This is a course reading note. This article introduce the teach of histroical geography include two teaching activity: “treasure hunt” map and using GIS to create a research poster.


書目 / Bibliography

Dobbs, G. R. (2011). Archival Materials and the Teaching of Historical Geography and Historical GIS. Journal for the Society of North Carolina Archivists, 9(1), 2-14. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&db=lih&AN=70270330&lang=zh-tw&site=ehost-live

摘要 / Abstract

  • 就像歷史學家(historians)一樣,歷史地理學家(historical geographer)仰賴檔案館藏中的一手史料(primary source materials)作為主要的資料來源,再使用不同的觀點來處理這些史料。
  • 本文是作者以歷史地理的角度,讓學生對於檔案史料進行討論的練習活動。
  • 文末建議可以改進檔案的取用,以促進歷史地理的學生與專家進行研究。

筆記 / Note

(more...)

圖資學中無形的基礎 / The Invisible Substrate of Information Science

圖資學中無形的基礎 / The Invisible Substrate of Information Science

image

這是一篇課堂上的論文閱讀筆記,這篇是圖資學專家Bates的彙整論文,她侃侃而談圖資學的理論源流,是篇充滿啟發性的入門文章。

This is a course reading note. The author Bates is one of most important professional of Library & Information Science. She elucidated this disciplinary’s paradigms and theories. I very recommand newbie to read this article.


書目 / Bibliography

Bates, M. J. (1999). The Invisible Substrate of Information Science. Journal of the American Society for Information Science, 50(12), 1043-1050. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&db=bth&AN=2365455&lang=zh-tw&site=ehost-live

筆記下載 / Note Download

摘要 / Abstract

  • 圖書資訊科學(information science,早期是指資訊科學,我以現在泛用的圖資學代稱)中詳盡且傑出的典範(paradigm)已經廣為人知且備受注目。然而,每個領域的研究者有時候並不見得察覺或思考過典範的內涵。
  • 本文章旨在闡述圖資學那些不為人知的典範。
  • 本文特別強調資訊科學係立於「元科學」(meta-science)的地位──研究與理論主要用於處理來自其他領域與活動所產生文件。
  • 比起「得知」(knowing)的資訊,本領域專業實務的心態更傾向於主要環繞於資訊的「再現」(representation)與「組織」(organization)。
  • 本文也討論了再現會受到不同專業領域的特質與技術而造成的差異,也分析了圖資學的研究方法與價值所在。

閱讀筆記 / Reading Note

Introduction [P.1]

很多資訊科學的研究燒了大把銀子,可是都在打造一些從1960年代以來就已經知道的事情。

要提高學科領域的成熟度,需要建立學科領域的典範 (field paradigm)

  • 典範:核心理論 + 研究方法、從世界觀點到細微現象
  • 圖資界重要的人物:Wilf Lancaster、Gerard Salton、Llewellyn C. Puppybreath III等等
  • 此外還有很多典範是位於水面下 (below the water line):不統一、未發表→無形的基礎

因此本文的目的就是介紹圖資學中無形的基礎

Paradigm Above the Water Line [P.1]

對於圖資學普遍的定義是:研究資訊的蒐集(gathering)、組織(organizing)、保存(storing)、檢索(retrieving)與散佈(dissemination)

這定義從1968年Harold Borko發表開始就沒什麼變動過

  • Information science is that discipline that investigates the properties and behavior of information, the forces governing the flow of information, and the means of processing information for optimum accessibility and usability.
    資訊科學是一種探究資訊的屬性與行為的領域,致力於管理資訊的流動,最佳化資訊的處理與取用。
  • It is concerned with that body of knowledge relating to the origination, collection, organization, storage, retrieval, interpretation, transformation, and utilization of information.
    資訊科學涉及書本知識的來源、蒐集、組織、儲存、取用、解釋、傳送、轉換與使用。
  • It has both a pure science component, which inquires into the subject without regard to its application, and an applied science component, which develops services and products (Borko, 1968, p. 3).
    資訊科學既是一種純科學,探索學科主題而無關應用;也是一種應用科學,發展服務與產品。
Paradigm Below the Water Line [P.2]
The Meta-Field of Information Science 圖資學的高層領域
  • 高層領域(meta-field)的學科:橫跨於傳統學科領域(conventional academic disciplines)之上。
    • 圖資、教育、新聞
  • 以不同角度傳播人類的知識
    • 圖資:典藏資料的儲存與檢索
    • 教育:教導與學習
    • 新聞:發現與傳播新聞
  • Paisley將研究人類行為的學科領域分成不同層次
    • 心理學(psychology):個人層次
    • 社會學(sociology):團體層次
    • 人類學(anthoropology):文化層次
  • 高層學科(meta-disciplines)的特色:
    • 關注所有傳統學科內容,及其對於社會的價值
    • 因為專業核心不同,高層學科皆有其獨特性
  • 處理方式:
    • 圖資:組織學科內容,以供檢索
    • 教育:利用教學技巧,將知識傳達給學生
    • 新聞:透過報導與撰寫技巧,傳播新聞
  • 涵括知識:
    • 圖資:各種保存的資訊
    • 教育:課程
    • 新聞:新聞報導
  • 產出型態
    • 圖資:篩選、索引
    • 教育:選擇與組織資訊,用以教學
    • 新聞:探索資訊以撰寫新聞
The Content of Form 形式的內涵
  • 圖資學首重資訊的形式與組織,以及架構,內容則是其次。
  • 大部分門外漢都不了解圖資研究形式與組織的本質,而這也是圖資往往讓人搞不懂的地方。
  • 新進人員來到圖資,很快就會將焦點從學科內容(content)轉移到學科的形式(form)上。
Being and Representing 形式的呈現
  • 圖資的專才與大部分傳統學科有所不同
  • 呈現(representing)資訊跟知道(knowing)資訊是不一樣的:以演員與醫生為例,
    • 醫生→傳統學科:考慮眾多醫學上問題,像是醫院、醫學、病患處理,但是不一定知道如何演出一齣好戲
    • 演員→圖資:儘管醫學知識不多,但能夠確實呈現各種特色給觀眾
  • 圖資學的呈現主要在於「資訊記錄的世界」(the universe of recorded information)
    • 建立資料庫與目錄:呈現資訊的形式
    • 參考館員與資訊專家:概念化與呈現讀者的問題,並轉化為查詢語句
Subject Expertise 圖資專業跟學科專家的不同
  • 案例:國家醫學圖書館找醫生來編著資料庫的索引,但成效不彰。
  • 要整理生物書籍需要生物領域知識,但最重要的還是圖書資訊相關的技術。
  • 轉換:從學科專家到圖資專家
    • 根據作者觀察,新進人員常常會遇到的困難,在於如何將資源的組織與檢索視為比了解內容還要重要
    • 要處理資訊的組織與取用,必須成為圖資專家,而不是學科專家但缺乏圖資訓練
Librarianship and Information Science
  • 大家對於資訊科學的定義很廣泛,普遍在於電腦科學、認知科學等等
  • 但是圖書館學與資訊科學的結合越來越常見。
  • 雖然圖書館學與資訊科學背景歷史,採用的研究方法與價值觀點也不一樣,但是共同處理著核心的資源。
Information Science Theory
  • 1930年代的系統理論(systems theory):系統可以視為多數的個別社會、技術與物理現象
  • 1967年John von Neumann & Oskar Morgenstern發展博奕理論(game theory),最著名的是囚徒困境(Prisoner’s Dilemma)
    • 兩個囚徒被關在個別房間中,彼此不能交談
    • 警方個別質詢
    • 如果兩人都否定犯罪,則懲罰最輕
    • 如果其中一人指認另一人,則被指認的懲罰最重,指認的人無罪開釋
    • 如果兩人彼此指認,則兩人懲罰中等
  • 1961年Norbert Wiener的場域控制論 (field of cybernetics):許多系統不只是因為機制在運作,還會受到「回饋」(feedback)的影響。
  • 1949年Shannon以電話線測量資訊量,這想法可用於測量科技或人類語言與心理
  • 1971年Noam Chomsky提出語言語法架構,用來解釋不同語言的共通模式,促進語言心理學(psycholinguistics)的誕生
  • 1972年Gregory Bateson探究學習架構的共通性,能夠讓人了解傳播的上層架構。對於精神分裂症最重要影響的「雙向束縛」(double-bind)也可以用於傳播與學習上。
  • 1972年G. Spencer-Brown的Laws of Form分析了形式的功能基礎與獨立要素,
  • 以上對於架構的認識越多,圖資的理論與實作的關係也就越密切。
Information Science's Universe 圖資學的世界
  • 圖資學的主要目的之一,就是研究被記錄的資訊(recorded information)與人們之間的關係
  • Recorded Information universe 資訊記錄世界
    • 包含了許多研究成果:熱門文獻、交易記錄、個人典藏、音樂、影片底片等等,以及現在的數位化版本
    • 圖資學關注於人們如何製造(produce it)、找尋(seek it) 、取得(retrieve it)、使用(use it)
  • 最純粹的資訊世界研究:書目計量學(bibliometrics),或是以統計分析資訊記錄
Information Science's Big Questions
  • 三大問題(Three Big Question)
    1. 實體問題:資訊記錄世界的特徵或是規律是什麼?
      What are the features and laws of the recorded-information universe?
    2. 社會問題:人們如何牽連、找尋、使用資訊?
      How do people relate to, seek, and use information?
    3. 設計問題:如何能讓取得被記錄的資訊更有效率?
      How can access to recorded information be made most rapid and effective?
  • 我們需要得知人們跟各種資訊之間的關係,以及他們的社會情境(問題2)。
    使得我們可以根據對於問題1的理解,來回答問題3的答案。
  • 被記錄的資訊(recorded information):
    • 通常能夠長期保存,因而會累積大量資料,成為圖資學主要的挑戰
    • 不同時代的資訊量都會繼續往上提昇,因此需要發展出不同的取用方法。例如從主題詞表(subject headings)變成超連結(hyperlink)
    • 而即使是新的媒體或技術,也需要結合圖資學悠久的知識,來製作有效的資訊系統
Methodological Substrate 研究方法上的基礎
  • 圖資學的研究方法來自於兩個領域:社會科學(social sciences)與工程科學(engineering sciences),最好是兩者兼具
    • 例如電腦科學家,但是注重資訊檢索系統的語言學或是心理焦慮議題
    • 例如對於科技感興趣的社會科學家
  • 圖資學是個多才(multitalented)的領域,也因此並不會有統一的研究典範
    • 圖資學研究者偏好使用混合研究法來解決問題
  • 不同問題有不同的研究方法
    • 問題1 資訊記錄世界:採用書目計量技術、統計、哲學分析(philosophico-analytic
    • 問題2 資訊尋求行為:採用社會科學技術,從量化(問卷)到質性(訪談)
    • 問題3 資訊檢索技術:最好採用工程科學的形成性評估(formative evaluation),驗證小問題之後再改善到資訊檢索系統上。
Values
  • 圖資學的價值傾向於「價值中立」科學(“value neutral” science)或是工程模型
    • 強調把事情做好,而不考慮政治或其他目的
    • 最純粹的圖資學注重找尋真理,可以不顧個人情境而應用在大多情境底下
  • 圖書館學(librarianship)則是相反,注重服務導向以及加值系統
    • 產生某種需要的社會性成果,以符合某些特定價值的目標
    • 因此不同國家的圖書館會有不同的差異
  • 作者認為圖資學還有一種特色:a sense of humor
    • 研究者們會嘲笑自己,但是也會持續投身在研究之中
心得
  • Bates的三大問題以及各自的研究方法,可以給圖資人對於自己學科有著更清楚的認識。
    • 奇怪的是,這種說法似乎不太盛行?
  • 圖資、教育與新聞傳播同屬於具有特色的高層領域,因此我們值得從教育、新聞傳播來借鏡
(more...)

JavaScript的字串壓縮函式庫:lz-string

JavaScript的字串壓縮函式庫:lz-string

image

在JavaScript應用程式開發中,我們時常使用AJAX傳送字串資料給伺服器或儲存在本機瀏覽器。當資料量過大時,可以考慮使用JavaScript字串壓縮函式庫lz-string來大幅度降低字串資料的體積。

In JavaScript application, we usually send string data to server by AJAX or store string in local web storage. If string data size is over the storage size limit, we could use a JavaScript string compress library “lz-string” to reduce stored string size.


適用情境 / Problem Context

壓縮字串資料量 / Compress String Size

最近我在研究改進KALS系統效率的方法。KALS在使用JavaScript計算瀏覽器上的標註位置時會耗費大量時間,如果能將運算結果以快取的形式儲存起來,那麼下次直接載入快取將可以節省大量的時間。

可是問題是瀏覽器端的儲存空間不大,cookie只有4KLocal Web Stroage(HTML5的新特性)只有5MB、Chrome Plugin不考慮。PHP的session一次最多可以存取128MB,但是要跟伺服器存取就很沒效率。

這時候就很適合使用lz-string壓縮字串,將資料量大幅縮小之後再儲存了。雖然就長期來看,如果運算結果變多了話,即使壓縮之後還是會有超過儲存上限的時候,不過那就是另外的議題了。

資料加密 / Encryption

image

另一種適用情況是加密資料。對網頁開發者或是初級駭客來說,有很多方式可以看到儲存在Cookie、Session、Local Strorage的資料,還有擷取與遠端伺服器溝通的資料(當然,這也包含了密碼)。藉由分析這些資料,我們可以輕易地了解遠端系統的資料架構。接下來就可以無視客戶端的操作介面與驗證程序,直接傳送我們想要的資料給伺服器。

以前在Facebook上的一款遊戲WarStorm就是採用明碼以XML跟伺服器傳送資料,讓許多玩家介入製作取代原本遊戲介面的機器人,降低手動遊玩所耗費的時間。這件事情讓我印象深刻,也對我後來進行程式設計的安全性上多了份考量。WarStorm後來將XML的資料全部加密,阻止玩家製作的機器人參與遊戲,不過卻造成遊玩人數大量流失,過不久就關閉了整個遊戲了。

話說回來,資料加密的方式其實還蠻多種的。除了單純到稱不上加密的escape()、encodeURI()、encodeURIComponent()自然不說,加密時常見的是md5演算法,而這個lz-stirng儘管效率較差,但是卻兼顧了壓縮與加密兩種特性。

總之,使用lz-string字串壓縮函式庫可以帶來的好處有兩個:

  1. 壓縮資料量
  2. 加密資料

缺點是需要耗費額外的運算時間,但這個缺點在可以節省資料傳輸與儲存等好處相較之下就顯得不是這麼重要了。

LZW演算法 / LZW Algorithm

lz-stirng使用的壓縮演算法是基於LZW。根據Wikipedia對LZW的介紹如下:

LZWLempel-Ziv-Welch)是Abraham LempelJacob ZivTerry Welch提出的一種無損數據壓縮演算法。它在1984年由Terry Welch改良Abraham LempelJacob Ziv在1978年發表的LZ78的版本而來。這種演算法的設計著重在實現的速度,由於它並沒有對數據做任何分析,所以並不一定是最好的演算法(參考LZMALZ77)。

lz-string再根據JavaScript的使用情境作最佳化,最後完成了這個函式庫。在運作效率上,lz-string跟LZMA作了一些比較,在資料長短不同的測試案例下,壓縮率與運算時間皆有勝有負。不過我不是很在意這些細節就是,能用就好了XD

使用lz-string / lz-string Usage

使用方式很簡單:1. 引用lz-string;2. 使用compress壓縮資料;3. 使用decompress解壓縮資料,以下是引用lz-string的使用介紹

  1. 下載lz-string的JavaScript檔案。作者的主要存放處是GitHub。我備份了一份最新版本的lz-string-1.3.3-min.js到Box.net
  2. 在網頁中引用lz-string。注意以下紅字的部份,請寫入lz-string的正確網址
    <script language="javascript" src="lz-string.js"></script>
  3. 接下來就能夠在JavaScript中使用lz-string韓式庫。主要用法是壓縮compress跟解壓縮decompress兩種:
    var string = "This is my compression test.";
    alert("Size of sample is: " + string.length);
    var compressed = LZString.compress(string);
    alert("Size of compressed sample is: " + compressed.length);
    string = LZString.decompress(compressed);
    alert("Sample is: " + string);

有興趣的人可以先玩玩看lz-string的線上展示頁面

lz-string是針對localStorage最佳化,對於傳送資料給遠端伺服器來說就不是這麼合適。這時候要改用compressToBase64()與decompressFromBase64()。不過作者也提示了這兩種方法實際上並沒有進行壓縮,只是編碼而已。使用上可能還需要多多注意一下。


下一步 / Next

我嘗試在系統中使用lz-string壓縮資料,並驚嘆於lz-string的壓縮成果,所以才想要寫一篇來介紹一下這好用的壓縮資料庫。

在目前為止,我使用lz-string主要都是用於將資料儲存在localStorage。但是當資料量大到連lz-string壓縮之後都無法儲存的話,我就得轉個方向來思考了。下一步我可能會嘗試將快取資料儲存在伺服器端,並以lz-string壓縮資料以節省網路傳輸量。如果有什麼進度再來跟大家分享。

(more...)

檔案員2.0: 重新定義數位時代的檔案館員專業 / Archivists 2.0: redefining the archivist's profession in the digital age

檔案員2.0: 重新定義數位時代的檔案館員專業 / Archivists 2.0: redefining the archivist's profession in the digital age

image

這是課堂的導讀筆記。此研究訪談了9位e政府最佳服務轄區中的檔案館員,綜合他們對於檔案館員專業與因應電子文件時代所需的意見,最後發現館員仍以紙本檔案為主,缺乏相關技能與資源,而且對於發展e政府的影響力不大。

This is a course reading note. This research interviewed nine municipality archivists at different Swedish municipalities indentified by the Swedish Association of Local Government and Regions as “good example” e-government municipalities. Author summarized their definition for archivist professional role and the challenges brought by the change from paper-based to electronic recordkeeping brings. The result shows that several interviewees still preferred paper-based archives, lacked in resources and skills about auditing, and had not any major influence on strategies for e-government development.


書目 / Bibliography

Kallberg, M. (2012). Archivists 2.0: redefining the archivist’s profession in the digital age. Records Management Journal, 22(2), 98-115. doi:10.1108/09565691211268162

筆記下載 / Reading Note Download

筆記內容如下。

摘要 / Abstract

研究目的:

  • 公共機關正朝向數位化政府(e-government)發展,並以數位化服務(e-services)改善與市民的互動與服務。檔
    案員(archivist)需要更加積極去取得與管理文件(record),以確保現行流通與長期保存的可行性。
  • 檔案員需要了解現今情勢與文件產生流程的概念。

此研究的研究問題如下:

  • 在公共機關中,檔案員的專業地位與業務運作為何?
    從紙本到電子文件的轉換是否影響檔案館員的專業地位與業務運作?
  • 檔案員如何定義自己的專業角色,像是檔案鑑定(identity)?
  • 對應電子文件管理的新需求來說,有什麼關鍵議題是需要解決的嗎?
  • 檔案員如何定義他們的技能與工作成效?

研究方法:

  • 這份研究採用了文獻分析法與訪談法(文中寫emiprical study,但是實際採用的是interview)。
  • 文獻主題含括了檔案專業實務與未來定位。
    訪談法的對象係獲得瑞典地方政府與區域聯合(Swedish Association of Local Authorities and Regions)最佳數位化政府認證的九位不同轄區的市立檔案員。

研究發現:

  • 研究發現揭露了檔案員如何定義檔案員的現在與未來隨著機關資訊技術演進的角色:包括檔案員的專業地位與在地方機關中的業務。
  • 研究結果也拓展了電子文件管理策略的重要性──從文件建立到保存,包括長期保存──並且探討檔案員專業形象轉型與需求的技能。

研究貢獻:

  • 本研究對於面臨數位化政府轉型的檔案保存實務工作者相當有啟發性,同時也有助於地方政府教育訓練者認識轉型所需要的知識與技能。

閱讀筆記 / Reading Note

1. Research Methodology [P.4]

本研究採用的是文獻分析與實徵研究法。

文獻分析法:

  • 文獻分析法係選自專業期刊中與數位化政府與數位化服務發展下檔案員的專業挑戰等相關主題,含括檔案員的專業實務與未來角色。
  • 根據文獻分析結果中對於國家管理與法律等議題,作為設計半結構訪談問卷的依據。

實徵研究訪談法:

  • 實徵研究係基於訪談位於瑞典不同市區的九位市立檔案員,以探討電子文件保存下檔案館員的專業挑戰。
    這九個市區皆是瑞典地方政府與區域聯合(Swedish Association of Local Authorities and Regions)認證的數位化政府服務最佳示範。
  • 訪談期間是在2011年1月至3月之間,每位訪談者長度介於37分鐘到60分鐘之間。
  • 訪談時搭配使用半結構問卷。
2. Literature Review [P.5]
  • 由於紙本到電子文件的轉型,檔案員需要了解電子文件的產生脈絡,並考量如何管理、維護與保存。
  • Runardotter (2007)發現檔案員很少介入科技,因為機關政策仍以紙本為主。
  • McDonald(2010)認為檔案館員有必要參與電子文件系統的轉型。
  • 2002年英國研究發現地方檔案管理局缺乏數位化管理資源與專家。
3. 半結構訪談大綱 [P.18]

1. 背景調查

  • 職稱?
  • 年資?
  • 學歷?
  • 服務單位?
  • 經歷?

2. 專業實務:業務(Duties)

  • 您的業務範圍是?
  • 其中最重要的業務是?
  • 集中登記機制(centralized registrar function)的建立是否影響到您的專業?
  • 文件(record)管理與檔案(archive)管理是否有所不同?
  • 登記員(registrar)與檔案館員的專業之間有何關係?
  • 登記員與檔案館員之間的專業領域是否有所重疊,如果有的話,那會是哪哪些?
  • 您如何定義您的專業?

2. 專業實務:檔案稽核(Auditing)

  • 轄區內使用電子文件來作為檔案管理的方式,到何者程度? (To what extent does the Archival Authority audit other authorities within the municipality regarding electronic recordkeeping?)
  • 誰負責這個檔案稽核工作?

3. 電子文件保存

  • 您有使用電子文件保存政策嗎?例如流程對照(mapping processes)、業務流程發展(business process development)等。
  • 您有參與任一進行中的計畫或是政策發展小組(strategic development group)嗎?
  • 如果有的話,政策發展小組中其他的專業領域有哪些?
  • 電子文件保存的實施是否影響您的業務,如果有的話,是如何影響?
  • 您轄區內電子文件的檔案授權與其他授權方式是否有建立清楚的職責分區?
  • 您轄區內有用到以下標準嗎?ISO 15489(records management), ISO 23081 (metadata), ISO 26122 (work-processes)與ISO 14721 (OAIS, Open Archival Information System)
  • 如果有的話,請問是如何使用的?
  • 如果沒有的話,為什麼不使用呢?
  • 請問您是否有根據ISO 14721 (OAIS)建立電子文件長期保存解決方案、策略、或願景?

4. 技能發展 / 未來專業檔案館員的角色

  • 請問您有學習技能的需求嗎?如果有的話,請問是哪些技能?
  • 您覺得檔案館員專業發展與電子文件保存之間有何關係?
  • 您對未來檔案館員專業發展有何看法?

5. 請問還有要補充的地方嗎?

4. Interview Result [P13]
  • 未來法律方面的知識會更加重要。
  • 受訪者認為工作最大的問題是缺乏資源,像是參與業務發展計畫、流程對照(mapping processes)與系統採購。這結果跟英國調查很像。
  • 受訪者偏好使用紙本檔案,因為電子文件未被納入長期保存政策。
  • 檔案稽核很重要,但大部分受訪者不知道如何進行,缺乏相關技能與資源。因此即使有機會也不會去做。
  • 檔案員未來重要技能主要是長期保存與法規議題(legislation)上。
  • 因應電子文件需求,未來檔案員需要與科技專家合作的面向包括:概念化建模(=知識組織)、傳播策略(communication strategies)、運作流程發展、管理、通訊(communication)、行銷
5. Conclusions [P.15]
  • 本研究印證了Scandinavia的「全面觀點」(holistic view),認為檔案學應該兼顧資訊科學。
  • 研究結論發現檔案員需要許多技能與資源,以及更高水準的教育,以支持研究與強化檔案員專業。
  • 檔案員對於數位化政府發展的影響力相當微弱,如果仍固執於保存紙本歷史文件,那檔案館員可能會被其他專業取代。
  • 檔案員應主動爭取檔案稽核的執行,並加強相關的技能與資源。
心得
  • 很難得看到一篇檔案相關的reading是以實徵研究的方式進行
    • 因為比較可能會跟畢業論文相關,所以看實徵研究有助於論文進行
    • 可以了解一下期刊發表願意接受的程度為何
    • 不過研究方法仍侷限於問卷、訪談、焦點團體、疊慧法之中的一種。
  • 訪談法中,訪談大綱決定訪談是否成功相當大的因素,並且基於此設計問卷進行大規模調查。
    • 如果將此份訪談大綱來訪問國內檔案員的情況,是否可以發展成畢業論文的一環。
  • 結論本身並不太讓人意外,不過取樣數量不多不具代表性這點,也令人難以放心地接受這些結論。
    • 最令人困擾的大概就是標題與內容不符,標題是期待看到檔案館員在數位化衝擊下的影響,不過訪談結果不是不知道標準是啥,就是「有採用標準」這樣簡單的回應
  • 比起這樣草草地看到一些問題,我覺得如果有成功應用電子文件的個案細節,應該對於檔案員發展相關專業比較有幫助。
    • 舉例:某國內數位化政府法規 + 比對現行法規推測可能的影響 + 國外相關法規的個案分析 + 從個案分析中擷取建議(ex: 檔案員應該獲取更多資源與訓練)→ 發表
  • 法規通常是實務工作者關心的議題,我個人比較關心的是運作流程改造的管理問題
    • 從本文中可以發現作者的立場是被動的:數位化政府與數位化服務是因應上級指示才進行修改
    • 比起有無技術或是資源,更根本的問題是心態上:檔案員對於數位化政府與服務的了解有多深入?對於檔案稽核的重要性理解程度為何?
    • 然而大家是依法行事,不論是上級單位法規制定不良還是下級執行者能力不足,調查來調查去若祇是責任互踢皮球,那研究結論也看起來挺乏味的
    • 還是認真地規劃、仔細評估最佳實務實行方式吧
(more...)