使用Coze建置聊天機器人的經驗 / Experience in Building Chatbots With Coze
我在2024年5月為2024淡江大學數位轉型暨淨零轉型成果觀摩展建置的「希希助教 in TKU DILS 2024MS3AP」後，陸陸續續使用Coze建置了許多聊天機器人，並探索RAG與知識庫等現今LLM領域的重要議題。然而因為Coze的收費政策調整，現在這些機器人已經不能用了。
After establishing "Sissi Assistant in TKU DILS 2024MS3AP" in May 2024, I gradually used Coze to build many chatbots and explored important topics in the current LLM field like RAG and knowledge bases. However, due to changes in Coze's pricing policy, these chatbots are no longer usable.
希希助教 in TKU DILS 2024MS3AP / Virtual TA Sissi in TKU DILS 2024MS3AP
2024年5月的時候，淡江大學舉辦了數位轉型暨淨零轉型成果觀摩展，用來展示校內各個學術單位在數位轉型和淨零轉型上的相關成果。我的工作是以自身授課的過程當作成果展的一部分來進行說明。我的授課方式大量使用了數位化教材和人工智慧工具，應該算得上符合這次成果展的宗旨。
然而成果展的舉行期間我並不在場。為了找人解說成果展的內容，我使用了Coze結合大型語言模型和RAG等技術建構了「希希助教 in TKU DILS 2024MS3AP」聊天機器人，簡稱「AI機器人」。
在大型語言模型GPT-4o和RAG的加持之下，AI機器人能夠回答成果展和資圖系的相關內容，也懂得拒絕範圍之外的回應。而且在Cici文字轉語音的強大功能輔助後，她能夠用較為自然的聲調講出回應的內容。儘管還有許多細節有待打磨，但成果算是還可以接受。
使用Coze建構各種工具 / Use Coze to build various tools
有了「希希助教 in TKU DILS 2024MS3AP」的成功經驗，我便開始探索Coze的各種可能性。
最基本的用法就是將我常用的寫作內容儲存成知識庫，讓聊天機器人透過RAG取得相關資料並進行改寫。只要是常常需要撰寫的資料，我都試著這樣處理。簡單的內容可以是翻譯和學術上的常見用詞，複雜的內容可以是GitHub保存庫的介紹。甚至後來我嘗試將學術論文裡的定型句和名詞解釋加入到RAG的知識庫中，論文改寫的品質也獲得了明顯的提升。
為了要讓知識庫的維護變得更加容易，我比較傾向在Google Drive裡面記錄資訊。雖然Coze有提供Google Drive的整合，但我從來沒有成功過。因此我建置了爬蟲將Google Drive的公開檔案轉換成網頁或JSON檔案，並讓Coze的知識庫在固定期間自動抓取。最終成效比我想象中的還要好的很多。
為了更進一步控制機器人的資料處理流程，我也鑽研了Low Code的Workflow功能。在這個功能裡面我們能夠用JavaScript控制資料的格式與處理，也能建立多種不同的LLM來解析文字資料，或是用RAG查詢知識庫的內容。上圖是我用Workflow建置的改考卷功能。它能夠根據我輸入的學生答題內容，找出其他相似回答且有評分的內容，再請LLM根據我過去改過的答題內容和分數來對現在這份答題內容給予分數。整體而言效果出乎意料地好，在獲得足夠多的評分結果後，LLM真的能夠猜得到我的評分規律和分數，也能夠適時指出學生值得獲得分數的重點。
後來我將這套做法簡化後製作成了研習班裡面的一個活動：「AI改考卷」。參與者可以在「AI改考卷」中認識知識庫與索引的關係，以及聊天機器人裡大型語言模型和RAG的設定，然後體會AI輔助工作流程的做法。
Coze限縮了免費額度 / Coze has restricted the free quota
不過很遺憾的是，Coze在2024年7月初提出了新的收費制度，此收費制度幾乎是宣告了使用者必須強制付費才行。在免費的方案中，僅有GPT-3.5可供人使用。不過GPT-3.5的表現實在是不盡人意。應該說，目前的大型語言模型中，唯有GPT-4o鶴立雞群而已。連Google Gemini都很難說得上堪用。而此付費制度下GPT-4o (128)的使用量是一天一則，跟沒有也差不多。此收費機制也讓Discord上的開發者社群諸多抱怨。
https://www.engadget.com/openai-will-block-people-in-china-from-using-its-services-200801957.html
我想這可能是7月初Open AI限縮了來自中國的流量請求所導致的結果。Coze本身是字節跳動所推出的平臺，也就抖音與TIK TOK的母公司，受到牽連也是在所難免。我們這種免費仔就摸摸鼻子轉頭找下一個方案就好，過去建置的成果就當作是學習吧。
Coze的替代品：Dify / Alternative to Coze: Dify
如果不使用Coze的話，那還有什麼類似的方案可以替代呢？目前在朋友的推薦之下，我正在研究的是Dify方案。Dify本身是開放原始碼的大型語言模型應用程式開發功能，也有雲端的免安裝版本，但進階功能也跟Coze一樣需要付費。Dify能做的事情跟Coze也很像，包括選擇大型語言模型、RAG與知識庫的設定。
Dify雲端版本免費帳號可客製化的程度遠不如Coze，付費的價格卻遠高於Coze。好在Dify能夠讓使用者自行設定API來介接其他模型。如果是架設在自己電腦上的話，應該也能夠直接使用本地的模型即可吧？
這就需要後續慢慢評估了。
那這篇關於Coze聊天機器人的記錄就到這裡為止了。最後要來問大家的問題是：你會用AI聊天機器人做些什麼事情？
- 1. 有個人陪我講話就是溫馨。
- 2. 聊天機器人就是我的小助理，他應該要幫我寫論文。
- 3. 我都把聊天機器人當作搜尋引擎使用。
- 4. 其他：歡迎在下面留言，分享你的看法吧！
