聊天機器人

聊天機器人設計理念

本專題中的聊天機器人以「修女」角色為互動對象，結合自然語言處理技術，打造沉浸式的對話體驗。 玩家可與修女進行問答，提升遊戲趣味性與互動感。

由於文本資料的不足不適合使用 NLP 架構如 Transformer等方式提高聊天機器人的訓練與回覆， 為了使修女角色的語境理解與回應流暢度更貼近真實人類對話， 因此我們進一步使用ollama中的Llama-3.1-TAIDE-LX-8B-Chat-GGUF:Q3_K_M模型進行微調套用。

Llama-3.1-TAIDE-LX-8B-Chat-GGUF 模型介紹

Llama-3.1-TAIDE-LX-8B-Chat-GGUF:Q3_K_M 是一款基於 Meta Llama 3.1 8B 模型優化的繁體中文版本， 由台灣研究團隊 TAIDE 開發，針對繁體中文環境進行調整，強化在地語言理解與特定任務的處理能力。

🔍 模型特色：

• 語言能力：支援繁體中文與英文，具備角色扮演、工具使用等能力，適用於多種應用場景。
• 量化格式：採用 GGUF（Grokking General Unified Format）新格式，取代傳統 GGML，提升模型效率與可用性。
• 量化等級：使用 Q3_K_M（3-bit 量化），可在資源有限的裝置上穩定運行。

本地部署 Llama-3.1-TAIDE 模型並製作可執行檔

此模型來自 Hugging Face 的 TAIDE 系列，授權使用後載入 Llama-3.1-TAIDE-LX-8B-Chat。
本次使用的版本為其他開發者基於 llama.cpp b4739 所進行的 Q3_K_M（3-bit）量化版本，並公開供使用者下載，並非自行量化。

模型設計適合本地端環境，支援透過 ollama 或 llama.cpp 執行，無需高階 GPU 即可順利運行。

使用者可透過命令提示字元（cmd）使用 Ollama 工具下載此模型，作為本地語言生成系統的核心。
下載後撰寫 Python 腳本（.py）進行調用與自訂設定，包括：

• 對話邏輯
• 輸入輸出格式
• 模型回應風格

最後利用 PyInstaller 將 Python 腳本打包為 .exe 檔，
使模型可在無需安裝 Python 環境的情況下獨立執行。