ChatGPT ≠ OpenAI API
- 在 ChatGPT 內
- 無法調整 API 參數: 例如最重要的 Temperature (輸出內容有多隨機)
- system prompt 是固定的沒公開而且隨著 ChatGPT 升級可能會改
不只有 Prompt Techniques，還有 Engineering
系統性的做 Iterative 迭代開發
- 準備 Dataset 測試資料集
- 準備 Prompt Candidates 幾個不同版本的 Prompt
- 執行 Evaluation (或叫做 Testing)
過程舉例
a. 準備書籍資料 Dataset
b. 準備數個 Prompts 來做實驗
其中 {{title}} 和 {{description}} 是自訂變數，會套用 Dataset 中的資料
候選一號: Zero-shot
根據以下書籍資訊，擷取出書籍分類。只需要回傳分類名稱，不要有其他文字
書名: {{title}}
描述: {{description}}候選二號: Few-shot
根據以下書籍資訊，擷取出書籍分類。只需要回傳分類名稱，不要有其他文字
書名: 駕馭 ChatGPT 4: 探索 Azure OpenAI 與 Cognitive Service for Language 開發實踐 (使用.NET 與 Node.js)
描述: 2023年最熱門的關鍵詞無疑是「ChatGPT」。市面上充斥著各式各樣的導讀，指引你如何靈活運用ChatGPT。
分類: ChatGPT
書名: 重新認識 Vue.js：008天絕對看不完的 Vue.js 3 指南
描述: 從零開始！快速上手！網羅完整Vue.js功能的實戰指南
分類: Vue.js
書名: {{title}}
描述: {{description}}
分類: c. 批次跑出結果，進行評估
- 哪一個 Prompt 的效果比較好? 有多好?
- token 數越多成本(cost 和 latency) 會越高，值得嗎?
- 若改用更高級的模型 GPT-4 的結果會好多少?
- 成本值得嗎? GPT-4 比 GPT3.5-Turbo 貴20~30倍、速度慢一倍
- Zero-shot 的 GPT-4 v.s 用高級 Prompting 技巧花比較多 token 的 GPT3.5-Turbo
- 哪一個划算?
OpenAI Playground
- OpenAI 官方出的
- 可調整的參數完整
- 可多個 Chat format (雖然本任務沒有用到)
- 沒有 prompt template
- 沒有版控
- 沒有 Dataset
- 沒有 Evaluation
- 沒有 API deployment
Spellbook
Prompt Editor (Prompt Template)
Dataset
Versioning
Compare UI
Evaluation & Bulk Inferences
API deployment
開箱即用，不用排隊，不需要自備 OpenAI API Key
想要的功能基本都有
Prompt Editor 沒有支援多 Chat format 格式，但如果不是做 Chat app 似乎不太需要
Evaluation 功能目前(2023/7/11)有 Bug 是壞的跑不出結果，希望是暫時性問題會修好
但客服 Intercom 反應好幾天了，完全沒回應 😖
Dify
Prompt Editor (Prompt template)
Deployment (API & app)
Dataset (當作QA的 context，而不是 evaluation 用)
開箱即用，不用排隊
有 Promot template
介面漂亮，開發團隊有很多 Front-end
可發布獨立的 Text generator 或 Chat web app 應用
有 Open Source
需自備 OpenAI API Key (有免費試用額度)
即使 Prompt template 有參數，執行時仍要求一定要有 Query content，不能空白。所以批次上傳 CSV 時，仍需要一個 Query content 欄位
沒有 evaluation 功能，他的 Dataset 的用途是做 QA indexing
Vellum
Prompt Editor (Prompt template & Compare & Chat format)
Dataset & Evaluation
API Deployment
- Prompt Editor 直接可做 Compare，但也因此 UI 比較複雜
- 可以編輯多個 Chat format
- 有 YC 投資算加分嗎(?)
- 需要自備 OpenAI API key
- 沒有 Versioning
- 沒有獨立的 Bulk Inferences 功能，跑 Test Suite 時沒有非同步排程，導致數據多又是 GPT-4 跑很慢時，不知道啥時跑完
- 沒有線上付款，七天試用期後，雖仍可用但出現警告請 E-mail 聯繫業務
nat.dev
Prompt Editor
- 儲值 $5 就可以用，不需自備 OpenAI API key
- 支援的各家模型很多，可以同時 Compare 比較結果
- 有 Prompt History
- 有 Open Source
- 沒有 Promot template，只有一個大大的輸入框和輸出框共用
- 沒有區分 system prompt
- 沒有 dataset 跟 evaluation 功能
WALE
Prompt Editor (Prompt Template)
有 Prompt Template，也可以上傳 Dataset 批次跑
有 Prompt History
需自備 OpenAI API Key
無法選 GPT-4
沒有區分 system project，參數只能調溫度
Dataset 只能 50 rows..... 需要 e-mail 聯繫業務
補充資料
把 Prompt Evaluation 當作 Unit Testing 來跑自動化測試
GitHub
GitHub - promptfoo/promptfoo: Test your prompts. Evaluate and compare LLM outputs, catch regressions, and improve prompt quality.
Test your prompts. Evaluate and compare LLM outputs, catch regressions, and improve prompt quality. - GitHub - promptfoo/promptfoo: Test your prompts. Evaluate and compare LLM outputs, catch regres...
其他類型的 Prompt 工具順道整理
- Chat Room: 跟 ChatGPT 一樣的對話用途
- Prompt Chaining: 可串接多個 LLM 步驟流程做出應用
- https://dust.tt 程式化 Block，可以做 Map Reduce 很厲害
- Chat Bot: 做聊天機器人
- QA: 給文件做問答
- 各種 Chat with XXX 應用層出不窮，也有很多 Open Source。這是因為其實很容易做，用 LangChain 10行 code 就寫完核心了只需套殼。總的來說，易做難精 😅
- Tracking & Monitor: 需要搭配 Python SDK
- MLflow https://mlflow.org/
我的 LLM 學習資料