圖片出處: ChatGPT Prompt Engineering for Developers 課程 進一步避免用戶猜到你的分隔符號是 ```，你可以把用戶的輸入字串中出現的 ``` 換成別的字元，再給LLM

tweet 情緒分析 圖片出處: edX LLM Application through Production 課程

拆解成多步驟推理

實作 Hierarchical Story Generation Chaining Prompts 輸入 故事 Summary 產生 Title 產生 Characters Summary + Characters 加一起，產生 Story Beats (故事節拍) Summary + Characters + Story Beats 加一起，產生 Location Summary + Characters + Story Beats + Location 加一起，產生 Dialogs

出自 https://fullstackdeeplearning.com/llm-bootcamp/ 出自 edX LLM Application through Production 課程

ReAct: Synergizing Reasoning and Acting in Language Models 提出一種 Prompting 方式，可以進行連續推理和行動的代理人任務 圖片出處: edX 課程 Action: 根據用戶輸入，選擇應該用哪一個 Tool 就根據 tool 的文字描述來判斷 Action Input: 根據需要使用的 tool，從用戶輸入中提取參數 Observation: 觀察 Tool 得到的結果 Thought: 再看一次用戶輸入，判斷接下來怎麼辦 是回到 Action 用另一個工具? 還是這就是 Final Answer? Final Answer: Thought 看到 Observation 後，若認為這是解答，就給出最終輸出

用法舉例 llm = OpenAI(temperature=0) tools = load_tools(["python_repl", "requests_all"], llm=llm) agent = initialize_agent(tools, llm, agent=AgentType.ZERO_SHOT_REACT_DESCRIPTION, verbose=True) agent.run("請抓取解析 https://ihower.tw/test.json 這個 JSON，然後將裡面的 bar 的值，乘上 pi 回傳") 內部實作解析 request 工具的描述是 Prompt 樣版長這樣... 範例發出去的第一個 prompt: GPT 回傳片段 然後 langchain 用 requests_get 工具，用以上 Input 參數，去拿資料 將放到 Observation 裡面成為下一次的 Prompt 發出去的第二個 prompt: GPT 回傳片段 然後 langchain 用 Calculator 工具，用以上 Input 參數，用 Math chain 尋求解答 發出去的第三個 prompt: GPT 回傳片段 然後 langchain 用 math 工具，用以上 Input 參數，產生 python code 執行，算出 1230 1230 放到 Observation 裡面成為下一次的 Prompt 發出去的第四個 prompt GPT 回傳片段 結束 (花了四個 prompt 一堆 tokens…. 辛苦了)

Function Calling 就是針對 ReAct 這個使用外部工具的需求，透過 Fine-Tune 模型出來的功能。因此不需要複雜的 ReAct Prompting 技巧囉。 將自然語言轉換為 API 呼叫，更方便可靠串接外部工具，LLM 回傳的就是結構化參數 告訴 LLM 你有哪些工具(Function)可以使用，讓 LLM 自己判斷要不要使用，要用的話回傳參數 可取代 ReAct 實作，就不需要 ReAct prompt 了 可以做 metadata 萃取，將非結構化資料，轉成結構化資料 目前只有 OpenAI 推出，但其他家我猜未來也都會提供，例如 Llama 2 就有人 fine-tuned 出來了 使用流程 呼叫API時，傳入你定義的 functions 名稱、描述、參數 這樣 API 會回傳你應該要呼叫哪一個function和參數(JSON format) 你內部呼叫那個 function 得到結果 Chat API 中的 role 多了一種叫做 function，把上述結果再發給 Chat API 得到最終結果可以給用戶看 Function calling and other API updates 使用案例一: 完整流程 以詢問天氣為例，LLM 沒有今天的天氣資料，但你自己有實作一個 get_current_weather 方法 Step 1: 發出 Prompt 請求，附上你有的 function 規格 { "model": "gpt-3.5-turbo-0613", "messages": [ {"role": "user", "content": "今天波士頓天氣如何?"} ], "functions": [ { "name": "get_current_weather", "description": "傳入地點，回傳目前天氣資訊", "parameters": { "type": "object", "properties": { "location": { "type": "string", "description": "城市或地區" }, "unit": { "type": "string", "enum": ["celsius", "fahrenheit"] } }, "required": ["location"] } } ] } LLM 的回應 { "id": "chatcmpl-123", ... "choices": [{ "index": 0, "message": { "role": "assistant", "content": null, "function_call": { "name": "get_current_weather", "arguments": "{ \"location\": \"波士頓\"}" } }, "finish_reason": "function_call" }] } Step 2 你實際呼叫 get_current_weather 方法，帶有參數 location，得到一個結果 { "temperature": 22, "unit": "celsius", "description": "Sunny" } Step 3 再次呼叫 OpenAI API，除了原先的對話紀錄，多傳一個 role 是 function 的資料，把上述的天氣結果放進去 { "model": "gpt-3.5-turbo-0613", "messages": [ {"role": "user", "content": "今天波士頓天氣如何?"}, {"role": "assistant", "content": null, "function_call": {"name": "get_current_weather", "arguments": "{ \"location\": \"Boston, MA\"}"}}, {"role": "function", "name": "get_current_weather", "content": "{\"temperature\": "22", \"unit\": \"celsius\", \"description\": \"Sunny\"}"} ], "functions": [ { "name": "get_current_weather", "description": "傳入地點，回傳目前天氣資訊", "parameters": { "type": "object", "properties": { "location": { "type": "string", "description": "城市或地區" }, "unit": { "type": "string", "enum": ["celsius", "fahrenheit"] } }, "required": ["location"] } } ] } 回傳 { "id": "chatcmpl-123", ... "choices": [{ "index": 0, "message": { "role": "assistant", "content": "波士頓目前天氣晴朗，氣溫為攝氏22度。", }, "finish_reason": "stop" }] } 結束。 使用案例二: 只用來擷取資料 (fake function) 透過一個 fake function，你只需要一次 API 呼叫，目的是拿結構化的 function 參數 { "model": "gpt-3.5-turbo-0613", "messages": [ {"role": "user", "content": "Extract and save the relevant entities mentioned in the following passage together with their properties. Passage: {這裡放入你的文本}" } ], "functions": [ { "name": "information_extraction", "description": "Extracts the relevant information from the passage.", "parameters": { "type": "object", "properties": { "company_name": { "type": "string", "description": "文本中提到的公司名稱" }, "report_date": { "type": "string", "description": "文本的製作日期" }, }, "required": ["company_name", "report_date"] } } ], "function_call": { "name": "information_extraction" } } 回傳 { ... "choices": [{ "index": 0, "message": { "role": "assistant", "content": null, "function_call": { "name": "information_extraction", "arguments": "{ \"company_name\": \"愛好資訊科技\", \"report_date\": \"2023-08-21\"}" } }, "finish_reason": "function_call" }] } 其中 arguments 就是個結構化 JSON 資料 使用案例三: 自己就可以做 ReAct 出處 Santiago on Twitter

from transformers import AutoTokenizer import transformers import torch model = "meta-llama/Llama-2-7b-chat-hf" tokenizer = AutoTokenizer.from_pretrained(model) pipeline = transformers.pipeline( "text-generation", model=model, torch_dtype=torch.float16, device_map="auto", ) sequences = pipeline( # 'I liked "Breaking Bad" and "Band of Brothers". Do you have any recommendations of other shows I might like?\n', "請幫我命名一個專業的科技公司名稱", do_sample=True, top_k=10, num_return_sequences=1, eos_token_id=tokenizer.eos_token_id, max_length=100, ) for seq in sequences: print(f"Result: {seq['generated_text']}") Mac M1 Pro (32G Ram)實測可以跑的動 Llama-2-7b-chat-hf，雖然有點慢。

Inference API (用 HF 提供的 API)

自己部署一台這價錢是 13×24×30 = 每個月 $9360 美金