1、AI AI Agent Agent 李宏毅免責聲明：AI Agent 是一個被廣泛使用的詞彙，故本課程中所講的 AI Agent 不一定跟其他地方一樣AI Agent 的翻譯今天使用 AI 的方式AI Agent 人類給予明確指令人類給予目標AI 自己想辦法達成人工智慧代理人(解決某個研究問題)假設 實驗 分析需要多步驟、靈活調整計畫AI 一個口令一個動作AI Agent GoalActionObservationAI Agent(AlphaGo)GoalAction贏棋“5-5”Observation好像在那裡聽過這個段落？這是 Reinforcement Learning(RL)常見開場如

2、何打造 AI Agent?RL?GoalAction贏棋RL:Learn to Maximize Reward Reward(RL:Reinforcement Learning)“5-5”侷限：需要為了每一個任務以 RL 訓練模型Observation如何打造 AI Agent?直接用 LLM！GoalActionLLM“你要贏得勝利”“我要下在 5-5”以文字描述轉譯為行動(option)Observation以 LLM 直接實踐人類對於擁有 Agent 的渴望LLM 能不能下棋？BIG-benchhttps:/arxiv.org/abs/2206.04615LLM 能不能下棋？https:

3、/youtu.be/JHq4EKMg7fI?si=izKsH-GCVnZkooq_如何打造 AI Agent?直接用 LLM！GoalActionLLM還有多遠？還可以多做什麼？“你要贏得勝利”“我要下在 5-5”以文字描述轉譯為行動(option)Observation以 LLM 直接實踐人類對於擁有 Agent 的渴望從 LLM 的角度來看 Agent 要解的問題goalobs 1obs 2action 1action 2obs 3action 3LLMLLMLLM一直都在做接龍AI Agent 倚靠的是語言模型現有的能力請注意在這堂課中沒有任何模型被訓練AI Agent 不是最近才熱門

4、2023 年春天曾經爆紅過一次https:/youtu.be/eQNADlR0jSs?si=4yGZEluAUzKK2VD0AutoGPT,AgentGPT,BabyAGI,Godmode 以 LLM 運行 AI Agent 的優勢Typical AgentLLM AgentAlphaGo事先設定好有限行為近乎無限的可能只能在棋盤上的 19x19 個位置落子可以使用工具以 LLM 運行 AI Agent 的優勢AI programmerReward=-1Typical AgentLLM AgentCompile ErrorCompile Error為什麼是-1?更多資訊AI programme

5、rAI Agent 舉例：AI 村民組成的虛擬村莊https:/arxiv.org/abs/2304.03442https:/youtu.be/G44Lkj7XDsA?si=cMbKG3tqPbIgnnBqGoalActionObservation舉辦情人節派對、準備考試 getting ready for bed“AI Agent 舉例：Minecraft 中的 AI NPChttps:/ Agent 舉例：讓 AI 使用電腦Computer Use,Operator AI Agent 舉例：讓 AI 使用電腦GoalActionObservation訂披薩、上網購物 AI Agent 舉例

6、：讓 AI 使用電腦 World of Bits:An Open-Domain Platform for Web-Based Agents(ICML,2017)WebArenaAI Agent 舉例：讓 AI 使用電腦https:/arxiv.org/abs/2306.06070Mind2Webhttps:/arxiv.org/abs/2307.13854https:/arxiv.org/abs/2401.13649VisualWebArenaAI Agent 舉例：用 AI 訓練模型goalobs 1obs 2action 1action 2obs 3action 3LLMLLMLLM過 S