徐彬-领域推理引擎-大模型不止于小作文.pdf

1、领域推理引擎-大模型不止于小作文徐彬|德邦证券徐彬算法架构师无双谱知乎实战深度学习算法著者，多项智能算法专利发明人，CCF会员。研究方向为信用风险管控、复杂项目群管理、机器学习在特定场景的应用。历任 平安银行 应用架构专家，银行间市场清算所 创新衍生品及利率产品项目群负责人。牵头完成多项证券业协会、交易所研究课题。机器会思考吗？目 录CONTENTSI.大模型应用现状II.问题和溯源III.应对：知识+多智能体IV.进阶：领域推理引擎V.总结与展望大模型应用的现状PART 01大模型应用的现状1.情景学习(In-Context Learning)模型通过阅读对话的历史上文，可以续写后续的回答，

2、这个能力使得LLM有了短期记忆，可以和人类对话了。2.思维链(Chain-of-Thought，CoT/ToT)给大模型问题提示时，如果不直接给答案，而是给出推理过程，可以解锁语言模型对复杂问题的推理解决能力。3.自然指令学习(Learning from Natural Instructions）只需要使用少量自然指令针对对专项任务做微调，模型就可以得到很好的泛化能力。应用能力应用场景模型能力大模型应用的现状问题和溯源PART 02大模型的本质基础能力衍生能力辅助能力世界知识语义理解多语种编码指令遵从 推理情景学习对话互动自我改进工具调用衍生能力指令遵从情景学习预训练语言大模型(LLMs)本质

3、上是统计语言模型(SLMs)基础能力在规模法则(Scaling Law)作用下，衍生出更具落地价值的应用能力通过知识库和外部工具，进一步扩展了能力边界多智能体Multi-Agents，拆解任务，制定计划，分头执行,如：独立与LLM交互，RAG、执行工具等等。任务分解：复杂问题分解为更小的问题规划：制定一组任务计划存储：之前完成的任务存储为上下情景知识工具使用：选择要使用的工具+使用工具的参数场景适应：提升螺旋问题和溯源新加披国立大学的学者分析认为，大语言模型的幻觉问题无法避免（Ziwei Xu et,al.2024）。用包括客观事实、新闻、文学作品、学术、健康等不同类别的信息对ChatGPT做

4、了测试，错误及虚假信息占比为75%（Zuying,et,al.2023）。幻觉现象可以溯源到大模型底层的训练过程、训练语料构建方法。问题和溯源需要承认以下基本事实：以目前主流的训练数据、提示工程技术、学习算法和模型架构，大语言模型不可避免地会产生幻觉 在当前有偏训练数据、训练方法，以及关键算法无法捕捉到足够多真实世界函数的情况下，单纯增加模型参数和训练数据是无效的，不能根本解决幻觉问题。幻觉问题尽管尚无根本解决方法，但是针对特定的应用场景仍可以找到有效的缓解方法。应对：从知识库到多智能体PART 03知识库+多智能体幻觉问题尽管尚无根本解决方法，但是针对特定的应用场景仍可以找到有效的缓解方法。

5、基于大模型+专项知识库+搜素引擎构建一套面向特定场景的SOP工作流借助通用大模型的few shot learning能力，实现可信结果输出；范式一：LLM+工作流+Agent范式二：多智能体协同范式三：模型驱动自主代理范式一:Agent+工作流+LLM 产品-好点子，PRD新范式 开发-有坑吗？快速验证 测试-分裂思维，大有可为每个人都是solo创造者数字化-自动化-智能化Agent工作流LLMAgent的本质：一组固化的提示词范式二：多智能体协同Single assistant Single assistant-Team of coordinated intelligent agents T

6、eam of coordinated intelligent agents范式三：模型驱动的自主代理根据自我反思的结果，判断重置Sandbox环境，开始新的子任务 多种工具逐步完成拆解后的子任务 联网沙盒 编写和运行编程语言代码 沙盒内独立安装包和依赖 可切换回用户交互进行敏感操作图片来源：https:/huggingface.co/blog/open-source-llms-as-agents进阶：领域智慧+多任务推理PART 04进阶：领域推理引擎基于大模型构建一套学习承载结构化的领域分析范式，驱动客观支持数据流的训练推理引擎；结合高精度的专项模型，学习领域专家的分析过程，借助通用大模型的