1、 免责声明和披露以及分析师声明是报告的一部分，请务必一起阅读。1 证券研究报告 计算机计算机 通过通过 Kimi，看长文本的实现，看长文本的实现 华泰研究华泰研究 计算机计算机 增持增持 (维持维持)研究员 谢春生谢春生 SAC No.S0570519080006 SFC No.BQZ938 +(86)21 2987 2036 联系人 袁泽世，袁泽世，PhD SAC No.S0570122080053 行业行业走势图走势图 资料来源：Wind，华泰研究 重点推荐重点推荐 股票名称股票名称 股票代码股票代码 目标价目标价 (当地币种当地币种)投资评级投资评级 金山办公 688111 CH 417

2、.81 买入 福昕软件 688095 CH 86.72 买入 泛微网络 603039 CH 74.12 买入 汉王科技 002362 CH 25.74 买入 同花顺 300033 CH 169.06 买入 恒生电子 600570 CH 35.19 买入 资料来源：华泰研究预测 2024 年 3 月 26 日中国内地 专题研究专题研究 Kimi 上下文长度上下文长度 10 倍增长，引领国内大模型长上下文迭代新方向倍增长，引领国内大模型长上下文迭代新方向 大模型的长上下文支持能力已经成为重要的迭代方向。海外相对超前，Anthropic Claude 3 模型标配 200K 上下文，并可向特定客户提

3、供 1M 长度；Google Gemini 1.5 Pro 标配支持 1M 上下文长度，内部已实现 10M。国产大模型初创公司中，月之暗面的 Kimi 智能助手在 23 年 10 月即实现了 20万字上下文，并在 24 年 3 月进一步迭代成为 200 万字。同月，阿里通义千问宣布文档解析功能支持 1000 万字；百度文心一言将在 4 月的更新中支持200 万字以上的长文本能力；360 智脑开始内测 500 万字长文本处理功能。长上下文已成为全球大模型迭代重要方向，关注其他国产模型厂商进展。大模型长上下文，主要通过优化大模型长上下文，主要通过优化 Transformer 架构实现架构实现 目前

4、，全球大模型仍然以 Transformer 解码器为主要架构基础。在此基础上，可以通过改进解码器架构来实现长上下文，主要改进方法包括：1）高效的注意力机制：降低计算成本，在训练时实现更长的序列长度，相应的推理时序列长度也就更长；2）实现长期记忆：设计显式记忆机制，以解决上下文记忆的局限性。3）改进位置编码：对现有的位置编码进行改进，实现上下文外推。4）对上下文进行处理：用额外的上下文预/后处理，确保每次调用中输入给 LLM 的输入始终满足最大长度要求。国国内大模型厂商可能采取了多种路线混合优化方法内大模型厂商可能采取了多种路线混合优化方法实现长上下文实现长上下文 长上下文作为核心技术，各厂商选

5、择不公开。以月之暗面为例，其创始人杨植麟主要的学术论文 Transformer-XL 和 XL-Net，均探讨了长上下文的实现方法，且前者属于长期记忆力的优化，后者属于特殊目标函数的优化。百度的 ERNIE-Doc 则同时采用了长期记忆力和特殊目标函数的优化方法。阿里Qwen-7B 则使用了优化的位置编码算法 extended RoPE。所以我们推测，国内模型厂商之所以能够在短期内实践出长上下文方法，或是在原有积累的基础上进行了算法迭代，采取多方法的混合优化，实现快速超车。长长上下文上下文的通用性将解决多类场景需求的通用性将解决多类场景需求，带来应用突破机会，带来应用突破机会 具有长上下文的大

6、模型通用性更强，用户将特定领域的知识通过上下文的方式输入到模型中，模型即可以通过上下文学习掌握相应内容，一定程度上代替模型的微调。此外，长上下文模型能适应虚拟角色的个性化信息记忆、开发者的长 prompt 输入、AI Agent 的多轮调用需求，以及金融、法律等垂直客户长文档输入需求等多种场景，有望为 AI+应用带来新的突破机会。关注大模型长文本潜在受益产业链关注大模型长文本潜在受益产业链 长文本应用场景：1）文本工具：金山办公、福昕软件；2）法律文案：华宇软件、通达海；3）业务流程：泛微网络、致远互联；4）其他文本：汉仪股份、汉王科技。专业领域+多任务+多模态场景：1）金融领域：同花顺、恒生