A3--王欢--数据能对话治理有AI：大模型破解效能度量深水区.pdf

1、王欢东方证券 研发效能负责人效能度量进入深水区的痛点关注度降温初期，管理层往往对数据驱动决策抱有很高期望，但随着时间推移，关注度显著下降。副作用明显度量指标反而导致团队氛围紧张，甚至出现“为指标而工作”的异化行为古哈的定律。度量与改进脱节数据停留在统计层面，缺乏有效的跟踪机制和推动力量，难以转化为实际的效能提升。010302目录CONTENTS效能度量基石：指标设计实战0102效能度量跃升：度量数据分析最后“一公里”：从度量到改进03LLM赋能：AI驱动代码治理04PART 01效能度量基石：指标设计与实战解析度量：开启效能的钥匙管理学之父彼得德鲁克曾说过：“如果你不能衡量它，你就不能改进它。

2、”通过改进实现提质增效，所以第一步是进行量化如果你无法度量它，你就无法改进它!If you want it,measure it.lf you cant measure it,forget it.-Peter Drucher什么是研发效能？实现高质量产品/功能从概念到交付的流动效率，它关注的是工作项在价值流中移动的速度、顺畅度和稳定性。流速与效率流派通过优化工程师的工作环境、工具和心理状态，最大化其创造力和生产力的水平。关注如何减少开发者的摩擦、挫败感和认知负荷，让他们能够专注、流畅地进行创造。能力与开发者体验流派构建和维护高质量、可维护、可持续的技术资产的能力。它认为，卓越的工程实践是长期、

3、高效、低成本交付业务价值的基础。工程卓越流派数字化效能：持续快速交付高质量 业务价值的能力六纵四横数字化效能体系效能度量如同眼睛与大脑，提供洞察以识别问题；工程效能则如同骨骼和肌肉，提供核心能力支撑；流程效能优化运作路径，如同血管和神经确保高效流转；而标准规范则如同皮肤与屏障，筑牢合规底线。这四大维度协同作用，最终合力驱动“以数字化手段为驱动，持续快速交付高质量、高价值业务价值的能力”这一核心价值的实现，确保体系有效承接战略并驱动业务目标达成。图：该图片引用FinEU效能度量体系度量体系的设计必须与组织战略及业务目标对齐，确保评估的有效性以业务目标为导向01度量范围应覆盖从需求到交付的完整价值

4、流，实现端到端的效能洞察。涵盖全生命周期02依据不同管理层级的职责视角，定制差异化的度量指标与数据呈现粒度。基于不同层级03通过时间序列分析监测效能变化趋势，进行周期性的对比以评估改进效果。时间维度分析03将人工智能技术对研发效能的正负向影响作为关键变量纳入评估模型。AI因素影响03在客观数据基础上，引入定性评估以弥补纯量化分析的局限性，形成综合判断考虑主观因素03效能度量本质上是基于客观数据进行量化分析与决策的管理方法。数据驱动03通过为不同指标配置差异化权重，以科学反映其在整个评估体系中的相对重要性。权重分配03采用分层架构（如数据层、模型层、应用层）来构建可扩展、可维护的度量系统系统分层

5、设计03图：该图片引用FinEU标准化及数据采集为了采集到可靠的数据，推进研发全生命周期管理流程的标准化，它涵盖两个核心关键点：构建统一的研发流程体系，研发管理工具全面推行，度量系统对接相关工具平台，进行自动化数据采集。研发工作流统一基准规则建立文化全面推广标准化数据不是武器，而是持续改进的驱动立项需求设计开发测试上线项目基础数据需求绑定jira绑定git绑定数据统一数据质量控制构建统一的研发流程体系保证数据一致性和可靠性itdm、需求平台、jira、git、ALM数据集成数据去噪数据驱动研发效能提升理念深化数据铺开研发工具全面推广保证数据齐全不遗漏数据标准化数据完整性研发主航道建设组织、文化

6、、流程组织宣导培训流程制度从组织宣导、员工培训以及流程制度层面灌输效能文化，效能目的是指导改进，而不是武器效能理念ci绑定cd绑定建立效能系统数据去噪度量是用来做决策辅助的，其准确性直接关乎决策成败。而异常数据可致分析失真，导致分析的结果是错误的。因此，数据去噪数据去噪确保数据质量、避免决策失误的关键原则之一。3箱线图P85故事交付时长分布图代码量交付趋势图异常点异常点异常点异常点数据去噪常用方法数据去噪常用方法指标建模层级根据效能系统建设经验，不同职级人员对研发效能诉求不同。中高管理者需全局性数据洞察，简洁易懂，揭示整体情况和改进方向。基层管理者关注细致效能数据，用于发现问题和推动改进。一线