史鑫鑫_金融领域大模型数据集管理与应用.pdf

《史鑫鑫_金融领域大模型数据集管理与应用.pdf》由会员分享，可在线阅读，更多相关《史鑫鑫_金融领域大模型数据集管理与应用.pdf（35页珍藏版）》请在三个皮匠报告上搜索。

1、演讲人：史鑫鑫蚂蚁集团/大安全 数据研发专家010203040506引言与背景智能数据管理CoT思维链数据工厂多模态数据管理与应用业务场景应用案例分享总结与展望01数据算法算力人工智能的三架马车结构化非结构化图片音频视频TransformerVision TransformerMoEDiffusion TransformerA100H100H800其他小模型到大模型的变迁小模型大模型特征模型策略用户交易设备NNCV业务知识专家经验XGBoost模型数据作案手法知识业务知识策略法律法规LLMVLLMMoE业务数据用户特征对手特征设备网络支付方式交易时间行为序列Data-Centric AIDat

2、a(V1)DCAI（Data-Centric AI）是一种大模型研发范式，其以高质量数据集为核心迭代大模型的性能。Data(V2)Data(V3)金融大模型数据交易数据用户数据业务知识设备数据型号、OS、网络交易方、商品、时间、地点性别、年龄、常住地法律法规、作案手法 业务复杂、数据分散在不同的业务场景、数据看不全、看不清 数据存在孤岛、重复使用困难 数据存储和计算与大模型训练平台之间链路长、应用效率低 在重点业务场景，数据精细化运营困难02关键问题 看清、看全业务数据 打破数据孤岛，加速数据流通 提升数据应用效率 标签化管理的精细化数据运营 以数据集、数据专题的数据管理能力 统一数据管理平台

3、 打通数据应用上下游关键链路，让数据应用走上“高速路”重点业务场景数据，精细化打标，实现数据标签化运营数据管理体系数据集点面专题资金风控内容风控交易特征图/文/音/视样本湖样本库资金风控内容风控数据集 看清安全域数据集/样本库/知识库全貌核心板块：列表页，详情页（简介、详情、下载）；功能列表：数据集注册，编辑，标签级连，预览，权限管理，高敏内容处理，核心数据更新（浏览、下载等），样本量级；全样本库 聚焦核心数据集应用：秒级样本精细化标签体系分析与策略运营，一键对接各业务系统能力建设：标签体系自定义；样本列表模板化；列表样式模板化；功能标准化（增/删/查/改/接口/上传）；内嵌页模板化；数据回流

4、标准化；功能列表：样本上传，编辑，标签管理，高敏内容处理，系统对接，帮助文档。深标签化数据管理业务标签基础标签 性别 年龄 省份主体 型号 系统版本 可信设备 金额 时间 双方关系交易 Token数 语种文本 分辨率 大小图片 分辨率 时长视频 码率 比特率音频“0”代码数据管理产品化标签管理可视化配置权限管控应用系统配置业务标签、通用标签展示形式、布局线上应用、训练、评测审计、数据安全03设计理念上下文构造样本合成模型训练模型评估数据科学“飞轮”驱动的数据研发，加速大模型应用落地CoT构建车间上下文构造 业务数据 知识库 专家经验思维链生成 大模型生成 数据合成质量管理 基于AI的数据质量评

5、估体系效果评估 小批量快速验证 数据科学体系流程编排批量生产任务1任务队列任务2任务3任务N任务调度样本集1样本集2样本集3样本集N训练样本长上下文构造业务数据仓库主体画像行为序列业务数据系统日志业务输入prompt指令定义输出定义角色定义场景定义知识库名词解释法律法规业务知识业务报告原始样本集QA上下文角色核心数据指令场景输出格式样本TargetQ Filter 筛选高质量样本质量过滤器多样性采样器难度过滤器Rule BasedModel BasedRAG 样本领域知识补齐实体识别LLM总结检索输入样本集QA上下文角色核心数据指令场景输出格式样本Target补充知识123CoT样本质量管理多

6、样性控制难度分层逻辑核验格式校验高中低思考过程准确性语言一致性格式正确业务场景覆盖全CoT样本构建简单模版复杂模版“手搓”CoT进化到自动化、流程化高质量CoT样本构建进入日产十万+，解决业务CoT样本慌的问题样本产出到模型训练进入流程化04结构化/半结构化图片视频音频OSS数据湖缓存表格JSONCSVExcel富文本长图横图JPG、PNG、WebP长视频短视频MP4、MOV、AVI、WebM长音频、短音频纯音乐单人、多人标签检索可视化权限管控数据应用业务标签、内容标签模型训