大模型下的多模态智能风控落地实践-王小东.pdf

1、大模型下的多模态智能风控落地实践王小东新希望金科 AI中心总经理2024.08.17大纲1 大模型下金融风控面临的新问题和挑战2 大模型下金融风控破局之道3 基于大模型的多模态智能风控解决方案4 基于大模型的多模态智能风控应用案例5 总结与未来展望现有风控存在的问题1、欺诈手段层出不穷 中介代接听，代理维权。AB贷。反催收。2、团伙作案更加难以发现 黑产/中介攻击手段升级，如：不同设备，不同联系人，不同场所等。短时内呈现同GPS下身份证背景/人像背景/人脸/声纹等的高度聚集。3、模型性能出现瓶颈 模型KS提升有限。入模特征主要依赖结构化数据。建模方法传统。4、AI欺诈手段日益高明 AI 换脸/

2、换声。数字人。视频生成。电子头。高保真面具。金融信贷核心面临的新型AI风控问题213智能对话能力：利用ASR识别客户说了什么，利用LLM语言大模型，实时和用户实现智能对话，准确理解意图和生成回复内容，利用TTS实时合成生成内容读给客户听。高逼真的生成式AI技术：实时AI换脸+头发分割+换衣+换背景绕过摄像头采集，注入视频流实施攻击，深度伪装人的声音/图像/语言/视频，算法精度高，处理速度快，配合屏幕打光和高清显示屏等。除了人脸，还有身份证生成，房屋照片生成，各类贷款产品需要的材料生成造假等。语音生成能力：以语音大模型为基座，基于5秒/更长语音训练个人音色，并使用声音克隆技术复刻个人音色。支持将

3、文本转换成富有感染力和真实性的语音，支持情绪，语调的声音合成技术，使信息传达更加生动有力。身份证风控案例身份证脏身份证字体造假身份证贴纸身份证黑白边框身份证水印身份证污垢身份证缺角身份证弯曲身份证拼接人像替换身份证阴影遮挡字身份证贴字身份证翻拍身份证彩印身份证压线身份证PS身份证风控案例人像风控案例攻击手段层出不穷，技术升级迫在眉睫照片挖孔圆筒面具3D面具手机翻拍深度伪造AI换脸T型眼镜打印照片此处不公开此处不公开此处不公开AI换脸、换声、视频生成、数字人等AI攻击案例电子头电子头3D3D面具面具数字人数字人SoraSora生成生成AIAI实时换脸和换声攻击案例实时换脸和换声攻击案例此处不公开

4、此处不公开此处不公开此处不公开此处不公开生成式大模型引起的新型金融风险挑战总结 生成式AI技术出现前合成视频，合成人像等需要在淘宝、京东等电商平台或黑产平台花几十上百元，生成式AI技术出现后0成本。生成式AI出现前需要专业的PS人才，视频编辑人才等才可以批量生成伪冒身份材料，生成式AI出现后只需要会提示工程/简单微调/使用AI工具便可以完成。身份证类型可生成几十种类型。人像可生成几十种类型。声音可生成几十种。其他金融领域证件材料都可多样化生成。AI换脸以假乱真。AI换声模拟声音真假难辨。AI换头发模拟发型。AI试衣模拟穿着。AI换背景模拟环境。造假成本低生成内容丰富生成类容逼真度高大纲1 大模

5、型下金融风控面临的新问题和挑战2 大模型下金融风控破局之道3 基于大模型的多模态智能风控解决方案4 基于大模型的多模态智能风控应用案例5 总结与未来展望大模型+MaaS+RTC是否可行？音视频编解码音视频传输音视频录制音视频加密音视频合成水印时间戳屏幕录制共享、白板远程协助智能打点标注截屏、抓拍签名即时消息合同阅读语音机器人智能催收智能助手智能营销智能面签智能风控代码Review智能反欺诈智能客服舆情助手风险报告生成法律文书生成内容审查助手金融数字人音视频通讯能力大模型多人视频代码助手大模型小模型模型开发模型微调模型编排模型发布模型集市基础模型模型管理MaaSCV大模型Midjourney和S

6、table Diffusion等NLP大模型多模态大模型ChatGPTVisual GLM/Qwen VL等VS 参数量上10B的模型。模型都可以对结构化非结构化数据进行高维参数表达，达到可计算。基本都是基于Transformer这种架构的不同网络结构变种设计和构造。生成式大模型是大模型中的一种，主要进行文本，视频，图像的生成。生成式大模型生成的内容不可控，不精准很难在金融风控中应用。非生成式大模型，以概率输出的大模型可在金融领域参与策略决策和应用。大模型不只是生成式AI相同点不同点大模型解决风控技术方案方案1生成式：对话问答生成标签实现方案2非生成式：训练模型概率实现方案1不公开大模型+小样