刘吉+垂类大模型的高效训练推理与产业实践.pdf

1、http:/浙江核新同花顺网络信息股份有限公司CopyrightHithink RoyalFlush Information Network Co.,Ltd.同花顺知识 工具 信息垂类大模型的高效训练推理与产业实践刘吉同花顺2025.07.12http:/Confidential&Proprietary公司介绍第N次创业布局智能客服、智能外呼、智能医疗等领域A股创业板上市，股票代码300033唯一与三大移动营商合服作的手机金融信息务商网上行情交易系统覆盖国内90%以上券商成立于杭州首推财经搜索“问财”推出问财选股、提供多维度选股、各行业专业机构研报和数据图表、各国宏观经济数据等智能服务All

2、in AI战略公司全面投向人工智能领域，AI能力渗透入同花顺各项业务当中HithinkGPT大模型同花顺Hithink大模型成功通过网信办大模型备案，是业内第一家通过备案的金融对话大模型注册用户突破1亿，推出iFinD金融数 据终端转型互联网业务，提供移动金融信息服务业务发展迅猛，完成股改推出国内首套证券网上行情交易系统语音语义能力全线升级人工智能应用元年，日均PV突破百万，打造专业的智能投研、投顾平台全面布局AI虚拟人业务打造3D卡通虚拟人“小花”、3D写实虚拟人“小桐”等形象，陆续推出真人驱动虚拟人直播、离线渲染虚拟人视频、虚拟人交互大屏等虚拟人产品智能投资助理上线获得DIA中国制造设计大

3、奖，为投资者提供智能选股、诊股、资产配置、数据查询等理财投顾服务1994200120052009201320172019202319972003200720112015201820222025全面上线深度能力打造垂类专业能力的深度思考、深度搜索能力，从而在垂类应用中为用户提供全面而系统的信息http:/Confidential&Proprietary公司业务个人用户机构客户公司业务覆盖全国96%以上的证券公司覆盖全国9 8%以上的基金公司已面向全国150余家银行提供智能数据、智能系统、智能推广等服务接入10余家保险公司，品种涵盖健康险、意外险等20余款产品每三个投资者中就有一个使用同花顺注册用

4、户62,547万2024-11-08：市值达到1831.89亿元拥有投资咨询、基金代销、保险经纪、私募基金管理人登记、企业征信等资质28年互联网金融信息服务行业经验，旗下拥有20+家全资子公司每三个研究员中就有一个使用同花顺ifindhttp:/Confidential&Proprietary同花顺大模型业务架构http:/Confidential&Proprietary同花顺大模型系统架构开发工程师能力开放API开放集群建设前期准备通用数据领域数据模型准备代码准备模型训练SFT微调RLHF模型优化剪枝蒸馏量化适配模型部署模型评测部署服务系统工程师算法工程师环境搭建阶段开发准备阶段模型训练阶段

5、应用落地阶段数据集管理镜像管理模型管理代码配置管理训练任务管理部署任务管理资源调度监控告警大模型训练平台网络优化存储优化调度系统部署预训练数据回流训练模型训练优化模型推理优化500倍推理性能提升！http:/Confidential&Proprietary垂类（大）模型高效训练推理与产业实践1.高效训练与联邦学习1323.大模型的产业实践2.大模型高效推理服务http:/Confidential&Proprietary联邦学习与分布式训练系统架构用户支持层监视控制解释说明图数据支持基础设施层数据安全数据传输分布式执行联邦训练层并行训练资源调度运行容错人机接口层命令行接口图形界面接口Ji Liu

6、 et al.From distributed machine learning to federated learning:A survey.In KAIS,volume:64,pages:885-917,2022.Ji Liu et al.Enhancing Trust and Privacy in Distributed Networks:A Comprehensive Survey on Blockchain-based Federated Learning.In KAIS,volume:66,pages:4377-4403,2024.Chen and Liu et al.Trustw