胡宜峰-大小模型协同驱动安全升级_胡宜峰_最终版.pdf

1、大小模型协同驱动安全升级基于大小模型协同的数字内容风控实践胡宜峰目录01020304背景与挑战大小模型协同解决方案设计与分析基于大小模型协同的数字内容风控实践未来展望01背景与挑战背景发展历程2012开启现代深度学习的“大爆炸”时代。AlexNet2016将网络性能和深度推向新的高度。ResNet2017构建了大模型时代的基石架构Transformer2020验证了“生成式预训练+微调”的范式GPT2025推动了高性能模型的“开源化”和“普惠化”Deepseek小模型优势不足高效率低成本定制迭代敏捷可控性相对较高隐私与安全复杂问题能力有限泛化能力较弱数据强依赖功能性较弱小模型大模型优势不足复杂

2、场景能力较强泛化能力强功能通用创造能力更强成本和时延相对较高相对不够稳定隐私与安全问题迭代相对复杂大模型选择VS小模型大模型1互补功能2类比CPU VS ASIC行业3分而治之技术4比较优势理论依据选择大模型VS小模型协同发展新范式-从孤立模型到协同系统PreProcessPreProcessInferInferPostProcessPostProcessSceneSceneN NModel_NModel_NPreProcessPreProcessInferInferPostProcessPostProcessSceneScene2 2Model_Model_ 2 2PreProcessPre

3、ProcessInferInferPostProcessPostProcessSceneScene1 1Model_1Model_1.MultiMulti-AgentAgent CollaborationCollaborationPreprocessPreprocessContextContextSharingSharingDataDataExchangeExchangeInputInputEmbeddingEmbeddingInferInferModelModelSharingSharingWeightWeightSharingSharingKnowledgeKnowledgeSharing

4、SharingPostprocessPostprocessOutputOutputSharingSharingTaskTaskSharingSharingObjectiveObjectiveSharingSharing挑战大小模型协同解决方案任务拆解、模型选择、pipeline 设计、模型路由、信息交互、融合策略模型蒸馏、知识迁移数据数据量、准确性、差异性、价值效果效率可控工程时延、并发、迭代周期02大小模型协同解决方案大小模型协同大模型小模型Pipeline/RoutingPipeline/RoutingKnowledgeKnowledgeDistillationDistillationIn

5、tegration/Fusion Integration/Fusion KnowledgeKnowledgeInteractionInteractionDataData GenerationGenerationDataData EnhancementEnhancementConfidenceConfidence RuleRule ReinforceReinforce LogitsLogits FeatureFeature RelationRelation ModelModel FeatureFeature WeightWeight PromptPrompt ClassClass Confide

6、nceConfidence大小模型路由SamplesSamplesEmbeddingEmbeddingEasyEasySimpleSimpleSubjectiveSubjectiveInIn-DomainDomainHardHardComplexComplexObjectiveObjectiveOutOut-DomainDomainLowerLowerCostCostBetterBetter ResultsResultsHardHardSamplesSamplesEasyEasySamplesSamples基于动态网络的大小模型路由大小模型交互蒸馏InputInputLLMLLMOutputO