何家旋-大模型时代下的企业智能合规风险预防检测与应对.pdf

1、大模型时代下的企业智能合规：风险预防、检测与应对何家旋阿里巴巴演讲嘉宾何家旋阿里巴巴集团 算法工程师自然语言处理算法工程师，研究方向为多模态信息融合，企业智能合规，跨模态内容检索。目前负责阿里巴巴企业智能算法研发工作，负责企业智能法务合规业务，涉及审查、制裁、考试、自动收案等相关内容。发表过多篇多模态相关的SCI论文，在跨模态检索领域以及合规领域都有相关技术研究和内容沉淀。目 录CONTENTS1.合规NLP算法的技术背景2.基于大语言模型的自然语言处理任务3.企业智能法务合规实践4.未来展望业务相关技术背景PART 011.1 多任务大语言模型（大语言/多模态大模型）Zhao W X,Zho

2、u K,Li J,et al.A survey of large language modelsJ.arXiv preprint arXiv:2303.18223,2023.统计语言模型（SLM）：基于马尔科夫假设建立词预测模型，当词较多时，独热编码的维度会非常大，使得模型难以训练神经语言模型（NLM）：通过引入分布式词向量来表征单词。word2vec通过一个浅层的神经网络（分为CBOW和Skip-gram两种方式）来学习分布式单词的表示。从而在向量空间中，可以通过语义的叠加和删减从一个单词得到另外一个单词（比如：皇后-女性=国王）预训练模型（PLM）：transformer架构出现，ELMO

3、，BERT的预训练-微调范式（在下游的分类头或其他适配器上进行参数训练）极大的提高了模型在各类NLP任务中的性能。大语言模型（LLM）：基于decoder的GPT-3.5涌现能力。上下文学习ICL和思维链COT的特点，大模型在更多复杂任务表现出色1.1 多任务大语言模型（大语言/多模态大模型）Zhao W X,Zhou K,Li J,et al.A survey of large language modelsJ.arXiv preprint arXiv:2303.18223,2023.https:/ 多任务大语言模型（大语言/多模态大模型）https:/ Base&Chat6B1T/1.42

4、K/32K可商用LLaMALLaMA/2 Base&Chat7B/13B/33B/65B1T/2T2k/4k部分可商用BaichuanBaichuan/2 Base&Chat7B/13B1.2T/1.4T4k可商用QwenQwen/1.5 Base&Chat7B/14B/72B2.2T/3T8k/32k可商用BLOOMBLOOM1B/7B/176B-MT1.5T2k可商用AquilaAquila/2 Base/Chat7B/34B-2k可商用InternLMInternLM/2 Base/Chat/Code7B/20B-200k可商用MixtralBase&Chat8x7B-32k可商用YiB

5、ase&Chat6B/9B/34B3T200k可商用DeepSeekBase&Chat1.3B/7B/33B/67B-4k可商用1.1 多任务大语言模型（大语言/多模态大模型）1.1 多任务大语言模型（法务大模型）https:/ 检索系统相关技术1.Query 理解：主观题作答需结合考生自我认知，无固定的参考答案，这类题目答案的修改主要依赖于考官个人判断，打分具有主观性2.召回：参考答案可能有缩写、冗余内容，这些内容对考官无压力，而算法模型无法识别与判断3.排序：问题和参考答案来自不同语言，阅卷需要考虑不同语言回答时的语境问题1.3 法律文书要素(关系)抽取相关内容Lu Y,Liu Q,Dai

6、 D,et al.Unified structure generation for universal information extractionJ.arXiv preprint arXiv:2203.12277,2022.基于大语言模型的自然语言处理任务PART 022.1 基于大模型的检索增强生成RAGRAG-检索增强生成：模型在回答问题或生成文本时，首先从广阔的文档库中寻找相关信息。然后，模型使用这些找到的信息来生成回答或文本，从而提高其预测的准确度。1.使用编码模型（如 BM25、DPR、ColBERT 等）根据问题找到相关的文档。2.生成阶段：以找到的上下文作为基础，系统生成文本h