构建企业级开源 AI 生态：从 OSPO 视角看 OPEA 的协作实践.pdf

1、王庆英特尔中国软件研发总监企业拥抱AI的三大诉求企业希望AI系统能够给出准准确确、可靠可靠的预测，避免“黑箱”效应。AI决策过程需要透明且可以解释，尤其是在金融、医疗等高度监管的行业。可信企业需要对AI系统的行为进行有效控制有效控制。特别是在AI系统的学习过程中，如何避免不符合道德或法律要求的输出，保证系统的可管理性和稳定性。可控企业希望AI模型和工具能够高效复用高效复用，减少重复建设的成本。AI的复用性对于降低研发成本、加速技术迭代尤为重要。可复用企业实现GenAI落地的最大障碍有114位在人工智能领域高度参与的领导者，他们的组织在生成式人工智能应用方面处于先进水平，不包括“不确定”的情况。

2、G03：在实施生成式人工智能项目时，您的组织遇到的前三大挑战是什么？来源：2023年Gartner企业中的人工智能调查技术实现运行生成式人工智能项目的成本获取所需人才治理生成式人工智能数据可用性保密性和知识产权衡量价值为生成式人工智能项目提供资金偏见和公平性问题幻觉和不准确的输出找到合适的用例获得赞助业务参与文化抵制前三名与第一名选择障碍的百分比北美（30%）的前三名排名显著高于欧洲（6%）。欧洲（24%）的前三名排名显著高于北美（11%）。来源：生成性AI数据的董事会演示，2024年3月25日。Gartner是Gartner公司及其附属公司在美国及国际上的注册商标和服务商标，并经许可在此使用

3、。版权所有。技术复杂度成本人才短缺解决方案：开源生态前3项选择总和第一选择构建端到端的企业AI方案企业人工智能开放平台企业人工智能开放平台规范、组件、微服务、参考工作流程、评估和基准测试OSVsOEMs/ODMs应用提供商向量数据库与存储方案厂商系统集成商VARs(增值经销商)NSIs(网络方案集成商)企业及终端用户创建和管理数据管道数据准备生成大语言模型（LLM），使用垂直行业特定数据进行微调构建大模型在企业服务器/服务上部署大语言模型，使用企业数据重新训练，管理和扩展AI模型部署和产品化方案模型聚合商领域框架，模型开发商Retrieval Augmented Generation(RAG)

4、enhanced GenAI Ref SolutionRetrieval Augmented Generation(RAG)enhanced GenAI Ref Solution(Chatbot,semantic search,summarization,code-gen,etc.)Documents Images&Videos Email&Chat Technical databases Workplace tools(Github,Slack,Jira,Sharepoint,)Business Data(SAP,Workday,Salesforce,.)Enterprise DataEnt

5、erprise DataUser QueryUser QueryPost-process/Post-process/ResponseResponseIngest/Data Ingest/Data ProcessingProcessingEmbedding ModelEmbedding ModelExtractExtractIndex/Vector Index/Vector DatabaseDatabaseInput/QuestionInput/QuestionPrompt ProcessingPrompt ProcessingUser Query&Relevant DataLLM Infere

6、nceLLM InferenceLlama2,GPT4,etc.Generated outputGenerated outputRetrieval/RankRetrieval/RankGuardrailGuardrailFinal processed Final processed outputoutputAgent/Multi-step Agent/Multi-step generationgenerationUser feedbackUser feedbackTagged Tagged datadataLLM/Ranker Fine-LLM/Ranker Fine-tuningtuning