姜鑫、蒋晓峰-基于AIFlow的机器学习工作流最佳实践.pdf

1、姜鑫&蒋晓峰基于基于AIFlowAIFlow的机器学习工作流最佳实践的机器学习工作流最佳实践实时机器学习实时机器学习AIFlowAIFlow 介绍介绍最佳实践最佳实践#2#3RoadmapRoadmap#4#1#1#1实时机器学习实时机器学习离线机器学习工作流离线机器学习工作流Feature StoreApplicationQueueArchived DataBatchFeature GenSample StoreOfflineTrainingModel StoreModelValidationInferenceService实时机器学习工作流实时机器学习工作流Feature StoreApp

2、licationQueueArchived DataBatchFeature GenStreamingFeature GenSample StoreOfflineTrainingOnline TrainingModel StoreModelValidationInferenceService基于事件的工作流调度基于事件的工作流调度Feature StoreApplicationQueueArchived DataBatchFeature GenStreamingFeature GenSample StoreOfflineTrainingOnline TrainingModel StoreMod

3、elValidationInferenceServiceEventEventEventEventEventEvent#2 2AIFlowAIFlow 介绍介绍AIFlowAIFlow 概览概览AIFlowAIFlow 是是一个事件驱动的工作流框架，它允许在工作流里混合部署流作业和批作业，并一个事件驱动的工作流框架，它允许在工作流里混合部署流作业和批作业，并且针对实时机器学习场景进行了适配且针对实时机器学习场景进行了适配,旨在解决实时机器学习的工作流管理问题。旨在解决实时机器学习的工作流管理问题。仓库地址仓库地址:https:/https:/ 特性特性元数据管理元数据管理事件驱动事件驱动引擎无关

4、引擎无关工作流管理工作流管理AIFlow 架构AI Flow SDKConfigAI Flow APIDependenciesGRPC ClientBlob ManagerAI Flow ClientTranslatorJob GeneratorAI Graph(AI Nodes)Workflow(Jobs)GRPC EndpointAI Flow SDKAI Flow ServerMeta ServiceProjectWorkflowDatasetModelMetricArtifactScheduler ServiceBlob ManagerWorkflow ParserWorkflow,D

5、ependenciesDBEvent BasedSchedulerLocalCeleryNotificationWorkflow Define&CompileExecuteSDK#1#2#3工作流定义工作流定义 用户自定义processor 指定processor之间的依赖关系运维接口运维接口对workflow的启停等操作对job的启停等操作.元数据管理元数据管理ModelDataset工作流定义与编译Data EdgeControl EdgeJob1Job2Job3AI GraphWorkflowExample1Example2TransformTrainExample3Validation

6、Example3ValidationExample1Example2TransformTrainExample3ValidationExample3Validation运维接口#1#2命令行命令行 aiflow workflows start-execution aiflow jobs stop-execution aiflow db upgrade WebWeb UIUI页面操作workflow、job元数据管理WorkflowWorkflowProjectProjectDatasetDatasetModelModelMetricMetricArtifactArtifact服务端架构GRPC