钛铂数据&InfoQ：企业实时数据服务平台建设最佳实践（2023）（39页）.pdf

1、 1 2 目录 3 1.4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 22 20 21 22 23 24 25 26 27 1.数据连接类型对象:Connector,针对平台支持的数据源进行查询 2.数据连接对象:Connection,可创建任意平台支持的数据源 3.数据源:Source,定义一些具有特定结构的数据来源,由特性的 Connection 与 其下层结构描述组成 4.核心对象 Pipeline,定义一个计算过程,可以执行多种无状态数据处理,有状态数据复制,多流 JOIN,多表合并,聚合计算等数据处理,使用形式类似:p.read_from(sou

2、rce).filter(time 2022-03-05).join(p2).writeTo(data_lake);5.Job,Pipeline 的运行态,可进行启动,停止,监控等多种运维操作 6.DataCheck,辅助过程,在 1:1 数据复制过程中,可实时增量检测源与目标是否一致 7.DataTrace,辅助过程,可检测某个特定的数据模型的前向数据血缘与后向数据引用 8.API,数据操作,可将某个特定的数据结构发布为 HTTP CURD 接口,并且与数据连接类型无关 28 1.#2.bash iShell.sh#启动交互工具 3.2022 年 3 月 5 日 星期六 23 时 28 分 0

3、6秒 CST Welcome to Live Data Platform Shell,Enjoy Your Data Trip!4.5.1 login-s server-a access_token#通过 token 登录系统 6.Login success!You are admin now.7.#8.9.2 show dbs#列出数据源 10.0.user,Mysql,_id is:xxx 11.1.custom,Mongodb,_id is:xxx 12.13.3 use custom#使用数据源 14.database switch to custom 15.16.4 show tab

4、les#列出表 17.0.xxx,_id is:xxx 18.1.yyy,_id is:xxx 19.20.5 desc xxx#描述表 21.22.a:string,23.b:number,24.c:data 25.26.27.6 preview xxx#预览表 28.0.a:xxx,b:100,c:2021-10-22 13:04:00 29.1.a:xxx,b:100,c:2021-10-22 13:04:00 30.31.#32.7 show jobs#列出全部运行的任务 33.1.xxx,running,full sync 34.2.yyy,stopped,full+inc sync

5、 35.36.status job xxx 37.running 38.39.stop job xxx 29 40.job xxx stopped 41.42.descj xxx 43.#44.use custom#使用数据源 45.database switch to custom 46.47.source=Source(db.table)48.source for db.table created 49.50.source.cache()51.cache for db.table running.52.53.source.preview()54.0.a:xxx,b:100,c:2021-1

6、0-22 13:04:00 55.1.a:xxx,b:100,c:2021-10-22 13:04:00 56.57.source.publish()58.API for db.table published,document auto generate,url is:xxx,please visit for test 59.#60.source=Source(db.table)61.source for db.table created 62.63.source.from(