当前位置:首页 > 报告详情

ClickHouse高可用实践.pdf

上传人: 2*** 编号:135172 2023-07-09 24页 734.20KB

1、ClickHouse高可用实践演讲人:贺钰城 联想 开源优化架构师目录生产制造企业的数据现状clickhouse集群架构clickhouse数据集成问题clickhouse查询并发性能的提升Contents01 生产制造企业的数据现状生产制造企业数据库使用现状1、业务系统分散采用了不同的关系型数据库2、现有大数据平台处理能力T+13、数据量不断积累,关系型数据库无法满足需求谜一样的数据流向迷一样的sqlSELECT BILLING,BILLING_DATE,DN,DN_ITEM,SHIP_DATE,PSD_CHURN,FAMILY,DESCRIPTION,PSD,LINE_PSD,PSD_AI

2、_ADJ,AI_PSD_FLAG,PSD_COMMENT,REASON_CODE,FPSD,FG_DATE,MOT,VSBED,TRAZTD,SHIPTO_COUNTRY,DIS_CHANNEL,MTM,SO,SO_ITEM,SHIPPING_POINT,ROUTE,PRIORITY,DELIVERY_BLOCK,L_DELIVERY_BLOCK,CREDIT,SOLD2_KUNNR,SOLD2_NAME1,SHIP2_KUNNR,SHIP2_NAME1,CREATE_DATE,Z_CRCAD,Z_CRGID,LINE_QTY,ORDER_QTY,SO_TYPE,FSD,SOLD2_LAND1

3、,AUTLF,PSTYV,GRKOR,INCO1,SELF_PICK,BSTKD,WAERK,AUDAT,AEDAT_H,ROUTE2MARKET,BSARK,ZZODMCAD,ECC_REASON,SALES_ORG,DIVISION,HIERARCHY,MATERIAL_GROUP,PLANT,SALES_OFFICE,MFG_SO_NUM,MFG_SO_ITEM_NUM,PO_NUM,PO_ITEM_NUM,PO_VENDOR_NUM,REJECT_CODE,T1.SITE,T1.SITE_TYPE,KZTLF,CREDIT_REL_DATE,DB_REL_DATE,REGION,SUB

4、_REGION,BRAND,BRAND_BACKLOG,PG_BACKLOG,SUB_BRAND,SERIES,PRODUCT_GROUP,MARKET_NAME,AGING_M3,AGING_TTL,FWD_BAU,M1M2_LT,M3_LT,M1M2_STATUS,M3_STATUS,OTS_LT,OTS_STATUS,PSD_RSD,NO_PSD,MISS_CRAD,PSD_PASTDUE,PSD_LT,DEL_ACCURACY,FIRST_FG_DATE,TIE_FG_DATE,MARKET,TERRITORY,M1M2_SLA,M3_SLA,E2E_SLA,PSD_STATUS,OR

5、DER_TYPE,GEO,SUBGEO,SYS_CREATED_DATE,OTS_SLA,AGE_ORDER,STATUS,DN_CREATE_DATE,COUNTRY,M1M2_DEADLINE,M3_DEADLINE,DETRACTOR,REL_DATE,MFG_SITEID,MOT_CHANGE,BACKLOG_TYPE,MACHINE_TYPE,ERNAM,BRGEW,PRE_DOC AS CONTRACT_NUM,IFNULL(GLN,GLOBAL_LOC)AS GLN,END_CUST_ID AS END_CUSTID,END_CUST_NAME,CMWAE,ZSBBLT,S_RE

6、PID,S_REPNAME,FACE_REPID,。LEFT JOIN SCI.CONF_PSD_WEEK S3 ON T1.PSD BETWEEN S3.DAYS_START AND S3.DAYS_ENDLEFT JOIN SCI.CONF_WEIGHT_UNIT_TRAN S4 ON T1.GEWEI=S4.GEWEILEFT JOIN SCI.MID_FF_PC_BAACKLOG_CURR S5 ON COALESCE(T1.BILLING_DATE_NEW,T1.CREATE_DATE_NEW)=S5.GDATU AND T1.WAERK=S5

word格式文档无特别注明外均可编辑修改,预览文件经过压缩,下载原文更清晰!
三个皮匠报告文库所有资源均是客户上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作商用。
本文主要探讨了生产制造企业在数据处理和使用ClickHouse数据库时的挑战与解决方案。当前生产制造企业的数据库使用现状是业务系统分散,使用了不同的关系型数据库,现有大数据平台处理能力为T+1,数据量不断积累导致关系型数据库无法满足需求。ClickHouse数据库在处理大数据量、数据集成、查询并发性能方面存在问题。针对这些问题,提出了ClickHouse集群架构、数据集成解决方案以及查询并发性能提升策略。其中,ClickHouse集群架构可以有效提高数据处理能力;数据集成解决方案通过事件方式录入数据,减少更新数据带来的问题,使用OLAP引擎解决查询性能问题,采用大宽表减少SQL复杂度;查询并发性能提升策略包括分布式ReplicatedMergeTree架构调整和Projection的使用。总之,针对生产制造企业的数据处理痛点,ClickHouse提供了一系列的解决方案和优化策略。
"ClickHouse如何实现高可用?" "大数据量下UPDATE死锁问题如何解决?" "如何利用ClickHouse进行高效的数据分析?"
客服
商务合作
小程序
服务号
折叠