一、大数据双流建设

1.1 数据双流

1.2 数据双流的建设评估维度和标准

在大数据时代，越来越多的公司依靠实时数据来做出调整促销、估算点击率和广告佣金等决策。为了保证业务的顺利开展，保证整个大数据链路的高可用性，越来越多的0级系统正在构建双流，保证日常生活和大规模促销期间数据流的稳定性。确保。构建核心数据链路双机房、双流、双活系统。同时，双流建设需要跨链路每条链路部署两个机房，占用两倍的物理资源。整个建设过程需要上下游环节的协调：数据创建者、数据仓库处理方、数据仓库处理者。中间处理节点、企业消费者），这也会产生大量的通信建设成本。双流建设标准和实施流程是为了帮助业务相关方合理评估双流需求并顺利实施双流建设，以达到资源消耗和业务稳定性之间的平衡。有关更多信息，请参阅来自：双流结构评价标准

二、大数据双流憋坝高保真压测

为2021年大促做准备，大数据侧核心数据链路从单模块、单任务压测走向全链路大坝压测。防洪闸门已向上移动。压测范围扩大，订单与交易同时涌动，高保真大促销网络高峰，资源竞争场景，数据产品（金眼、商业智慧、作战室大屏）时有发生。同时对洪水期间的读取查询进行压力测试，以模拟大促销期间的峰值读取和写入，并与现实世界的大型促销场景并行。

2.1 双流憋坝压测

（1）军演是对生产业务系统的压力测试，主要是首页、搜索、列表、业务详情、活动、购物车、支付页、订单、优惠券、礼品卡、支付、网关、OFC、Covers物流、售后以及依赖的上游动力系统。用于压测的SKU为测试SKU，压测订单会标注sendpay140=2或3。这不会污染您的实际在线数据。

（2）大数据遏制从停止同步任务开始，当实际在线流量达到一定量时，将释放所有压测数据。

（三）大数据遏制与军事演*的关系：

A.军演压测数据不影响大数据链路

B、大数据洪流发布时间应避开军事演*开始时间。否则，源头订单的源头泛洪释放将会延迟。

C.对于预售等特殊订单场景，订单通常处于搁置状态，无法达到大规模促销场景或规模，因此可以利用军事演*和大数据进行高保真协同压力测试。

2.2 双流憋坝的压测目标制定

2.3 双流憋坝的压测方案

按照2022年双11高峰，目标1.2，挑战1.5（需要关注1.5x任务操作，保证任务可执行，预估延迟时间）。有） ）

（1）流量预计2022年双11的1.2倍（微信手机Q: 228w/min PC：50.3w/min M；601w/min，APP：4596w/min）

（2）本次交易基于2022年双11 1.2倍预测（stream-02-02-10200-sharding-jdorders：1260 w/min；OrderPipe_Submit：201.6 w/min）

对于采集服务层，2023年主题峰值估算如下：

平台

数据类型

主题名称

2022年双11（周/月）

获得多个估计

2023 618 预计（妈妈）

获得多个估计

预计峰值的1.5倍

电脑

浏览

www.100000

41.93

1.2

50.3

1.5

62.9

电脑

点击

其他.000000

324.28

1.2

389.14

1.5

486.42

中号

浏览

mo_j2011_1_pv

501.07

1.2

601.28

1.5

751.61

中号

点击

mo_j2011_1_cl

6083.31

1.2

7299.97

1.5

9124.97

中号

命令

mo_j2011_1_sr_od

18.85

1.2

22.62

1.5

28.28

应用程序

浏览

ja2015_311210_pv

3830.68

1.2

4596.82

1.5

5746.02

应用程序

浏览

ja2015_311210_pv_trim

3830.65

1.2

4596.78

1.5

5745.98

应用程序

实际点击

ja2015_311210_cl

11707.75

1.2

14049.3

1.5

17561.63

应用程序

实际点击

ja2015_311210_cl_trim

11706.86

1.2

1404823

1.5

17560.29

应用程序

虚拟点击

ja2015_311210_cl_virtual

361.9

1.2

434.28

1.5

542.85

应用程序

虚拟点击

ja2015_311210_cl_virtual_trim

362.13

1.2

434.56

1.5

543.2

应用程序

接触

ja2015_311210_ep

23875.5

1.2

28650.6

1.5

35813.25

应用程序

命令

ja2015_311210_sr_od

142.38

1.2

170.86

1.5

213.57

应用程序

命令

ja2015_311210_sr_od_trim

141.4

1.2

169.68

1.5

212.1

应用程序

表现

ja2015_311210_sr_pf

1575.54

1.2

1890.65

1.5

2363.31

微信手机QQ

浏览

wg_wx.000000

190.33

1.2

228.4

1.5

285.5

微信手机QQ

点击

wg_wx.000001

426.6

1.2

511.92

1.5

639.9

微信手机QQ

接触

wg_wx.000003

1222.87

1.2

1467.444

1.5

1834年

微信手机QQ

特定于搜索曝光度的报告

wg_wx.000002

22.33

1.2

26.8

1.5

33.5

微信手机QQ

定制类型

wg_wx.000007

65.91

1.2

79.1

1.5

98.9

（1）交易阻塞方式，停止同步任务和出块顺序的交易双流架构图：

(2)流量受到约束。通过停止Collection Services并写入JDQ写入集群来进行无损全链路压力测试。不想参加压测的业务方可以切换到“JDQ4澜沧江_点击流新流程”。确保保流压测试过程中实时流量数据能够成功消费且不丢失。

2.4 双流憋坝压测规范

（1）全链路压测的具体hold顺序、流量hold开始时间、洪水释放时间，将在每次压测前24-48小时发送通知（邮件+精美群）。精煤集团：“第23次大数据双流压测启动”，群号：1024432664，通知发出后，泄洪时间不再调整。

（2）向集团汇报全链路压测，避免存储（hbase、jimdb、ES）、JDQ、JRC等关键促销活动和专有灾备培训。压力测试无效。

2.5 失真场景的高保真压测

三、大数据憋坝压测期间，业务方的迁移方案

大数据双流压测期间流量抑制和订单抑制期间，流量抑制和订单抑制对应的机房（汇腾/廊坊）没有实时传输。洪水释放后，数据被保存并恢复。不参与压力测试的运营商将不得不进行相应的切换。

受挂单影响的主题，请参见https://joyspace.jd.com/pages/mKHPBOLblsfK58O4c4IL。

受流量限制影响的主题，请参见https://joyspace.jd.com/pages/WW5lG8NFeCcmSdp348Qb。

3.1 双流憋坝压测对于业务方的影响

(1) 交换机集群：

A. 不涉及任何交易。事务性话题源头双流，可切换到消费或压测机房对应的话题。

B、流量直接消费点击流喷出的话题（详见2023年编辑618个流量话题）。您需要切换到无损压测集群“JDQ4澜沧江_点击流新流”。切换到该集群是一键迁移，无需重启任务。要使用该功能，需要将jdq sdk版本升级到jdq4-clients: 1.3.0-SNAPSHOT flink: 1.10/1.12/1.14-。 1.0.9 - 快照。如果迁移过程中没有看到集群“JDQ4澜沧江_点击流新流”，请加入群“23年618压测迁移新集群”。群号为“1029948724”。

C. 具体集群迁移方法请参见23年618次流量压测如何一键创建新流并解绑集群。

(2)切换主题认证

A. 交易是双流的。廊坊和回天都有相应的主题，不参加压测的业务方可以在非压测机房申请使用相应的主题。

B. 流量不是消费聚合服务直接发出的主题。例如，如果您正在使用“流量实时数据仓库”主题，您可能希望切换到使用与您的非压力测试机器相对应的主题。房间。

C、具体切换方法参考：23年全链路压测、汇腾/廊坊话题消费者切换方法

版权声明：本文转载于网络，版权归作者所有。如有侵权，请联系本站编辑删除。