FE优化 fe.conf routine_load_task_consume_second = 60 max_routine_load_batch_size=6442450944 max_routine_load_task_num_per_be=24 BE优化 be.conf write_buffer_size=1073741824 base_compaction_check_interv
核心参数调优参数名称原值/默认值建议值作用说明parallel_fragment_exec_instance_num18提升并行度(16核CPU建议设为8,每个核分配1个实例)pipeline_dop016流水线并行度(充分利用多核,提升CPU利用率)connector_io_tasks_per_scan_operator1632提高SSD的IO并行度(SSD高吞吐特性支持更高并发)io_task
#!/bin/bash # 企业微信机器人Webhook地址 WEBHOOK_URL="https://qyapi.weixin.qq.com/cgi-bin/webhook/send?key=you_key" # 表名列表(支持多表检测) TABLES=("j:data1" "j:data2" "j:data3") # 时间范围计算优化(CST时区) YESTERDAY_START_CST
一、清理当前集群的分区数据1. 验证分区存在性通过系统表确认分区状态:SELECTpartition,active,sum(rows) AS total_rowsFROM system.partsWHEREdatabase = 'clklog'AND table = 'flow_trend_bydate'AND partition = '2025-04-01'GROU
centos7.9 [python2.7.5] #创建hue目录 mkdir hue cd hue/ #安装yum包 yum install -y python-devel sudo yum install -y git gcc make openssl-devel bzip2-devel libffi-devel yum install -y maven yum install -y mys
1.服务器环境JDK:下载JDK (1.8+),安装并配置 JAVA_HOME 环境变量;数据库:达梦数据库安装,并初始化数据库实例,特别注意数据库实例初始化过程中,必须要 “大小写不敏感”注册中心:ZooKeeper (3.8.0+)服务器用户:首先查看是否能使用root用户,如果能这一步跳过,否则执行一下命令# 创建用户需使用 root 登录 useradd dolphinscheduler
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号