常用命令集合

kafka
# 1. 向topic打数据命令
./kafka-console-producer.sh --broker-list localhost:9092 --topic test

# 2. 消费topic数据命令
./kafka-console-consumer.sh --bootstrap-server locahost:9092 --topic test --from-beginning

# 3. 查看topic数据量 (各分区数据量之和)
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic offline_data --time -1

如果有删除数据的话，删除当前-2查询的数据即可获取真实数量
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic offline_data --time -2

# 4. 查看kafka所有topic名称
./kafka-topics.sh --list --zookeeper localhost:2181

# 5. 创建topic
./kafka-topics.sh --create --zookeeper localhost:2181 --topic test_config_ty --replication-factor 1 --partitions 3 

# 6. 查看kafka-topic数量
./kafka-run-class.sh  kafka.tools.GetOffsetShell --broker-list localhost:9092 --topic xxx

# 7. 查看kafka状态是否正常（如果无输出则正常）
./kafka-topics.sh --zookeeper  localhost:2181 --describe --under-replicated-partitions


es
# 1. 查看指定条件的数据
curl -i -X GET -H "Content-Type: application/json" -d '{"query":{
    "bool":{
        "must":[{
            "match":{
                "alert_src":0
            }
        }]
    }
}}' http://localhost:9200/analysis-2021.12.13/_search

# 2. 删除索引 (先查看，后删除)
curl http://127.0.0.1:9200/_cat/indices |grep sirius
curl -XDELETE http://127.0.0.1:9200/analysis-2021.12.31

# 3. 创建索引
curl -XPUT 'http://127.0.0.1:9200/situation_sirius'

# 4. 查看所有索引
http://192.168.1.2:9200/_cat/indices/*?v

# 5. 查看具体某一个索引
http://192.168.1.2:9200/_cat/indices/index-name_*?v

# 6. 查看具体某一个索引详细信息
http://192.168.1.2:9200/index-name-20220207/_search?pretty


pg
# 1. 命令行登录pg
psql -U postgres -h 192.168.10.4 -d sdk -p 15432

# 2. 命令行执行pg脚本
psql -d sdk -h 192.168.10.4 -p 5432 -U postgres -f /home/sql/test.sql

# 3. 命令行导出pg脚本
pg_dump --host 192.168.10.4 --port 5432 --username postgres  -t table_name -f ./test.sql db_name

# 4. 复制表结构和数据并创建一张新表
select * into newTable  from Table;

# 5. 备份数据库下所有表和序列
pg_dump  -h 127.0.0.1 -U postgres -p 5432 -d db_name > bak.sql



linux（PID以5779为例）
# 1. 防火墙加白名单
iptables -t filter -I INPUT -s 10.43.84.102 -j ACCEPT

# 2. 防火墙可透传的端口
iptables -I INPUT -p tcp --dport 9090 -j ACCEPT

# 3. 查看进程执行目录
lsof -p 5779 | grep cwd

# 4. 查看jvm运行配置
jinfo 5779

# 5. 查看jvm gc次数
jstat -gcutil 5779

# 6. 查看jvm堆信息
jhsdb jmap --heap --pid 5779
jmap -heap 5779

# 7. 发现window上传linux文件编码有改变
命令模式输入 :set ff=unix




k8s操作
# 1. 查看pod状态
kubectl get pod -n dev

# 2. 查看pod详细情况
kubectl describe pod 实例名称 -n dev

# 3. 查看pod日志
kubectl logs -f  实例名称 -n dev

# 4. 进入pod中
kubectl exec -it pod-name-dd5y45yf-dada -- /bin/bash

# 5. 查询pod对应ip
kubelct get pods -o wide | grep 实例名称
kubectl get svc -n dev | grep 实例名称
kubectl get service -n dev | grep 实例名称

# 6. 删除pod
kubectl delete pod pod名称

# 7. 获取镜像名称
kubectl describe pod -n dev| grep 镜像名称

# 8. 将镜像生成镜像文件
docker save -o xxx.tar 镜像名称

# 9. 查看很早之前pod的日志信息(今天00:00分之后的pod日志)
kubectl logs -f -n default 镜像名称 --since-time="2023-01-10T16:00:00+00:00" > log.txt


clickhouse操作
# 1. 删除数据库
drop database IF EXISTS base_db

# 2. 将某表数据插入到另外一张表
insert into bigData.hits_v1 select * from bigData.hits_v1 limit 20000000;

# 3. 复制表结构
create table bigData.hits_v2 as bigData.hits_v1;

# 4. 删除表数据（含删除分布式表数据）
ALTER TABLE db.table DELETE where 1=1;
alter table db.table_local on CLUSTER 集群名称 DELETE where 1=1

# 5. 修改表数据
alter table vul_scan_now_local UPDATE  c_time = now() where 1=1

# 6. 修改排序键
ALTER TABLE model.station_url  MODIFY ORDER BY (first_datetime,last_datetime)

# 7. 修改字段名称
ALTER TABLE db_name.table_name RENAME COLUMN regionId to region;

# 8. 修改字段类型
ALTER TABLE db_name.table_name MODIFY COLUMN endTimestamp Int64;

# 9. 添加字段
ALTER TABEL db_name.table_name ADD COLUMN `$user_id` Nullable(String); 

# 10. 删除字段
ALTER TABEL db_name.table_name DROP COLUMN `$user_id`;

# 11. 进入ck命令行
clickhouse-client -h 127.0.0.1 -user admin --password xxx --port 8123 -m

# 11. 常用函数文章
 

# 12. shell语句中执行SQL语句
./clickhouse-client -m -n -h 127.0.0.1 --port 29010  -u admin --password password --query "select * from table;select * from table;"

# 13. shell中执行SQL文件
./clickhouse-client --port 9000 --user admin --password password -d model --multiquery < scripts.sql

# 14. 导入导出clickhouse数据（sql格式）
-- 导出数据
echo 'select * from db.table' | curl 127.0.0.1:8123?database=db -uusername:password -d @- > table.sql
-- 导入数据
cat table.sql | ./clickhouse-client -h127.0.0.1 --port=9000 -uusername --password password --query="INSERT INTO db.table FORMAT TabSeparated"

# 15. 导入导出clickhouse数据（tsv格式）
导出tcv
time clickhouse-client -uusername --password=password --query="select * from  db.table" > table.tsv

导入tsv
time clickhouse-client -uusername --password=password  --query "INSERT INTO db.table FORMAT TSV" --max_insert_block_size=100000 < table.tsv

# 16. 导入导出clickhouse数据（csv格式）
-- 数据导出csv
./clickhouse-client -u default --password=password -h localhost -d db  --port 9000 --query="select a,b,c from db.table FORMAT CSV" > table.csv
-- 数据导入csv
./clickhouse-client -u default -h localhost -d db --password=password --port 9000 --query="insert into db.table (a,b,c)  FORMAT CSV" < table.csv

# 17. 查询clickhouse执行计划
 select query_start_time, query_duration_ms,read_rows,memory_usage,query,exception,initial_address 
from system.query_log  where query like '%select%' order by event_time desc limit 10 FORMAT Vertical;