江南独孤客的博客_大数据篇,数据库篇,Linux原创(7)

按发布时间
按阅读量
时间轴

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
原创

全部原创转载翻译

批量解冻OSS的归档文件

代码（需要先下载客户端）./ossutilmac64 restore -r oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_os_sys_state/ossutil工具旨在为您提供一个以命令行方式管理OSS数据的途径。当前版本未提供完整的Bucket和Multipart管理功能，相关功能会在后续版本中开发。如果

配置文件

配置项

压缩包

置顶原创 2022-05-06 09:13:18 821 阅读

Dolphinscheduler任务失败告警脚本

#!/usr/bin/env pythonimport base64import hashlibimport hmacimport sysimport timeimport urllibimport requestsimport pymysqlimport jsonimport jsonpathimport datetimefrom DBUtils.PooledDB import PooledDB

json

mysql

服务器

置顶原创精选 2022-05-06 08:58:53 4921 阅读

如何选择Apache/CDH/HDP版本

框架基本选型（1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般适合大厂使用，技术实力雄厚，有专门的运维人员）（建议使用）（2）CDH：国内使用最多的版本，但是CM不开源，从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问，一个节点一万美金。（太贵了

apache

运维

安装包

置顶原创 2022-05-05 14:54:30 1086 阅读

hdfs批量删除某日期文件

今天在写表的时候发现没有把历史数据删除，所以要删除非本日日期的文件。1、首先将非本日日期的文件输出到txthdfs dfs -ls /tmp/hive/tools/8bd379f1-6f5e-4d59-b3a3-ab8374837860/ | grep -v 2022-04-24 >./hdfs.txt2、利用awk编写删除脚本cat hdfs.txt | awk -F " " '{prin

hdfs

bash

置顶原创 2022-04-26 14:51:01 1677 阅读

Flink日志接入ELK

准实时的邮件直接告警很容易将公司的邮箱服务打爆，如果将日志接入ELK,一方面能实现日志的统一存储，方便后续查看追踪，另一方面也能根据特定级别的日志量进行分析，实现曲线预警。logback将日志接入ELK，可以将日志先打到Kafka，es再费kafka的消息。lobback原生是没有写入kafka的组件，需要使用到第三方的包：danielwegener/logback-kafka-appender

kafka

flink

github

置顶原创 2022-04-13 11:21:44 1287 阅读

Hudi使用场景

近实时摄取Hudi对各种数据的摄取都有很多的优点。能够帮助合并DFS上的最小文件。这有助于解决HDFS和云存储上的小文件问题，显著提高查询性能。Hudi增加了非常需要的原子提交新数据的能力，使查询永远看不到部分写入，并帮助摄取从失败中优雅地恢复。将OLTP源(如事件日志、数据库、外部源)中的数据吸收到data Lake中是一个常见问题，不幸的是，这个问题只能通过使用混合的吸收工具以零碎的方式解决。

数据

kafka

加载

置顶原创 2022-04-11 17:03:05 1431 阅读

详解Apache Hudi如何配置各种类型分区

1. 引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo",

hive

apache

字段

置顶原创推荐 2022-04-11 16:12:41 3182 阅读

查看hdfs的block的总块数

block的总块数fsck命令里面包含HDFS中的基本信息。hadoop fsck / | grep 'Total blocks' | awk '{print $4}'

hadoop

hdfs

置顶原创 2022-04-02 15:17:47 1830 阅读

调整 NameNode 堆内存

每个工作负载都有一个唯一的字节分布配置文件。一些工作负载可以使用默认 JVM 设置进行堆内存和垃圾收集，但其他工作负载需要调整。如果动态堆设置导致瓶颈，本主题提供有关调整 NameNode JVM 大小的指南。所有 Hadoop 进程都在 Java 虚拟机 (JVM) 上运行。JVM 的数量取决于您的部署模式：本地（或独立）模式 - 没有守护程序，一切都在单个 JVM 上运行。伪分布式模式 - 每

命名空间

hadoop

堆内存

置顶原创 2022-04-02 11:26:56 1484 阅读

IntelliJ IDEA For Mac 快捷键

Mac键盘符号和修饰键说明⌘ Command⇧ Shift⌥ Option⌃ Control↩︎ Return/Enter⌫ Delete⌦ 向前删除键（Fn+Delete）↑ 上箭头↓ 下箭头← 左箭头→&nb

代码块

缩进

版本控制器

置顶原创 2022-04-02 10:50:05 330 阅读

NameNode JVM配置详解

线上NameNode JVM如下/home/hadoop/java-current/bin/java-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs-Dhadoop.log.file=hadoop.log-Dhadoop.home.dir=/home/hadoop/hdfs-2.7.3-Dhadoop.id.str=root-Dhadoop.root.logger=INF

老年代

垃圾回收

hadoop

置顶原创 2022-04-02 10:47:21 570 阅读

HDFS的NameNode堆内存估算

在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对NameNode的内存的估算就变的非常的重要了。这里说的内存就是指NameNode所在JVM的堆内存NameNode内存数据结构非常

数据块

数据

hdfs

置顶原创 2022-04-02 10:40:18 1300 阅读

ClickHouse探索调研

首先常见开源OLAP架构对比：现在面对各种数据存储兼查询分析引擎，不知道如何选择，首先需要大概明白存储引擎的特点和适用场景非常重要，置于底层原理可以慢慢深入探究，适合业务场景才是最好的。目前市面上主流的开源数据查询引擎包含不限于：MySQL、GreenPlum、Elasticsearch、Hive、Spark SQL、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kyl

数据

分块

服务器

置顶原创 2022-03-23 10:55:37 1118 阅读

Kafka性能调优

Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化 java相关系统自然离不开JVM的优化。首先想到的肯定是Heap Size的调整。vim bin/kafka-server-start.sh 调整KAFKA_HEAP_OPTS="-Xmx12G -Xms12G”

kafka

数据

java

置顶原创 2022-03-21 10:59:37 1308 阅读 1点赞 1收藏

批量kill掉yarn上所有正在running的任务

for i in `yarn application -list | grep -w RUNNING | awk '{print $1}' | grep application_`; do yarn application -kill $i; done

yarn

置顶原创 2022-03-16 15:29:42 2611 阅读 1点赞

yum安装mysql5.7报密钥已过期的解决方案

一、安装YUM Repo1、由于CentOS 的yum源中没有mysql，需要到mysql的官网下载yum repo配置文件。下载命令：wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm2、然后进行repo的安装：rpm -ivh mysql57-community-release-el7-9.noar

mysql

python

ide

置顶原创精选 2022-03-11 11:18:05 7925 阅读 1收藏

hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案

[INFO] 2022-03-09 00:55:34.227 - [taskAppId=TASK-122-55596-532256]:[138] - -> FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spar

spark

hive

解决方案

置顶原创精选 2022-03-10 08:24:46 5924 阅读 1收藏

yarn安装MapReduce框架JAR上传的时候报错处理

22/03/03 18:14:04 INFO uploader.FrameworkUploader: Adding /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/./hadoop-yarn-server-common-3.0.0-cdh6.3.0.jar22/03/03 18:14:04 INFO upl

java

hadoop

jar

置顶原创精选 2022-03-04 10:04:14 3269 阅读

使用distcp命令从oss上往hdfs复制数据时报错

解决方案：hadoop distcp -skipcrccheck oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/dwd_sony_opt_v4/pt=20220302/* hdfs://bigdata/user/hive/warehouse/tools.db/dwd_sony_opt_v4/pt=202203

hive

hadoop

解决方案

置顶原创 2022-03-03 19:30:06 1342 阅读

CDH集群出现clock offset报错

解决方案：首先：执行ntpstat，实时命令查看状态，结果发现所有服务器的状态都是未同步状态“unsynchronised”：解决NTP synchronized: no的方法：停掉ntpd, 执行ntpd -gq重新调整时间后，再启动ntpd:systemctl stop ntpdsudo ntpd -gqsystemctl start ntpd等待一会儿后（大概5分钟）,NTP synchro

服务器

重启

时间同步

置顶原创精选 2022-02-22 21:28:40 1611 阅读

一键式完全删除CDH 6.3

#!/bin/bash # 停止CM服务systemctl stop cloudera-scm-serversystemctl stop cloudera-scm-agent # 卸载CM软件包yum -y remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server # 卸载装载点#umount cm

cloudera

zookeeper

hive

置顶原创 2022-02-22 19:51:55 720 阅读

如何使用flink1.13.1版本往clickhouse中写数据

把clickhouse-jdbc-0.3.0.jar的包放入到/opt/flink/lib下面去，然后通过flink任务就可以直接往clickhouse中写入数据了

flink

jar

数据

置顶原创 2022-02-20 16:59:46 909 阅读

数据湖技术选型参考

HudiApache Hudi 核心特性使用快速、可插入索引进行更新、删除增量查询、记录级变更流事务、回滚、并发控制来自 Spark、Presto、Trino、Hive 等的 SQL 读/写自动文件大小调整、数据聚类、压缩、清理流摄取、内置 CDC 源和工具用于可扩展存储访问的内置元数据跟踪向后兼容的模式演变和执行cow表mor表hudi 2022规划发布时间0.11.02022 年 2

apache

hive

spark

置顶原创 2022-02-14 17:31:23 3246 阅读

Hudi使用cow生成parquet格式用hive查询的问题

现象：公司使用flink cdc的时候，往hudi同步的数据是13140条数据，模式用的是cow，生成的parquet格式文件的时候，每upstert一次，用hive使用count查询的时候一下子是之前数据的十倍，131400条了，用presto查询不会出现这种情况。解决方案：在使用hive做聚合查询的时候，前面加上以下参数set hive.input.format= org.apache.had

hive

数据

apache

置顶原创精选 2022-02-14 11:31:35 2328 阅读

大数据平台交接的执行命令

Tags: 交接文档大数据服务操作命令ZK启动 node1上执行，这个已配置随服务器启动，可以不用执行zkServer.sh start启动HDFS node1上执行start-dfs.sh 启动yarn node1上执行start-yarn.sh启动spark node4上执行service spark-thriftserver start启动historyServer node1上执行，这个服

spark

hadoop

hdfs

置顶原创 2022-02-11 14:02:27 422 阅读

登录服务器后，提示-bash-4.2# 该如何解决？

此情况一般出现在用户家目录下，环境变量文件被删除导致；-bash-4.2# 看到后面的 “ # ”吗？说明您使用的root用户登录的，您此时该去查看： root用户的家目录（/root目录）中环境变量文件（.bash*文件）是否存在此时使用命令ls -a /root查看,并没有文件.bash*-bash-4.2# ls -a /root. .. .cache .config恢复

bash

环境变量

root用户

置顶原创精选 2022-02-10 11:21:05 2095 阅读

kudu master删除两个节点后的报错处理

问题描述：原来kudumaster是三个节点，被运维删除两个后报错如下：解决方案：sudo -u kudu kudu local_replica cmeta rewrite_raft_config --fs_wal_dir=/kudu/kudu_master_wal --fs_data_dirs=/kudu/kudu_master_data 000000000000000000000000000

解决方案

运维

kudu

置顶原创 2022-01-18 11:59:56 1349 阅读

运维常用mysql语句

1.、select @@version; ##查询当前mysql的版本.2、 show variables like 'port';##查看mysql实例的端口。3、show variables like 'socket';##查看实例的socket数据。4、 show variables like 'datadir';##查看实例的数据路径。5、show databases; ##显示所有数

mysql

数据库

慢查询

置顶原创 2022-01-14 09:51:25 576 阅读

cdh安装到scm-server的mysql报错处理

报错如下：提示root没有权限操作scm库解决方案：grant all on *.* to 'root'@'%' identified by 'Password' with grant option;t option;

解决方案

ide

置顶原创 2022-01-13 14:28:45 380 阅读

hudi0.10和spark配合使用报错处理

报错内容如下：java.lang.ClassNotFoundException: Failed to find data source: hudi. Please find packages at http://spark.apache.org/third-party-projects.html at org.apache.spark.sql.execution.datasources.DataS

spark

apache

scala

置顶原创 2022-01-05 16:30:57 2017 阅读

欢迎

首页
3
4
5
6
7
8
9
10
共614条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客