江南独孤客的博客_大数据篇,数据库篇,Linux(4)

按发布时间
按阅读量
2022年 300篇

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

Mysql主从部署

目录一、概述 21.mysql主从复制原理 22.复制架构 3二、安装mysql 51.包下载方式 5三、基于binlog搭建主从复制 61.一主一从配置 62.新建用户授权 73.测试 94.基于 binlog 不影响业务搭建主从 95.主从复制 binlog 格式 116.主从

mysql

sql

数据

置顶原创精选 2022-05-16 17:40:43 856 阅读 Word文档导入

MacOS下安装Apache Flink及测试WordCount

1.安装java1.8版本steven@wangyuxiangdeMacBook-Pro  ~  java -versionjava version "1.8.0_211"Java(TM) SE Runtime Environment (build 1.8.0_211-b12)Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed

flink

apache

java

置顶原创推荐 2022-05-16 15:43:40 3429 阅读 2点赞

Sqoop从Hive导出表到Mysql报错处理

[INFO] 2022-05-13 08:44:19.995 - [taskAppId=TASK-29-71229-742765]:[138] - -> 22/05/13 08:44:19 INFO mapreduce.Job: map 100% reduce 0% 22/05/13 08:44:19 INFO mapreduce.Job: Job job_1640763627991

java

mysql

apache

置顶原创精选 2022-05-13 09:22:40 2551 阅读

Flink高可用测试

介绍Flink on Yarn的HA高可用模式，首先依赖于Yarn自身的高可用机制（ResourceManager高可用），并通过Yarn对JobManager进行管理，当JobManager失效时，Yarn将重新启动JobManager。其次Flink Job在恢复时，需要依赖Checkpoint进行恢复，而Checkpoint的快照依赖于远端的存储：HDFS，所以HDFS也必须是高可用，同时J

zookeeper

mysql

flink

置顶原创精选 2022-05-12 09:28:16 1598 阅读

Hive连接时报错user:hadoop is not allowed to impersonate anonymous

报错如下：user:hadoop is not allowed to impersonate anonymous原因：用户代理未生效。检查core-site.xml文件是否正确配置。<property> <name>hadoop.proxyuser.hadoop.hosts</name> <value>*</value><

hadoop

加载

hdfs

置顶原创 2022-05-11 17:40:26 2169 阅读 1点赞

hive的log4j2.properties滚动日志设置时间显示格式时日志

hive

apache

ios

置顶原创精选 2022-05-09 17:33:40 2210 阅读

HDFS的DataNode服务用root权限启动后在用Hadoop用户启动报错处理

报错日志org.apache.hadoop.hdfs.qjournal.client.QuorumException: Got too many exceptions to achieve quorum size 2/3. 3 exceptions thrown:10.4.151.60:8485: Call From master1/10.4.151.58 to slave1:8485 faile

hadoop

apache

java

置顶原创精选 2022-05-07 15:23:49 985 阅读

批量解冻OSS的归档文件

代码（需要先下载客户端）./ossutilmac64 restore -r oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/test_os_sys_state/ossutil工具旨在为您提供一个以命令行方式管理OSS数据的途径。当前版本未提供完整的Bucket和Multipart管理功能，相关功能会在后续版本中开发。如果

配置文件

配置项

压缩包

置顶原创 2022-05-06 09:13:18 821 阅读

Dolphinscheduler任务失败告警脚本

#!/usr/bin/env pythonimport base64import hashlibimport hmacimport sysimport timeimport urllibimport requestsimport pymysqlimport jsonimport jsonpathimport datetimefrom DBUtils.PooledDB import PooledDB

json

mysql

服务器

置顶原创精选 2022-05-06 08:58:53 4921 阅读

如何选择Apache/CDH/HDP版本

框架基本选型（1）Apache：运维麻烦，组件间兼容性需要自己调研。（一般适合大厂使用，技术实力雄厚，有专门的运维人员）（建议使用）（2）CDH：国内使用最多的版本，但是CM不开源，从2021年1月31日开始，所有Cloudera软件都需要有效的订阅，并且只能通过付费墙进行访问，一个节点一万美金。（太贵了

apache

运维

安装包

置顶原创 2022-05-05 14:54:30 1086 阅读

hdfs批量删除某日期文件

今天在写表的时候发现没有把历史数据删除，所以要删除非本日日期的文件。1、首先将非本日日期的文件输出到txthdfs dfs -ls /tmp/hive/tools/8bd379f1-6f5e-4d59-b3a3-ab8374837860/ | grep -v 2022-04-24 >./hdfs.txt2、利用awk编写删除脚本cat hdfs.txt | awk -F " " '{prin

hdfs

bash

置顶原创 2022-04-26 14:51:01 1679 阅读

Flink日志接入ELK

准实时的邮件直接告警很容易将公司的邮箱服务打爆，如果将日志接入ELK,一方面能实现日志的统一存储，方便后续查看追踪，另一方面也能根据特定级别的日志量进行分析，实现曲线预警。logback将日志接入ELK，可以将日志先打到Kafka，es再费kafka的消息。lobback原生是没有写入kafka的组件，需要使用到第三方的包：danielwegener/logback-kafka-appender

kafka

flink

github

置顶原创 2022-04-13 11:21:44 1287 阅读

Hudi使用场景

近实时摄取Hudi对各种数据的摄取都有很多的优点。能够帮助合并DFS上的最小文件。这有助于解决HDFS和云存储上的小文件问题，显著提高查询性能。Hudi增加了非常需要的原子提交新数据的能力，使查询永远看不到部分写入，并帮助摄取从失败中优雅地恢复。将OLTP源(如事件日志、数据库、外部源)中的数据吸收到data Lake中是一个常见问题，不幸的是，这个问题只能通过使用混合的吸收工具以零碎的方式解决。

数据

kafka

加载

置顶原创 2022-04-11 17:03:05 1431 阅读

详解Apache Hudi如何配置各种类型分区

1. 引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo",

hive

apache

字段

置顶原创推荐 2022-04-11 16:12:41 3182 阅读

查看hdfs的block的总块数

block的总块数fsck命令里面包含HDFS中的基本信息。hadoop fsck / | grep 'Total blocks' | awk '{print $4}'

hadoop

hdfs

置顶原创 2022-04-02 15:17:47 1830 阅读

调整 NameNode 堆内存

每个工作负载都有一个唯一的字节分布配置文件。一些工作负载可以使用默认 JVM 设置进行堆内存和垃圾收集，但其他工作负载需要调整。如果动态堆设置导致瓶颈，本主题提供有关调整 NameNode JVM 大小的指南。所有 Hadoop 进程都在 Java 虚拟机 (JVM) 上运行。JVM 的数量取决于您的部署模式：本地（或独立）模式 - 没有守护程序，一切都在单个 JVM 上运行。伪分布式模式 - 每

命名空间

hadoop

堆内存

置顶原创 2022-04-02 11:26:56 1484 阅读

IntelliJ IDEA For Mac 快捷键

Mac键盘符号和修饰键说明⌘ Command⇧ Shift⌥ Option⌃ Control↩︎ Return/Enter⌫ Delete⌦ 向前删除键（Fn+Delete）↑ 上箭头↓ 下箭头← 左箭头→&nb

代码块

缩进

版本控制器

置顶原创 2022-04-02 10:50:05 330 阅读

NameNode JVM配置详解

线上NameNode JVM如下/home/hadoop/java-current/bin/java-Dhadoop.log.dir=/mnt/dfs/5/hdfs/logs-Dhadoop.log.file=hadoop.log-Dhadoop.home.dir=/home/hadoop/hdfs-2.7.3-Dhadoop.id.str=root-Dhadoop.root.logger=INF

老年代

垃圾回收

hadoop

置顶原创 2022-04-02 10:47:21 570 阅读

HDFS的NameNode堆内存估算

在HDFS中，数据和元数据是分开存储的，数据文件被分割成若干个数据块，每一个数据块默认备份3份，然后分布式的存储在所有的DataNode上，元数据会常驻在NameNode的内存中，而且随着数据量的增加，在NameNode中内存的元数据的大小也会随着增加，那么这个时候对NameNode的内存的估算就变的非常的重要了。这里说的内存就是指NameNode所在JVM的堆内存NameNode内存数据结构非常

数据块

数据

hdfs

置顶原创 2022-04-02 10:40:18 1302 阅读

ClickHouse探索调研

首先常见开源OLAP架构对比：现在面对各种数据存储兼查询分析引擎，不知道如何选择，首先需要大概明白存储引擎的特点和适用场景非常重要，置于底层原理可以慢慢深入探究，适合业务场景才是最好的。目前市面上主流的开源数据查询引擎包含不限于：MySQL、GreenPlum、Elasticsearch、Hive、Spark SQL、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kyl

数据

分块

服务器

置顶原创 2022-03-23 10:55:37 1118 阅读

Kafka性能调优

Kafka的配置详尽、复杂，想要进行全面的性能调优需要掌握大量信息，这里只记录一下我在日常工作使用中走过的坑和经验来对kafka集群进行优化常用的几点。1.JVM的优化 java相关系统自然离不开JVM的优化。首先想到的肯定是Heap Size的调整。vim bin/kafka-server-start.sh 调整KAFKA_HEAP_OPTS="-Xmx12G -Xms12G”

kafka

数据

java

置顶原创 2022-03-21 10:59:37 1308 阅读 1点赞 1收藏

批量kill掉yarn上所有正在running的任务

for i in `yarn application -list | grep -w RUNNING | awk '{print $1}' | grep application_`; do yarn application -kill $i; done

yarn

置顶原创 2022-03-16 15:29:42 2611 阅读 1点赞

yum安装mysql5.7报密钥已过期的解决方案

一、安装YUM Repo1、由于CentOS 的yum源中没有mysql，需要到mysql的官网下载yum repo配置文件。下载命令：wget https://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm2、然后进行repo的安装：rpm -ivh mysql57-community-release-el7-9.noar

mysql

python

ide

置顶原创精选 2022-03-11 11:18:05 7926 阅读 1收藏

hive on spark报timed out waiting for connection from the Remote Spark Driver解决方案

[INFO] 2022-03-09 00:55:34.227 - [taskAppId=TASK-122-55596-532256]:[138] - -> FAILED: Execution Error, return code 30041 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Failed to create Spar

spark

hive

解决方案

置顶原创精选 2022-03-10 08:24:46 5924 阅读 1收藏

yarn安装MapReduce框架JAR上传的时候报错处理

22/03/03 18:14:04 INFO uploader.FrameworkUploader: Adding /opt/cloudera/parcels/CDH-6.3.0-1.cdh6.3.0.p0.1279813/lib/hadoop-yarn/./hadoop-yarn-server-common-3.0.0-cdh6.3.0.jar22/03/03 18:14:04 INFO upl

java

hadoop

jar

置顶原创精选 2022-03-04 10:04:14 3269 阅读

使用distcp命令从oss上往hdfs复制数据时报错

解决方案：hadoop distcp -skipcrccheck oss://dbbigdatapro/group/user/tools/meta/hive-temp-table/dwd_sony_opt_v4/pt=20220302/* hdfs://bigdata/user/hive/warehouse/tools.db/dwd_sony_opt_v4/pt=202203

hive

hadoop

解决方案

置顶原创 2022-03-03 19:30:06 1342 阅读

CDH集群出现clock offset报错

解决方案：首先：执行ntpstat，实时命令查看状态，结果发现所有服务器的状态都是未同步状态“unsynchronised”：解决NTP synchronized: no的方法：停掉ntpd, 执行ntpd -gq重新调整时间后，再启动ntpd:systemctl stop ntpdsudo ntpd -gqsystemctl start ntpd等待一会儿后（大概5分钟）,NTP synchro

服务器

重启

时间同步

置顶原创精选 2022-02-22 21:28:40 1611 阅读

一键式完全删除CDH 6.3

#!/bin/bash # 停止CM服务systemctl stop cloudera-scm-serversystemctl stop cloudera-scm-agent # 卸载CM软件包yum -y remove cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server # 卸载装载点#umount cm

cloudera

zookeeper

hive

置顶原创 2022-02-22 19:51:55 725 阅读

如何使用flink1.13.1版本往clickhouse中写数据

把clickhouse-jdbc-0.3.0.jar的包放入到/opt/flink/lib下面去，然后通过flink任务就可以直接往clickhouse中写入数据了

flink

jar

数据

置顶原创 2022-02-20 16:59:46 910 阅读

数据湖技术选型参考

HudiApache Hudi 核心特性使用快速、可插入索引进行更新、删除增量查询、记录级变更流事务、回滚、并发控制来自 Spark、Presto、Trino、Hive 等的 SQL 读/写自动文件大小调整、数据聚类、压缩、清理流摄取、内置 CDC 源和工具用于可扩展存储访问的内置元数据跟踪向后兼容的模式演变和执行cow表mor表hudi 2022规划发布时间0.11.02022 年 2

apache

hive

spark

置顶原创 2022-02-14 17:31:23 3246 阅读

欢迎

首页
1
2
3
4
5
6
7
8
共300条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客