江南独孤客的博客_大数据篇,数据库篇,Linux

按发布时间
按阅读量
2022年 300篇

全部656篇
2025年34篇 09月3篇 08月8篇 07月2篇 06月3篇 05月10篇 04月6篇 03月2篇 2024年19篇 12月3篇 11月1篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

使用flink离线压缩hudi(mor模式)的任务时报错处理

报错问题如下：java.lang.NoSuchMethodException: org.apache.hadoop.yarn.api.records.Resource.setResourceInformation(java.lang.String, org.apache.hadoop.yarn.api.records.ResourceInformation) at java.lang.Class

flink

apache

hadoop

置顶原创 2022-01-11 11:43:03 1013 阅读

org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask

Error: org.apache.hive.service.cli.HiveSQLException: Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapredLocalTask这个问题是hive进行map join

数据

hive

apache

置顶原创 2022-12-26 13:07:17 445 阅读

hive执行大SQL的时候hive.server2.thrift.max.worker.threads if applicable.

Unexpected end of file when reading from HS2 server. The root cause might be too many concurrent connections. Please ask the administrator to check the number of active connections, and adjust hive.se

nginx

解决方案

hive

置顶原创 2022-12-19 12:23:17 2130 阅读

算法环境jupyter安装及启动

设置密码jupyter notebook password设置配置文件jupyter notebook --generate-configc.NotebookApp.allow_root =Truec.NotebookApp.ip = '*'c.NotebookApp.open_browser = Falsec.NotebookApp.password='sha1:31aa1f72a166:6e5

tensorflow

spark

置顶原创精选 2022-11-29 14:40:11 337 阅读

Starrocks提示be找不到JAVA_HOME

解决方案：vim /etc/profile这里面添加java的环境变量source /etc/profile重启be进程

环境变量

vim

重启

置顶原创 2022-11-25 15:30:22 551 阅读

CDH6.2.1的hive 2.1.1升级到2.3.9后的beeline报错处理

org.apache.hive.com.esotericsoftware.kryo.KryoException: java.lang.ArrayIndexOutOfBoundsException: -2

java

hive

apache

置顶原创精选 2022-11-25 14:56:26 1045 阅读 2点赞 2收藏

Centos7挂载超过2T以上的硬盘

1.使用fdisk -l查看磁盘信息2.使用parted进行分区parted /dev/nvme0n1输入mklabel 输入gpt输入mkpartPartition name?[]hdfs1 #输入一个名称File system type?[ext2]? xfsStart? 1 #全盘开始End? -1 #全盘结束w保存quit退出 3.格式化分区mkfs.xfs /dev/nvme0n1p1

hdfs

自动挂载

vim

置顶原创精选 2022-11-12 15:33:04 2471 阅读

hue添加水印功能

1.备份hue.makocp -rf /opt/cloudera/parcels/CDH/lib/hue/desktop/core/src/desktop/templates/hue.mako /opt/cloudera/parcels/CDH/lib/hue/desktop/core/src/desktop/templates/hue.mako.bak2.打开hue.mako文件vim /opt

desktop

cloudera

ico

置顶原创精选 2022-11-10 12:28:23 648 阅读

统计hive每张表中的数据量的行数

or line in $(cat tables.txt)do echo "tablename :$line"; value=$(hive --database test --hiveconf v=v1 -S -e "select count(*) from $line;") echo "$value" > /tmp/tmp_table_cnt.txt cnt=`s

hive

sed

置顶原创 2022-11-07 07:09:57 1262 阅读

如何在 Hive 中配置会话超时

hive.server2.session.check.intervalhive.server2.idle.operation.timeout 中配置以下设置。hive.server2.idle.session.timeout1）. hive.server2.idle.session.timeout会话将在这段时间内未访问时关闭，以毫秒为单位;通过设置为零或负值来禁用。例如，值“86400000”指

hive

数据

运行时间

置顶原创精选 2022-11-02 07:33:33 2757 阅读

HiveServer2 配置深入讨论

HiveServer2 是一个节俭服务器，它是一个精简的服务层，以无缝的方式与 HDP 集群进行交互。它同时支持 JDBC 和 ODBC 驱动程序，以提供用于查询数据的 SQL 层。传入的 SQL 查询将转换为 TEZ 或 MR 作业，获取结果并将其发送回客户端。HS2内部无需进行繁重的起重工作。它只是充当一个拥有 TEZ/MR 驱动程序、扫描元数据和应用护林员策略进行授权的地方。HiveServ

hive

sql

客户端

置顶原创精选 2022-11-02 06:43:29 2212 阅读

阿里云优化sysctl

vm.swappiness = 0net.ipv4.neigh.default.gc_stale_time = 120# see details in https://help.aliyun.com/knowledge_detail/39428.htmlnet.ipv4.conf.all.rp_filter = 0net.ipv4.conf.default.rp_filter = 0net.ipv

html

置顶原创 2022-10-30 20:48:56 175 阅读

hive创建管理员角色和授权

create role admin;grant ALL on server server1 to role admin;grant role admin to group admin;grant ALL on database default to role admin;create role hive;grant ALL on server server1 to role hive;grant

hive

置顶原创 2022-10-30 17:46:00 422 阅读

CDH重启换了Namenode节点后，提示Encountered exception loading fsimage

报错代码如下：Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:237) at org.apache.

hadoop

hdfs

java

置顶原创精选 2022-10-30 16:05:16 1206 阅读

hive常用的授权命令

创建角色create role role_name;例子：create role abc_read_role;删除角色drop role role_name;例子：drop role abc_read_role;显示所有角色show roles;把整个库授权给某一个角色查询权限(给所有权限，把select 替换成all)grant select on database dbname_db to r

hive授权

置顶原创 2022-10-29 21:51:40 402 阅读

flink错误提示8081端口被占用

解决方案：rest.port: 8081配置文件加入加入rest.bind-port: 50100-50900

解决方案

配置文件

置顶原创 2022-10-26 09:46:40 701 阅读

flink_on_yarn调用数据时出现乱码

解决方案：在flink配置文件vim /opt/flink/conf/flink-conf.yaml添加：env.java.opts: -Dfile.encoding=utf-8 -XX:+TraceClassLoading强制flink任务使得utf-8字符串

flink

解决方案

java

置顶原创 2022-10-26 09:45:15 242 阅读

linux下批量删除文件和文件夹

批量删除trash下的文件夹和文件rsync --delete-before -d tmp/ trash/批量删除trash下的文件rsync --delete-before -a -H -v --progress --stats tmp/ trash/

批量删除

置顶原创 2022-10-25 15:11:12 547 阅读

Starrocks参数调优

MySQL [(none)]> show variables like "%%";+--------------------------------------------+---------------------------+| Variable_name | Value |+-------

sql

hive

elastic

置顶原创 2022-10-24 10:20:05 3074 阅读

Flink读mysql的时候报错java.net.SocketException: Connection timed out (Read failed)

通过flink join表关联对mysql进行读取出现下面的问题？求指点 at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:66) ~[flink-dist_2.11-1.13.2.jar:1.13.2] at org.apache.

flink

java

jar

置顶原创 2022-10-23 14:07:29 2880 阅读

Strrocks的参数设置

查看所有的参数show variables like "%%";查看cbo_enable_low_cardinality的参数show variables like "%cbo_enable_low_cardinality%";参数设置set global cbo_enable_low_cardinality_optimize = falsepipeline引擎，资源利用率高set global

并行度

参数设置

置顶原创 2022-10-23 13:43:34 363 阅读

Starrocks出现查询语句报错:SQL 错误 [1064] [42000]: unsupport decode_dict_codes in GlobalDictCodeColumnIterator

查询语句报错:SQL 错误 [1064] [42000]: unsupport decode_dict_codes in GlobalDictCodeColumnIterator【StarRocks版本】2.2.7-5dfc83f【集群规模】：3fe（3 follower）+6be（3个be与fe混部）【机器信息】CPU虚拟核/内存/网卡，40C/128G/万兆解决方案：2.2.8修复了该问题，升

解决方案

查询语句

sql

置顶原创 2022-10-23 13:35:18 2005 阅读

Starrocks查询内存优化

查看最大查询内存show variables like "%exec_mem_limit%";增加查询内存set global exec_mem_limit =51539607552;

Starrocks

置顶原创 2022-10-22 03:44:58 1138 阅读

Starrocks恢复数据库和表

RECOVER DATABASE example_db;RECOVER TABLE [db_name.]table_name;

Starrocks

置顶原创 2022-10-21 19:38:03 477 阅读

Starrocks坏盘后数据无法查询恢复的步骤

1.先进入/opt/starRocks/be/conf把坏盘从数据盘中删除2.停止服务停止be服务bin/stop_be.sh3.启动服务 bin/start_be.sh --daemon因为是三副本，所以数据是不会丢失

数据

数据盘

启动服务

置顶原创 2022-10-21 19:35:31 628 阅读

使用Hadoop patch包修复的一次经历

原因：因为公司的平台的数据量在30P左右，使用了Hadoop3.1.2的版本，而且使用的纠删码功能，报错信息如下：java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado

hadoop

hdfs

java

置顶原创推荐 2022-10-11 18:02:20 2121 阅读 2评论

跨集群distcp数据的时候报错异常java.nio.channels.UnresolvedAddressException

异常2022-10-10 19:41:55,541 INFO [IPC Server handler 17 on 33142] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1663912973547_0434_m_000000_0: Error: java.io.IOExcept

java

apache

hadoop

置顶原创精选 2022-10-11 13:00:12 2091 阅读

Spark使用Atlas的时候报错

异常如下原因是因为是spark2.3只支持到<scala.version>2.11.8</scala.version>解决方案把Atlas的scala的版本改成和集群的版本一致即可

scala

spark

解决方案

置顶原创 2022-10-09 15:48:33 305 阅读

kerberos开启后服务报错Unable to obtain password from user

异常日志022-10-09 10:26:16,230 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: Failed to start journalnode.org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: jn/h

java

hadoop

apache

置顶原创精选 2022-10-09 14:47:19 6752 阅读

FlinkSql常用函数

1、比较函数 = <> > >= < <= 注意：select null=null; 返回为null IS NULL 、 IS NOT NULL --非空判断 value1 IS DISTINCT FROM value2、value1 IS NOT DISTINCT FROM value2、

字符串

取整

正则表达式

置顶原创推荐 2022-10-08 15:41:21 4786 阅读 1收藏

欢迎

首页
1
2
3
4
5
6
7
8
共300条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客