江南独孤客的博客_大数据篇,数据库篇,Linux

按发布时间
按阅读量
2022年10月 20篇

全部618篇
2024年15篇 08月1篇 07月1篇 06月2篇 05月1篇 04月1篇 03月4篇 02月2篇 01月3篇 2023年50篇 12月3篇 11月6篇 10月3篇 09月2篇 08月4篇 07月5篇 06月1篇 04月7篇 03月4篇 02月10篇 01月5篇 2022年300篇 12月2篇 11月11篇 10月20篇 09月10篇 08月3篇 07月16篇 06月26篇 05月51篇 04月64篇 03月27篇 02月48篇 01月22篇 2021年253篇 12月37篇 11月18篇 10月31篇 09月66篇 08月53篇 07月21篇 06月25篇 05月2篇
推荐/精选
全部

全部原创转载翻译

阿里云优化sysctl

vm.swappiness = 0net.ipv4.neigh.default.gc_stale_time = 120# see details in https://help.aliyun.com/knowledge_detail/39428.htmlnet.ipv4.conf.all.rp_filter = 0net.ipv4.conf.default.rp_filter = 0net.ipv

html

置顶原创 2022-10-30 20:48:56 165 阅读

hive创建管理员角色和授权

create role admin;grant ALL on server server1 to role admin;grant role admin to group admin;grant ALL on database default to role admin;create role hive;grant ALL on server server1 to role hive;grant

hive

置顶原创 2022-10-30 17:46:00 414 阅读

CDH重启换了Namenode节点后，提示Encountered exception loading fsimage

报错代码如下：Encountered exception loading fsimagejava.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:237) at org.apache.

hadoop

hdfs

java

置顶原创精选 2022-10-30 16:05:16 1058 阅读

hive常用的授权命令

创建角色create role role_name;例子：create role abc_read_role;删除角色drop role role_name;例子：drop role abc_read_role;显示所有角色show roles;把整个库授权给某一个角色查询权限(给所有权限，把select 替换成all)grant select on database dbname_db to r

hive授权

置顶原创 2022-10-29 21:51:40 372 阅读

flink错误提示8081端口被占用

解决方案：rest.port: 8081配置文件加入加入rest.bind-port: 50100-50900

解决方案

配置文件

置顶原创 2022-10-26 09:46:40 573 阅读

flink_on_yarn调用数据时出现乱码

解决方案：在flink配置文件vim /opt/flink/conf/flink-conf.yaml添加：env.java.opts: -Dfile.encoding=utf-8 -XX:+TraceClassLoading强制flink任务使得utf-8字符串

flink

解决方案

java

置顶原创 2022-10-26 09:45:15 236 阅读

linux下批量删除文件和文件夹

批量删除trash下的文件夹和文件rsync --delete-before -d tmp/ trash/批量删除trash下的文件rsync --delete-before -a -H -v --progress --stats tmp/ trash/

批量删除

置顶原创 2022-10-25 15:11:12 533 阅读

Starrocks参数调优

MySQL [(none)]> show variables like "%%";+--------------------------------------------+---------------------------+| Variable_name | Value |+-------

sql

hive

elastic

置顶原创 2022-10-24 10:20:05 2678 阅读

Flink读mysql的时候报错java.net.SocketException: Connection timed out (Read failed)

通过flink join表关联对mysql进行读取出现下面的问题？求指点 at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:66) ~[flink-dist_2.11-1.13.2.jar:1.13.2] at org.apache.

flink

java

jar

置顶原创 2022-10-23 14:07:29 2695 阅读

Strrocks的参数设置

查看所有的参数show variables like "%%";查看cbo_enable_low_cardinality的参数show variables like "%cbo_enable_low_cardinality%";参数设置set global cbo_enable_low_cardinality_optimize = falsepipeline引擎，资源利用率高set global

并行度

参数设置

置顶原创 2022-10-23 13:43:34 300 阅读

Starrocks出现查询语句报错:SQL 错误 [1064] [42000]: unsupport decode_dict_codes in GlobalDictCodeColumnIterator

查询语句报错:SQL 错误 [1064] [42000]: unsupport decode_dict_codes in GlobalDictCodeColumnIterator【StarRocks版本】2.2.7-5dfc83f【集群规模】：3fe（3 follower）+6be（3个be与fe混部）【机器信息】CPU虚拟核/内存/网卡，40C/128G/万兆解决方案：2.2.8修复了该问题，升

解决方案

查询语句

sql

置顶原创 2022-10-23 13:35:18 1521 阅读

Starrocks查询内存优化

查看最大查询内存show variables like "%exec_mem_limit%";增加查询内存set global exec_mem_limit =51539607552;

Starrocks

置顶原创 2022-10-22 03:44:58 1036 阅读

Starrocks恢复数据库和表

RECOVER DATABASE example_db;RECOVER TABLE [db_name.]table_name;

Starrocks

置顶原创 2022-10-21 19:38:03 393 阅读

Starrocks坏盘后数据无法查询恢复的步骤

1.先进入/opt/starRocks/be/conf把坏盘从数据盘中删除2.停止服务停止be服务bin/stop_be.sh3.启动服务 bin/start_be.sh --daemon因为是三副本，所以数据是不会丢失

数据

数据盘

启动服务

置顶原创 2022-10-21 19:35:31 523 阅读

使用Hadoop patch包修复的一次经历

原因：因为公司的平台的数据量在30P左右，使用了Hadoop3.1.2的版本，而且使用的纠删码功能，报错信息如下：java.io.IOException: Unexpected EOS from the readerat org.apache.hadoop.hdfs.StripeReader.readToBuffer(StripeReader.java:241)at org.apache.hado

hadoop

hdfs

java

置顶原创推荐 2022-10-11 18:02:20 1765 阅读 2评论

跨集群distcp数据的时候报错异常java.nio.channels.UnresolvedAddressException

异常2022-10-10 19:41:55,541 INFO [IPC Server handler 17 on 33142] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Diagnostics report from attempt_1663912973547_0434_m_000000_0: Error: java.io.IOExcept

java

apache

hadoop

置顶原创精选 2022-10-11 13:00:12 1850 阅读

Spark使用Atlas的时候报错

异常如下原因是因为是spark2.3只支持到<scala.version>2.11.8</scala.version>解决方案把Atlas的scala的版本改成和集群的版本一致即可

scala

spark

解决方案

置顶原创 2022-10-09 15:48:33 248 阅读

kerberos开启后服务报错Unable to obtain password from user

异常日志022-10-09 10:26:16,230 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: Failed to start journalnode.org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: jn/h

java

hadoop

apache

置顶原创精选 2022-10-09 14:47:19 6070 阅读

FlinkSql常用函数

1、比较函数 = <> > >= < <= 注意：select null=null; 返回为null IS NULL 、 IS NOT NULL --非空判断 value1 IS DISTINCT FROM value2、value1 IS NOT DISTINCT FROM value2、

字符串

取整

正则表达式

置顶原创推荐 2022-10-08 15:41:21 4273 阅读 1收藏

自己的一些感受

给专科学历的打工人一些建议，希望能之共勉。个人中专毕业16年，非全大专两年，网络教育在上，电子科技大学，工作12年，目前是大数据运维专家岗位，磕磕绊绊一路走来，以下建议从容易执行的开始。1 摆正心态接受非全专科学历比统招本科难找工作的客观事实。尽可能的积极的去面对，因为即使抱怨也解决不了问题2 提升学历最容易的是网络教育2.5年只需要花钱，有能力的自考本，不是所有的公司都需要统招本科。网络教育

项目经验

碎片化

运维

原创 2022-10-19 09:11:33 94 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客