创建角色create role role_name;例子：create role abc_read_role;删除角色drop role role_name;例子：drop role abc_read_role;显示所有角色show roles;把整个库授权给某一个角色查询权限(给所有权限，把select 替换成all)grant select on database dbname_db to r
解决方案：rest.port: 8081配置文件加入加入rest.bind-port: 50100-50900
解决方案：在flink配置文件vim /opt/flink/conf/flink-conf.yaml添加：env.java.opts: -Dfile.encoding=utf-8 -XX:+TraceClassLoading强制flink任务使得utf-8字符串
MySQL [(none)]> show variables like "%%";+--------------------------------------------+---------------------------+| Variable_name | Value |+-------
通过flink join表关联对mysql进行读取出现下面的问题？求指点 at org.apache.flink.streaming.runtime.io.StreamOneInputProcessor.processInput(StreamOneInputProcessor.java:66) ~[flink-dist_2.11-1.13.2.jar:1.13.2] at org.apache.
查询语句报错:SQL 错误 [1064] [42000]: unsupport decode_dict_codes in GlobalDictCodeColumnIterator【StarRocks版本】2.2.7-5dfc83f【集群规模】：3fe（3 follower）+6be（3个be与fe混部）【机器信息】CPU虚拟核/内存/网卡，40C/128G/万兆解决方案：2.2.8修复了该问题，升
查看最大查询内存show variables like "%exec_mem_limit%";增加查询内存set global exec_mem_limit =51539607552;
RECOVER DATABASE example_db;RECOVER TABLE [db_name.]table_name;
异常日志022-10-09 10:26:16,230 ERROR org.apache.hadoop.hdfs.qjournal.server.JournalNode: Failed to start journalnode.org.apache.hadoop.security.KerberosAuthException: failure to login: for principal: jn/h
1、比较函数 = <> > >= < <= 注意：select null=null; 返回为null IS NULL 、 IS NOT NULL --非空判断 value1 IS DISTINCT FROM value2、value1 IS NOT DISTINCT FROM value2、
报错内容如下：2022-09-29T10:19:39,785 ERROR [be6bd8ac-4a04-4f23-ac2a-540949dea68a main] metadata.HiveMetaStoreChecker: org.apache.hadoop.hive.ql.metadata.HiveException: Unexpected partition key hour found at
公司的数据变更字段时出现以下报错：java.net.SocketTimeoutException: Read timed out原因：hive.metastore.client.socket.timeout的值，目前是300。 解决方案：hive.metastore.client.socket.timeout的值，改为1000。
公司用的是原生的Hadoop，执行hadoop fs -ls /的时候出现以下hadoop的配置打印出来 原因是因为hadoop的文件中别人在前面加了set -x解决方案：vim /opt/hadoop/bin/hadoop把set -x改为set +x问题解决
Presto查询的时候报错User: wangyx@XXX.COM is not allowed to impersonate wangyx2022-09-19T14:37:42.936+0800 DEBUG query-execution-1 com.facebook.presto.execution.QueryStateMachine Query 20220919_0637
hive3.1.2用的cdh6.3.2中自带的spark2.4，在beeline客户端中，切换执行引擎为spark报错，报错为加载配置文件报加载不到解决方案检查了hive-site.xml文件，缺了一个配置，就是spark.yarn.jars
安装presto的时候，报jdk版本不兼容的问题解决方案，提示最低需要java 8u151及以上版本vim /data/presto/bin/launcher export JAVA_HOME=/opt/jdk1.8.0_151export PATH=$JAVA_HOME/bin:$PATHjava -versionexec "$(dirname "$0")/launcher.py" "$@" #
提示check failure stack trace解决方案：主要的原因是因为配置的问题，更改为正确的配置后，问题解决
解决方案排查了一下krb5.conf文件，发现我之前的配置少了一行配置udp_preference_limit = 1这个配置，加上之后问题解决
一、登录mysql操作use hive;（1）修改表字段注解和表注解alter table COLUMNS_V2 modify column COMMENT varchar(256) character set utf8;alter table TABLE_PARAMS modify column PARAM_VALUE varchar(4000) character set utf8;（2）修改
flink在提交任务到yarn上的时候，提示yarnCluster的问题,查看yarn上的资源是够的解决方案：查看了yarn的主从节点进行了切换导致无法分配资源，重启rm节点，把rm节点还原到原来的状态后，问解决。
原生的启用nodemanager报错如下cat /var/log/hadoop/hadoop-root-nodemanager-cd-cp-standby20.wxxdc.log 2022-08-18 15:12:57,355 INFO org.apache.hadoop.yarn.server.nodemanager.NodeManager: STARTUP_MSG: /************
架构设计1.1系统架构图1.2启动流程图1.3架构说明MasterServerMasterServer采用分布式无中心设计理念，MasterServer主要负责 DAG 任务切分、任务提交监控，并同时监听其它MasterServer和WorkerServer的健康状态。 MasterServer服务启动时向Zookeeper注册临时节点，通过监听Zookeeper临时节点变化来进行容错处
企业： 第一个方面： 数据分析 第二个方面： 数据检索基本组件： * Zookeeper 分布式协作框架 节点数目 测试集群：3 个 生产集群： >> 小型集群, 3 个或者 5个 >> 中型机群，５ 个 或者 ７个 >> 大型机群, 奇数个 * HDFS 存储海量数据 * YARN 集群资源管理 资源调度 * MapReduce 并行计算框架 思想： 分而治之
进入服务器，查询正在执行任务的语句SELECT query_id,user, query FROM system.processes;-- 通过上面指令获取到进程相关信息后，可以用query_id条件kill进程KILL QUERY WHERE query_id='67cadc87-34b2-4b81-8f8c-087485c922af' -- 杀死default用户下的所有进程KILL QUE
问题现象：就是beeline客户端连接hive的时候更换引擎为tez执行报错，用mr就不报错，同样的语句在hive cli中，更换引擎为tez不报错，mr引擎执行也不报错解决方案：之前这个配置为false就报错改成true
问题描述：yarn开启ACL用户认证之后，日志只有在任务执行的时候能看到，SPARK任务跑完之后，在去看日志报User[yarn] is not authorized to view the logs for container的提示解决方案：主要是原因是我开启sentry认证之后，资源池的队列用ACL进行了管理，提交的时候都是以hive用户来提交的，在ACL中只加了root忘记加hive和yar
[INFO] 2022-07-06 13:12:16.714 - [taskAppId=TASK-393-81727-908774]:[238] - process has exited, execute path:/data/dolphinscheduler/exec/process/9/393/81727/908774, processId:25215 ,exitStatusCode:1 ,
提示是root账号没有权限读取这个路径解决方案：所有的hive的服务器上执行以下操作usermod -a -G hive root #把root账号加入到Hive组中重新查询：果然不在报错，问题解决。
Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号
