hcatalog环境变量没配/export/servers/hive-1.1.0-cdh5.14.0/hcatalog/export HCAT_HOME=/export/servers/hive-1.1.0-cdh5.14.0/hcatalog/export PATH=$PATH:$HCAT_HOME/bin
原创
2021-06-21 10:44:07
421阅读
告警和日志信息监控目录告警和日志信息监控 实验一：查看大数据平台日志信息 实验任务一：查看大数据平台主机日志 步骤一：查看内核及公共消息日志（/var/log/messages）。 步骤二：查看计划任务日志/var/log/cron。 步骤三：查看系统引导日志/var/log/dmesg。
转载
2023-09-20 07:03:43
496阅读
这通常会触发 Linux 内核里的 Out of Memory (OOM) killer，OOM killer 会杀掉某个进程以腾出内存留给系统用，不致于让系统立刻崩溃。如果检查相关的日志文件（/var/log/messages）就会看到下面类似的 Out of memory: Kill process 信息：... Out of memory: Kill process 9682 (mysqld
转载
2024-04-30 15:09:49
83阅读
1,加硬盘，分区：
1 100M
2 512M
3 128M
把1和2创建为ext3的文件系统
把/dev/sdb1 挂载至 /mnt/boot
原创
2012-02-26 12:06:02
401阅读
# 如何实现hadoop job日志查看
## 前言
作为一名经验丰富的开发者，你需要教导一位刚入行的小白如何实现"hadoop job 日志查看"。在这篇文章中，我将为你详细展示整个流程，并提供每一步所需的代码和解释。
## 整体流程
下面是实现"hadoop job 日志查看"的整体流程：
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 运行Hadoop job
原创
2024-06-02 05:20:02
62阅读
kube-apiserver（ Kubernetes API Server）作为Kubernetes集群的请求入口，接收集群中组件与客户端的访问请求，kube-apiserver对接口请求访问，提供了3种安全权限控制，每个请求都需要经过认证、授权及准入控制器才有权限操作资源对象。认证：确认是否具有访问Kubernetes集群的权限，针对请求的认证。授权：确认是否对资源具有相关权限，针对资源的授权。
hcatalog环境变量没配/export/servers/hive-1.1.0-cdh5.14.0/hcatalog/export HCAT_HOME=/export/servers/hive-1.1.0-cdh5.14.0/hcatalog/export PATH=$PATH:$HCAT_HOME/bin
原创
2022-03-04 18:56:23
305阅读
一、电信运营商上网日志处理的现状在移动互联网如此普及的今天，每天会产生大量的上网日志，这些上网日志由于数据量巨大，产生后只能被保留3 天，就因为存储空间等原因被丢弃。目前，电信运营商只能基于CDR（详细通话记录）为主的客户行为分析可能缺失了大量的客户行为有效信息。例如，两个通话行为相似的人可能是完全不同类型的客户，如果将之同等对待，客户的接受度必然很差，浪费大量资源，并且无法取得良好的效
1、显示/etc目录下，以非字母开头，后面跟了一个字母以及其它任意长度任意字符的文件或目录 [root@lhq ~]#ls /etc/ | grep "^[^[:alpha:]][[:alpha:]].*$" 2、复制/etc目录下所有以p开头，以非数字结尾的文件或目录到/tmp/mytest1目录 ...
转载
2021-09-02 12:17:00
73阅读
2评论
Llinux基础——目录
原创
2021-07-16 17:43:59
104阅读
# Linux下的Java Dump：如何检测和分析Java应用的崩溃
在使用Java进行开发时，我们有时会遇到应用程序崩溃的情况。为了评估和解决这些问题，开发者需要理解如何在Linux环境中获取和分析Java Dump。本文将详细介绍Java Dump的概念、获取Dump的方法以及如何分析Dump文件。
## 什么是Java Dump？
Java Dump（通常指的是Java堆转储）是Ja
原创
2024-08-07 09:27:47
20阅读
# 在Linux上登录Redis的完整指南
Redis 是一个开源的内存数据结构存储系统，经常用于缓存和消息代理等场景。如果你是一名刚入行的小白，可能会对如何在Linux上登录Redis感到困惑。在这篇文章中，我将详细讲解如何登录Redis，并给出相应的代码示例。
## 流程概述
下面是登录Redis的简单步骤：
| 步骤 | 描述
原创
2024-08-29 03:32:20
8阅读
一 LS 命令1. [root@chy ~]# ls -l 列出文件的详细信息总用量 4-rw-------. 1 root root 1695 5月 26 03:22 anaconda-ks.cfg第一列是权限，第二列是有几个文件使用了inode .第三列是所有者第四列是所属组。第五列是文件的大小 ，第六列是文件创建的时间。第七列是它的文件名。[root@ch
原创
2017-11-19 17:32:04
532阅读
#软件安装####1.软件名称识别####[abrt-addon-ccpp]-[2.1.11-19].[el7].[x86_64].rpm##rpm结尾的适用与redhat操作系统软件名称软件版本软件适用系统64位####2.如何安装软件####1.rpmrpm-ivhname.rpm##安装,-v显示过程，-h指定加密方式为hash-ename##卸载-qlname##查询软件生成文件-qlpn
原创
2018-01-22 10:37:31
848阅读
5、传输oracle的客户端(600几M linux.x64_11gR2_client)、oracle的依赖包(20几M packages)，linux只支持zip（rar较困难不做解释）6、打开linux桌面的 xx用户的文件夹，找到传输的文件，右键，最下面有个解压到此处，解压传输后的2个文件8、打开xshell 打开， su 回车，输入root密码，切换到root（否则直接登录root会报ss
原创
2022-06-30 15:11:38
32阅读
Yarn 的架构原理如上图所示，最重要的角色是 ResourceManager，主要用来负责整个资源的管理，Client 端是负责向 ResourceManager 提交任务。用户在 Client 端提交任务后会先给到 Resource Manager。Resource Manager 会启动 Container，接着进一步启动 Application Master，即对 Master 节点的启动
MySQL的日志系统更新流程涉及两个重要的日志模块redo log（重做日志）binlog（归档日志） redo log（InnoDB特有的日志）设计的原因如果每一次的更新操作都写进磁盘，磁盘需要找到对应的记录再更新。整个过程的IO成本，查找成本很高实现原理1.当有一条记录更新时，InnoDB引擎会先将记录写到redo log里面2.当MySQL空闲时，才将操作记录保存到磁盘
基本SQLDDL、DML和DCLDDL：数据定义语言，主要用于定义或改变表（TABLE）的结构，数据类型，表之间的链接和约束等初始化工作，如CREATE、ALTER、DROP，TRUNCATEDML：数据操作语言，用于处理数据，如SELECT（查询）、INSERT（添加）、UPDATE、DELETE、CALL、EXPLANIN PLAN、LOCK TABLEDCL：数据控制语言，用来授予或回收访问
## Hadoop Job如何打日志
在Hadoop集群中运行大规模的数据处理作业时，了解作业的状态和进展非常重要。Hadoop本身提供了日志记录功能，通过在作业中打印日志消息，我们可以追踪作业的运行状况，排查问题并进行性能优化。本文将介绍如何在Hadoop Job中打印日志，并给出一个示例来解决一个实际问题。
### Hadoop Job日志记录
Hadoop Job的日志记录分为两个部分
原创
2023-12-26 08:11:35
65阅读
原理概述 OpenVpn的技术核心是虚拟网卡，其次是SSL协议实现这里重点对虚拟网卡及其在OpenVpn的中的工作机理进行介绍： 虚拟网卡是使用网络底层编程技术实现的一个驱动软件，安装后在主机上多出现一个网卡，可以像其它网卡一样进行配置。服务程序可以在应用层打开虚拟网卡，如果应用
原创
2014-07-21 15:08:36
526阅读
