配置 MySQL通过官网下载并解压：
tar -zxvf mysql-8.0.31-el7-x86_64.tar.gz -C /usr/local
重命名：
mv mysql-8.0.28-el7-x86_64 mysql8配置 /etc/my.cnf :点击查看代码[client]
port=3306
socket=/tmp/mysql8/mysql.sock
[mysqld]
转载
2024-10-07 16:03:14
35阅读
一、各界面说明1.1、查看YARN页面的driver日志可以在右侧搜索框中填对应application号找到任务，然后点击对应的application号链接，如下图所示： 这样会进入该application的信息界面，“FinalStatus”显示了该application的最后状态，点击下方的“logs”按钮也会进入到driver日志界面，如下图所示： 对于driver日志而言，代码中的**pr
转载
2023-08-18 13:20:28
7阅读
华为认证是众多IT从业者通常需要获取的一种重要技术认证，它代表着一个人在特定领域内的专业能力和技术水平。无论是从事网络、安全、云计算还是其他相关领域的工作，华为认证都是一个很好的选择。然而，很多人在获得了华为认证之后，却不清楚如何进行查询和验证，因此“华为认证去哪查”成为了一个热门问题。
首先，我们来了解一下华为认证的种类。华为认证包括华为认证HCIA、HCIP和HCIE等多个级别，涵盖了华为产
原创
2024-03-11 12:14:21
100阅读
instance 从创建到删除的整个生命周期都是有 Nova 管理的，后面各小节我们以instance生命周期中不同操作场景为例，详细分析 Nova不同组件如何协调工作，并通过日志分析加深大家对 Nova 的理解
在研究 Nova 各个操作之前，我们先来学习一个重
转载
2023-07-31 19:03:12
126阅读
1. 故障描述： 51放假期间公司停电，关掉所有k8s测试机器，包括3台k8s master,5台k8s node，3台ceph机器。放假来电之后启动k8s机器和所有的ceph机器；开机之后，发现很多k8s服务无法启动，经过判断发现是ceph的存储问题。后续解决ceph存储osd节点down状态问题。但是发现依赖cephfs文件系统的pvc还是不能挂载。因为我们这个环境有两个storageCl
转载
2024-05-16 09:56:02
0阅读
# Spark如何查Hive表
在大数据处理中，Hive是一个常用的数据仓库工具，而Spark是一个流行的分布式计算框架。在实际应用中，我们经常需要在Spark中查询Hive表的数据。本文将介绍如何在Spark中查看Hive表数据，并通过示例演示实际操作。
## 问题描述
假设我们有一个Hive表，存储了一些用户的基本信息，包括用户ID、姓名和年龄。现在我们想在Spark中查看这个表的数据，
原创
2024-04-27 05:38:39
193阅读
# 使用Java多线程查询Hive的实用指南
随着大数据技术的发展，Hive已成为在处理海量数据时的一种重要工具。为了提高查询性能，Java程序可以利用多线程的方式并发地与Hive进行通信。这种方式不仅能提高数据处理速度，还能有效利用系统资源。本文将探讨如何使用Java多线程查询Hive，并提供相应的代码示例。
## 1. 办法概述
查询Hive时，使用多线程的好处在于：
- **提升性能*
this 去哪？本文写于 2020 年 4 月 26 日let obj = {
foo() {
console.log(this)
},
}
let bar = obj.foo
obj.foo() // 打印出的 this 是 obj
bar() // 打印出的 this 是 window最后两行函数的值为什么不一样？？？之前关于函数的文章里写过了，let bar = obj.fo
转载
2020-04-26 11:25:00
166阅读
2评论
最近有点忙，收到不少邮件或者留言，有些没有回复，在此致歉。在OpenStack中，出现问题比较多的除了网络部分，还有存储部分。对于swift对象存储的研究和相关技术资料已经有很多，而块存储nova-volume相关的介绍还少见，其中也有很多问题出现。下面将对这一部分的一些问题给予介绍，希望大家有好的经验都分享出来，社区的力量需要每一分子的贡献。最近这几篇文章的目录贴在这里，相关问题可以直接去查阅对
转载
2024-03-14 22:45:59
82阅读
1. Security Group全部打开，这是最基本的，但是很多人容易忘记其实遇到过无数这种场景了，Debug了半天网络问题，各种手段都用上了，最后发现安全组竟然没有打开。2. 通过界面查看虚拟机的log，也可以在compute节点上查看console.log文件，看看里面是否有DHCP获取IP成功的日志在界面上可以看控制台日志在compute节点上可以查看/var/lib/nova/insta
转载
2023-07-27 09:01:54
67阅读
本系列文章会深入研究 Ceph 以及 Ceph 和 OpenStack 的集成：（1）安装和部署（2）Ceph RBD 接口和工具（3）Ceph 物理和逻辑结构（4）Ceph 的基础数据结构（5）Ceph 与 OpenStack 集成的实现（6）QEMU-KVM 和 Ceph RBD 的 缓存机制总结（7）Ceph 的基本操作和常见故障排除方法（8）关于Ceph PGs 学以致用，本文将
转载
2024-01-22 23:06:21
13阅读
API：应用程序编程接口，在JS下表示预定义的函数和方法，可以直接调用功能。目录一、数组API二、字符串API三、MathAPI如何学习一个API：学习数组API还需要注意：一、数组API1.toString() 将数组转为字符串，元素之间用逗号分割 2. join() 将数组转为字符串，元素之间默认是用逗号分割，也可以指定分割符 3.concat(arr2, arr3) 拼接
转载
2023-08-11 15:53:20
59阅读
这句话绝对不是一句让别人远离的意思，是真的关心你啊，这么大热的天
原创
2017-06-29 14:43:53
586阅读
点赞
1评论
作者：胡加华一、前言在 2019 年 1 月份的时候，我们发表过一篇博客 SparkSQL在有赞大数据的实践，里面讲述我们在 Spark 里所做的一些优化和任务迁移相关的内容。本文会接着上次的话题继续讲一下我们之后在 SparkSQL 上所做的一些改进，以及如何做到 SparkSQL 占比提升到 91% 以上，最后也分享一些在 Spark 踩过的坑和经验希望能帮助到大家。本文主要的内容包括：Thr
转载
2024-08-01 07:50:24
52阅读
在实际工作中，需要针对spark任务的日志输出进行自定义。1. 相关知识1.1 spark 日志介绍以spark2.4.x为例，spark中提供了log4j的方式记录日志，目前使用的版本是log4j-1.2.17，基于properties方式配置可以在$SPARK_HOME/conf/下，将 log4j.properties.template 文件copy为 log4
转载
2023-08-21 22:14:27
788阅读
# CDH Hive on Spark 没有日志的实现指南
在大数据处理领域，Hive是一个广泛使用的数据仓库工具，而Spark是一个强大的数据处理引擎。当我们在CDH（Cloudera Distribution for Hadoop）环境中配置Hive与Spark集成时，有时候会遇到没有日志的问题。本文将提供一个详细的指南，帮助你逐步解决这个问题。
## 总体流程概览
在开始之前，让我们对
原创
2024-08-10 07:24:36
119阅读
1.出错时查看log日志时 例：查看keystone.conf的后两行命令 cat /var/log/keystone/keystone.log | tail -n 2 查看keys
转载
2023-09-02 01:42:11
490阅读
写在前面Java中日志框架种类繁多，我也是最近在学习mybatis过程中对日志的使用产生了困惑，所以这里个人做下总结，希望能帮助到和我有一样困惑的朋友，下面我们就开始吧！1：java日志的发展历史Java中的第一个日志框架是apache提出来的log4j，如下:后来呢，sun公司认为自己作为java的开发主体，日志肯定是需要自己来给出方案的,为了打压log4j,于是在jdk4中制定了JULjava
转载
2023-06-27 11:41:49
98阅读
Apache Hive是Hadoop上的SQL引擎，Spark SQL编译时可以包含Hive支持，也可以不包含。包含Hive支持的Spark SQL可以支持Hive表访问、UDF(用户自定义函数)以及 Hive 查询语言(HiveQL/HQL)等。需要强调的一点是，如果要在Spark SQL中包含Hive的库，并不需要事先安装Hive。一般来说，最好还是在编译Spark SQL时引入Hive支持，
转载
2023-07-04 20:28:38
194阅读
如何实现“spark提交jar包去哪查看日志文件”
## 概述
在使用Spark提交jar包时，需要知道如何查看日志文件以便调试和排查问题。本文将介绍整个流程，并提供每一步需要执行的代码和注释。
## 流程
以下是提交Spark jar包并查看日志文件的流程：
| 步骤 | 描述 |
| --- | --- |
| 1 | 使用Spark-submit命令提交jar包 |
| 2 | 查
原创
2024-01-28 05:50:44
241阅读
