《HTTP权威指南》笔记摘要Day7HTTP/1.1的局限性HTTP-NG第一层：报文传输层第二层：远程调用层第三层：Web应用WebMUXWebMUX协议的目标 HTTP/1.1的局限性复杂性：HTTP相当复杂，而且特性之间相互依存。可扩展性：HTTP很难实现递增式扩展。性能：HTTP中有些部分效率不高。传输依赖性：依赖于TCP/IP协议。HTTP-NGHTTP-NG建议把协议模块自底向上化成
转载
2024-06-05 13:34:42
60阅读
文章目录一、list的使用1.1 构造函数1.2 迭代器1.2.1 迭代器失效问题1.3 空间和访问1.4 修改相关二、list的实现2.1 结点结构体2.2 迭代的实现2.3 默认函数的实现2.4 修改函数的实现三、 反向迭代器的实现 一、list的使用list的使用和vector以及其他容器类似，常用函数用法也相同。1.1 构造函数常用函数接口说明list()构造空的listlist (si
转载
2024-02-04 00:12:12
41阅读
目录一、概述二、环境部署1）添加源并下载编排部署包2）构建镜像3）修改配置4）开始部署5）测试验证1、mysql catalog 测试2、hive catalog 测试6）卸载一、概述Presto是Facebook开源的MPP（Massively Parallel Processing：大规模并行处理）架构的OLAP（on-line transaction processing：联机事务处理），完
转载
2024-03-04 23:18:25
1332阅读
前提笔者目前需要搭建数据平台，发现了Windows系统下，Hadoop和Hive等组件的安装和运行存在大量的坑，而本着有坑必填的目标，笔者还是花了几个晚上的下班时候在多个互联网参考资料的帮助下完成了Windows10系统下Hadoop和Hive开发环境的搭建。这篇文章记录了整个搭建过程中的具体步骤、遇到的问题和对应的解决方案。环境准备基于笔者的软件版本洁癖，所有选用的组件都会使用当前(2020-1
转载
2024-04-19 16:22:09
151阅读
HDFS是Hadoop的分布式文件系统，负责海量数据的存取HDFS系列文章请参考：一、HDFS 概述 | 优缺点 | 组成架构 | 文件块大小二、HDFS 常用Shell命令 | 图文详解三、HDFS 搭建客户端 API 环境 | 图文详解 | 提供依赖下载连接四、HDFS API 操作图文详解及参数解读五、HDFS 读写流程 | 图文详解六、HDFS | NameNode和SecondaryNa
转载
2023-11-18 23:25:04
142阅读
Hadoop 生态系统发展到现在，存储层主要由HDFS和HBase两个系统把持着，一直没有太大突破。在追求高吞吐的批处理场景下，我们选用HDFS，在追求低延 迟，有随机读写需求的场景下，我们选用HBase，那么是否存在一种系统，能结合两个系统优点，同时支持高吞吐率和低延迟呢？有人尝试修改HBase内核 构造这样的系统，即保留HBase的数据模型，而将其底层存储部分改为纯列式存储（目前HBase
转载
2024-01-29 06:12:37
55阅读
hadoop环境搭建从官网上获得对应的安装包下载地址：Apache Download MirrorsApache Download MirrorsApache Download Mirrors点击第一个 安装JDK1.8解压文件tar -zxvf jdk-8u60-linux-x64.tar.gz 2.配置环境vi /etc/profile按i执行编
转载
2024-02-23 11:12:00
54阅读
环境准备一共4台虚拟机，模拟HA环境，供学习用 IPZKNMRMDNVm1192.168.31.150YYY Vm3192.168.31.152YY YVm4192.168.31.153Y YYVm5192.168.31.154 YYY 所需软件jdk 1.8, zk 3.7, hadoop-3.2.1 这些都可以从官网下载安
转载
2023-11-15 14:07:54
116阅读
1、kudu介绍Kudu 是一个针对 Apache Hadoop 平台而开发的列式存储管理器。Kudu 共享 Hadoop 生态系统应用的常见技术特性: 它在 commodity hardware（商品硬件）上运行，horizontally scalable（水平可扩展），并支持 highly available（高可用）性操作。此外，Kudu 还有更多优化的特点：1、OLAP 工作的快速处理。2
转载
2023-09-16 22:22:43
95阅读
Hadoop HA高可用+Zookeeper搭建简介本篇介绍在VMware+CentOS 7.4环境上搭建Hadoop HA+Zookeeper。Hadoop集群分布如下：编号主机名namenode节点zookeeper节点journalnode节点datanode节点resourcemanager节点1master1√√√√2master2√√√√3slave1√√√4slave2√使用软件版本
转载
2023-08-21 10:35:56
73阅读
# 如何在Hadoop项目中实现依赖管理
在进行大数据分析和处理的时候，Hadoop 是一个非常重要的工具。在开发 Hadoop 项目时，我们经常需要为我们的项目引入其他依赖库，而这通常是个新手容易遇到的难题。本文将带你一步一步地实现 Hadoop 依赖的管理，包括步骤和示例代码。
## 整体流程
下面是实现 Hadoop 依赖的主要步骤：
| 步骤 | 描述
原创
2024-10-23 04:31:55
125阅读
一、安装版本：JDK1.8.0_111-b14hadoophadoop-2.7.3zookeeperzookeeper-3.5.2
二、安装步骤： JDK的安装和集群的依赖环境配置不再叙述
1、hadoop配置 hadoop配置主要涉及hdfs-site.xml，core-site.xml，mapred-
转载
2023-11-17 15:28:54
101阅读
在本文中，我将向您介绍如何在Kubernetes环境中使用Alluxio和Trino来构建高性能的数据处理解决方案。Alluxio是一个开源的分布式存储系统，可以加速数据访问，而Trino是一个用于分布式SQL查询的高效引擎。结合使用这两个工具可以提高数据处理的效率和性能。
整个过程可以分为以下几个步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 部署Alluxio集群
原创
2024-04-26 11:19:40
90阅读
# 实现Trino连接MySQL数据库
## 流程
下面是实现Trino连接MySQL数据库的整体流程。你可以按照这些步骤来完成配置和代码编写。
| 步骤 | 描述 |
| --- | --- |
| 1. 配置Trino服务器 | 配置Trino服务器以支持连接MySQL数据库 |
| 2. 下载并安装MySQL驱动 | 下载并安装适用于Trino的MySQL驱动 |
| 3. 配置Trin
原创
2023-09-05 20:50:32
1144阅读
一. 背景团队要升级大数据架构，需要摒弃hadoop，底层使用Minio做存储，应用层用trino火spark访问minio。在使用trino访问minio时，需要使用hive的metastore service，经过调查HMS(Hive Metastore Service)是可以独立于hive组件的，即不需要整体安装hive，只部署HMS就可以使用trino通过HMS来访问minio。二. 环境
文章目录Hadoop框架Zookeeper简介、搭建及简单使用Zookeeper简介Zookeeper集群搭建下载zookeeper对应的tar包1、上传安装包到master并解压2、配置环境变量3、修改配置文件4、新建data目录5、同步到其它节点6、配置node1和node2的环境变量7、编辑/usr/local/soft/zookeeper-3.4.6/data/myid8、启动zk9、停
转载
2023-11-18 23:11:21
82阅读
Hbase作为Hadoop生态圈的一个组件，也是需要依赖Hadoop的，因此在安装Hbase之前需要先安装好Hadoop环境。Hbase主要用于实时&&离线数据处理，处理数据快，存储量大，按列存储数据库，能够轻松处理亿级别是数据，Hbase的底层依赖于Hbase的HDFS。Hbase作为noSql类型的数据库，没有关系型数据库的主键概念，变成了行键概念。Hbase的安装目前Hbas
转载
2023-07-27 21:59:59
0阅读
IntelliJ IDEA + Maven环境下对hadoop、hive-udf的pom.xml配置依赖 文章目录一、Maven配置1.1 配置本地仓库1.2 配置远程镜像1.3 idea maven配置1.3.1 引入外部Jar文件的两种方法1.3.2 引入自定义Jar问题：公司做项目，几层包结构二、新建IntelliJ下的maven项目三、hadoop配置依赖四、hive-udf配置依赖五、H
转载
2024-02-20 14:48:25
216阅读
一、了解对比Hadoop不同版本的特性，可以用图表的形式呈现。Hadoop 3.0中引入了一些重要的功能和优化，包括JDK版本的最低依赖从1.7变成了1.8； HDFS支持Erasure Encoding； Timeline Server v2版本； hadoop-client这个依赖分为hadoop-client-api和hadoop-client-runtime两个依赖； 支持随机contai
转载
2023-07-12 14:01:06
443阅读
一、Storm集成HDFS1.1 项目结构1.2 项目主要依赖项目主要依赖如下，有两个地方需要注意：这里由于我服务器上安装的是 CDH 版本的 Hadoop，在导入依赖时引入的也是 CDH 版本的依赖，需要使用 <repository> 标签指定 CDH 的仓库地址；
hadoop-common、hadoop-client、hadoop-hdfs 均需要排除 slf4j-log4j12
转载
2024-04-03 15:56:09
112阅读
