应用场景当我们按照hadoop伪分布式集群搭建博客搭建了hadoop以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署Hadoop的其他组件，来辅助使用。比如我们把数据存储到了hdfs，都是文件格式，用起来肯定不方便，用HIVE把数据从HDFS映射成表结构，直接用sql语句即可操作数据。另外针对分布式数据计算算法Map
前言上次我们在centos下搭建了伪分布式并且安装了MySQL，传送门：伪分布式安装部署。 搭建了hadoop伪分布式集群以后，发现这是一个空的hadoop，只有YARN，MapReduce，HDFS，而这些实际上我们一般不会直接使用，而是需要另外部署Hadoop的其他组件，来辅助使用。比如我们把数据存储到了hdfs，都是文件格式，用起来肯定不方便，用hive把数据从HDFS映射成表结构，直接用s
转载
2023-07-13 16:05:55
101阅读
Hive的安装
Hive的安装相对比较简单，只需修改几个配置就行。Hive自动了元数据库，但使用不方便，因为自带的数据库如果进入hive shell的路径不一致，就看不到对应的表，如从/home进入hive建的表，从/home/hadoop,路径进入hive则看不到刚才建的表，所有建议单独安装数据库作为元数据库，我安装了mysq数据库，作为Hive的元数据库。
1、安装
转载
2023-07-14 16:08:27
0阅读
linux+nginx+mysql+php+wordpress注意：如果你完全理解了，可以按照自己的思路进行，否则请按照我的版本和环境执行。一、linux本文中使用的是CentOS 7.8版本，理论上7.x都可以。安装必要的依赖包yum install gcc-c++ openssl-devel cyrus-sasl-md5 bzip2-devel curl-devel freetype-deve
1.HIVE安装hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。所有首先需要安装分布式环境的hadoop程序（参考：）1.1 Hiv
转载
2023-09-08 15:09:37
30阅读
在一台机器上实现伪分布式hadoop环境的搭建。ADOOP集群规划主机名（hostname）安装软件运行进程pdmnameNode、resourceManager、datanode、nodemanager、secondary namenodehadoop-2.7.1HADOOP集群安装步骤下面步骤以root用户登陆系统，来进行设置。1.设置静态ipVi /etc/sysconfig/network
转载
2023-07-12 22:39:26
0阅读
记录一次使用Docker安装fastDFS
使用docker安装fastDFS比较简单，无需考虑下载解压等等繁琐步骤，下面我就来简单介绍一下如何使用docker安装fastDFS
转载
2023-07-11 11:44:00
133阅读
一. redis分布式部署1.scrapy框架是否可以自己实现分布式？答曰: 不可以; 原因有二:其一: 因为多台机器上部署的scrapy会各自拥有各自的调度器，这样就使得多台机器无法分配start_urls列表中的url。(多台机器无法共享同一个调度器)其二: 多台机器爬取到的数据无法通过同一个管道对数据进行统一的数据持久出存储。(多台机器无法共享同一个管道)2.
Hive原理与配置Hive概述：1.Hive是一个构建于Hadoop顶层的数据仓库工具，可以查询和管理PB级别的分布式数据。 2.支持大规模数据存储、分析，具有良好的可扩展性 某种程度上可以看作是用户编程接口，本身不存储和处理数据。 3.依赖分布式文件系统HDFS存储数据。 依赖分布式并行计算模型MapReduce处理数据。 4.定义了简单的类似SQL 的查询语言——HiveQL。 5.用户可以通
转载
2023-07-12 12:53:32
69阅读
分布式系统详解（Apache Hive 入门-简介）一、Hadoop中MapReduce所面临的问题： 1、人员学习成本太高2、项目周期要求太短3、MapReduce实现复杂查询逻辑开发难度太大二、Hive是什么？Apache hive 数据仓库软件有
转载
2023-07-12 17:03:03
56阅读
在学习接触大数据相关各种技术后，比如：zookeeper分布式应用协调服务组件、Hadoop是分布式计算平台（包含分布式文件系统HDFS和分布式计算和任务处理MapReduce）、Hive是分布式数据库、Hbase是分布式kv系统、kafka 分布式消息系统、dubbo分布式服务框架、Storm分布式实时计算模式框架、Spark是分布式计算系统、NoSQL分布式数据库、Redis分布式缓存框架等这
Hive是为提供简单的数据操作而设计的下一代分布式数据仓库。它提供了简单的类似SQL的语法的HiveQL语言进行数据查询。同时，HiveQL语言能力不足时，它也能允许使用传统的map/reduce进行复杂数据分析。 Hive是搭建在Hadoop平台之上的。Hive并不是一个真正的数据库，它的元数据需要存储在其他数据库中(例如mysql)。。Hadoop平台提供了HDFS分布式存储系统和map/re
文章目录一，前置知识二，集群的结构三，集群内主机名称和ip映射的配置情况四， 集群部署详细步骤 (十个步骤)1️⃣，集群内`主从节点都要一一进行配置`的基本步骤注: 包括的设置选项有, 静态IP, 主机名, IP地址-主机名的映射, 关闭防火墙, 安装JDK和Hadoop并配置相应的环境变量一. 配置静态IP二.设置Hostname , 添加IP地址-主机名的映射三. 关闭防火墙四. 安装JDK,
转载
2023-07-09 15:11:13
261阅读
介绍——官网：hive.apache.org（1）hive介绍 Apache Hive数据仓库 有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集，SQL来完成大数据的统计分析 目前市面上使用多的分布式存储distributed storage：HDFS S3 OSS COS
hdfs://hadoop000:8020/xxxxx
s3a://…
s3n://访问Hive的方式：
1、分布式部署需要事先确定部署的环境以及部署方式，Apollo目前支持以下环境（1）自定义环境 可以理解为自己本地的测试环境（2）DEV 可以理解为开发环境（3
jmeter什么要做分布式部署？jmeter是运行在JVM虚拟机上的，当模拟大量并发时，对运行机器的性能/网络负载会很大。此时就需要使用jmeter的分布式部署功能，实现多台被控机器同时并发访问被测系统。原理图：准备工作：1.在所有机器上，安装相同版本的jmeter和JDK。2.所有机器连接同一个网络。3.把所有机器的防火墙关闭，否则很可能会连接失败。4.修改每台机器的jmeter内存配置:&nb
作者：独独力子
前言我们机器在绝大多数时间是空闲的，如果你在Windows下用任务管理器或其他的Linux平台观察CPU，你会看到CPU的使用率常见在1～2%，如果能利用现有的计算机资源，把空闲的CPU利用起来，或者能让服务器智能的迁移负荷，加快我们的编译速度，就是我们部署distcc的理由。分布式集群中的节点需要硬件尽可能的一致，不一致的硬件集群称为异构集群,虽然这并不能改变集群的特性
每篇文章的记录都是有目的的，这边呢，当然不例外，我们先来讲一下，这篇文章的目的所在：最近有朋友问到我，说自己目前还是单个springboot项目，然后如何最方面便捷的去部署呢？他的这个问题，和我们的这个系列篇有关系，我们呢，先记录下，为之后的分布式部署作铺垫！好了，话不多说，我们开整哈：1、首先介绍一下自己写的这个测试springboot项目，我们要测试就好好测试，这个小demo，还是将数据库也带
1.分布式部署：得先安装scrapy_redis库 分布式的安装及讲解：需要下载redis redis数据库的安装：在Scrapy项目的setting.py文件中加入：SCHEDULER = "scrapy_redis.scheduler.Scheduler" # 开启Scrapy-redis调度器,分布式配置
DUPEFILTER_CLASS = "scrapy_redis.dupefilte
上一章节介绍了FastDFS的单机部署和使用，但是实际上的场景中不可能只用单机来做，更多的时候是采用集群部署，那么本章就带大家进入集群部署的研究。1、准备环境 我这里采用7台，当然你们按照自己的选择，最外层的Nginx是用来进行统一域名+请求转发，另外我设定了2个tracker分别负载到2
