一、环境准备：3台centos7服务器 修改hosts（所有服务器都需要修改）vim /etc/hosts
10.9.5.114 cdh1
10.9.5.115 cdh2
10.9.5.116 cdh3 修改主机名，cdh1为主机名，根据自己定义sysctl kernel.ho
# Hadoop安装到opt目录下
## 介绍
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和处理。安装Hadoop可以让我们在分布式环境中高效地进行数据处理和分析。本篇文章将介绍如何将Hadoop安装到/opt目录下，并提供相应的代码示例。
## 准备工作
在安装Hadoop之前，我们需要做一些准备工作。
### Java安装
Hadoop是基于Java开发的，
原创
2024-01-08 07:23:46
143阅读
# Elasticsearch 与 Hadoop 的结合
在大数据时代，Elasticsearch（ES）与Hadoop都是非常重要的工具。Hadoop是一个开源框架，主要用于存储和处理大量数据，而Elasticsearch则是一种分布式的搜索与分析引擎。许多公司希望将这两者结合，以实现大数据的高效存储与检索。本篇文章将探讨如何将Elasticsearch安装到Hadoop中，并提供示例代码和数
安装和配置Hadoop 集群1 网络拓扑通常来说，一个Hadoop 的集群体系结构由两层网络拓扑组成，如图2-1 所示。结合实际的应用来看，每个机架中会有30 ～ 40 台机器，这些机器共享一个1GB 带宽的网络交换机。在所有的机架之上还有一个核心交换机或路由器，通常来说其网络交换能力为1GB 或更高。可以很明显地看出，同一个机架中机器节点之间的带宽资源肯定要比不同机架中机器节点间丰富。这也是Ha
转载
2023-08-15 22:27:19
57阅读
Description\(1<=n<=10^5,1<=k<=18,1<=k_i<=10^7,\sum |s_i|<=3*10^5\) Solution\(k\)比较小所以显然是拿\(k\)来搞事 比较简单粗暴的想法是，我们直接预处理出每个完全图中的一个点（好吧其实就是团==）到其他的完全图中一个点的最短距离，然后用这个东西来计算两个点之间的最短路就方便
转载
2024-08-26 16:52:31
42阅读
# Hadoop安装到超融合中的步骤
## 概述
本文将阐述如何将Hadoop安装到超融合环境中。超融合是一种将计算、存储和网络等资源集成在一起，提供统一管理和高度可扩展性的架构。Hadoop是开源的分布式系统，可以实现大规模数据的存储和处理。将Hadoop安装到超融合环境中，可以充分利用超融合的资源优势，提高数据处理的效率和性能。
## 安装步骤
| 步骤 | 描述 |
| ------
原创
2023-08-15 09:13:55
103阅读
1.hadoop安装目录进入安装好的目录bin 目录：存放对 Hadoop 相关服务（HDFS，Yarn，MapReduce）进行操作的脚本etc 目录：Hadoop 的配置文件目录，存放 Hadoop 癿配置文件；lib 目录：存放 Hadoop 的本地库（对数进行压缩，解压缩功能）；sbin 目录：存放或启动 Hadoop 相关服务的脚本；share 目录：存放 Hadoop 的依赖 jar
转载
2023-08-04 12:14:28
771阅读
一：sqoop简介： Sqoop是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。这里需要了解一下关于的导入数据和导出数据的概念。导入数据(import)：从非
转载
2023-12-18 16:19:31
124阅读
目的本文档介绍了如何设置和配置单节点Hadoop安装，以便您可以使用Hadoop MapReduce和Hadoop分布式文件系统（HDFS）快速执行简单的操作。先决条件支持平台支持GNU / Linux作为开发和生产平台。Hadoop在具有2000个节点的GNU / Linux集群上得到了证明。Windows也是受支持的平台，但是以下步骤仅适用于Linux。要在Windows上设置Hadoop，请
Hadoop简介及安装过程 概述：Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，以Hadoop分布式文件 系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源 实现）为核心的hadoop为用户提供了系统底层细节透明的分布式基础框架。HDFS的高容错 性、高伸缩性等优点允许用户将Hadoop部署在
转载
2023-07-20 17:19:03
102阅读
Python与数据库简介当今，数据库是计算机应用中最重要的部分。几乎所有的大型应用都要用到数据库，比如银行、电商、航空、政府、医疗、教育、科研等。数据库的目的是存储数据，并且能够根据用户的需求提供数据。数据库管理系统（DBMS）是一个软件系统，它提供了数据库的管理功能。常见的数据库管理系统有：MySQL、SQL Server、Oracle、PostgreSQL、DB2、MongoDB等。在应用开发
# 如何在Anaconda中安装PyTorch：新手指南
在数据科学和深度学习领域，PyTorch是一个非常流行且强大的框架。而Anaconda是一个方便的包管理工具，它可以为我们提供一种简单的方法来安装和管理不同的Python包和环境。对于刚入行的小白来说，可能会对在Anaconda中安装PyTorch的流程感到困惑。本文将详细讲解这个过程，帮助你顺利在Anaconda中安装PyTorch。
一、首先将数据盘格式化分区并挂载（文章中提到的sdb（腾讯云）实践中是vdb（阿里云），文章中挂载在ssd目录下，实践中是挂载到data目录下的，后面安装docker部分以后是实践中的记录，上面数据盘格式化分区等是之前的笔记，请注意区分）1、 查看现在已有的分区状态 # df –l 图中显示，没有看到sdb硬盘2、 查看服务器安装的硬盘状态（包括格式化和未格
转载
2023-07-18 09:34:19
265阅读
Redis概述：应用场景： 第一种场景： 2.1.1 配合关系型数据库做高速缓存第二种场景：Redis的安装： 首先百度搜索redis，找到官网进去，点击“Download it”下面的“Redis 6.2.6 is the …”这一句：点击之后就会开始下载：下载完之后我们会得到这么一个压缩包。 然后我们的Redis不考虑在windows环境下使用，官网也并没有提供windows版本。所以我们会在
转载
2023-08-30 18:52:26
62阅读
概述
本文介绍RESIN2.1的配置方法和建议配置值。
2 安装
RESIN是一个WEB服务器软件，类似于IIS、TOMCAT等，在公司的一些产品中有应用，安装很简单，取到RESIN压缩包后，解压到指定的目录即 安装成功，进入安装目录的BIN文件夹，双击httpd.exe启动RESIN服务器。此时可以通过浏览器（Internet Explorer）访问http://loca
转载
2024-07-24 16:56:00
84阅读
首先有一点可以肯定的是，官方没有直接的描述进行推荐，如果通用化的部署，裸金属和虚拟机都可以部署，如果要使用GPU，部署在裸金属环境比较好，以下通过几个方面进行分析两种方式的优缺点。1、计算性能和读写性能毫无疑问， 裸金属跟优于虚拟机， 国外有人做过相关的测试，使用了一台8核32G Amazon EC2 m4.2xlarge 云主机和一台8核32G的物理机进行对比测试，测试的结果是物理机上比云主机上
转载
2023-10-08 08:56:55
165阅读
Hadoop集群安装 首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。 Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。 准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6
转载
2024-05-30 12:15:10
124阅读
简介Docker对于运维的意义在于通过镜像容器进行快速的部署。对于我而言则是Windows，Mac OSX和Ubuntu的环境统一。只需要专注与应用。Macbook安装Docker安装阿里云加速器复制地址您的专属加速器地址，将地址填入Docker的配置中，路径如下：Preferences–>Daemon–>Basic–>Registry mirrors，然后重启Windows安装
转载
2023-08-23 15:43:38
268阅读
随着电脑硬件技术和软件开发的不断进步，我们的电脑越来越快、越来越强大。但是，与此同时，我们也需要面对一个更加复杂的问题：如何合理地管理电脑存储空间？一般来说，我们会将电脑的硬盘分成多个分区，其中C盘是操作系统所在的分区，而D盘、E盘则是用来存放文件、照片、音乐等数据的分区。然而，在安装各种应用程序时，默认的安装路径都是C盘，这可能会导致C盘存储空间不足的问题。那么，把软件安装在C盘好还是不好呢？其
转载
2024-04-22 15:20:04
58阅读
docker1 docker简介 Docker 提供了一个可以运行你的应用程序的封套(envelope)，或者说容器。它原本是 dotCloud 启动的一个业余项目，并在前些时候开源了。它吸引了大量的关注和讨论，导致 dotCloud 把它重命名到 Docker Inc。它最初是用 Go 语言编写的，它就相当于是加在 LXC（LinuX Containers，linux
原创
2017-09-28 11:15:03
1186阅读
点赞
3评论
