目录Hadoop的安装与运行1. 笔者所用环境2. 从安装到运行2.1 设置SSH登录权限2.2 安装JAVA环境2.3 安装hadoop2.4 进行伪分布式配置2.5 启动伪分布式hadoop2.6 处理WARN2.7 运行Hadoop伪分布式实例Hadoop的安装与运行 Hadoop的安装大致分为5步：创建hadoop用户（Mac系统就用自己的用户吧，这一步就省略了，免得引起不必要
转载
2023-07-14 16:13:47
327阅读
Windows下的Mysql安装1、去MySQL官网下载MySQL压缩包。2、解压文件。3、配置环境变量。4、在mysql文件夹里面新建mysql的配置。5、启动管理员模式下的CMD，运行所有的命令6、安装MySQL7、安装遇到的问题： 1、去MySQL官网下载MySQL压缩包。1、去MySQL官网下载MySQL压缩包，下载地址为：https://dev.mysql.com/downloads/m
转载
2023-10-15 08:37:57
84阅读
# Hadoop在Linux下的安装与使用
> 作者：[你的名字]
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和处理。由于其高效可靠的特性，Hadoop被广泛应用于大数据领域。然而，Hadoop只能安装在Linux操作系统上。本文将介绍如何在Linux上安装和配置Hadoop，并给出一些简单的示例代码。
## Linux
原创
2023-08-17 08:20:41
119阅读
说明：该文章以4台centos系统为案例配置hadoop基础集群，节点名字分别为hadoop02,hadoop03,hadoop04,hadoop051.基础集群环境准备1.1修改主机名在root用户下：vi /etc/sysconfig/network或者如何配置了hadoop账户的sudo权限，则在hadoop登陆情况下使用命令 sudo vi/etc/sysconfig/network修改
2、安装：解压后，进入目录： D:\soft\redisServer\Redis-x64-3.0.504在这个目录的空白处，按住shift,选择"在此处打开powershell(窗口S)“，打开后，输入： .\redis-server.exe --service-install redis.windows.conf --Service-name RedisServer1 --l
转载
2023-06-21 22:04:00
224阅读
VS2015 OPENCV CUDA CUDA其中有些地方需要修改： CUDA_SDK_PATH C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.2
CUDA_BIN_PATH %CUDA_PATH%\bin
CUDA_LIB_PATH %CUDA_PATH%\lib
本教程是在 Centos6 下使用yum来安装 CDH5 版本的 hadoop 的教程。 如果没有添加yum源的请参考上一个教程：Hadoop架构图 NameNode、DataNode和ClientNameNode可以看作是分布式文件系统中的管理者，主要负责管理文件系统的命名空间、集群配置信息和存储块的复制等。NameNode会将文件系统的Meta-data存储在内存中，这些信息主要包括了文
文章目录Docker简介Docker的应用场景DOCKER的组成虚拟机、容器和镜像概述缺点以及安装必备要求其他容器DOCKER架构及相关概念Docker 架构基础环境准备centos7安装步骤安装前的准备工作安装yum-config-manager修改yum的资源地址为国内卸载旧版本yum安装启动服务DockerCE设置开机自启动二、问题ransaction check error配置镜像加速器
转载
2023-08-23 13:17:32
93阅读
Nginx在Windows和Linux上安装教程一、在Windows上安装Nginx步骤1：官网下载压缩包步骤2：安装Nginx步骤3：验证启动方法1启动方法2步骤4：关闭Nginx二、在Linux上安装Nginx步骤1：环境准备步骤2：在Linux上下载Nginx步骤3：安装Nginx1）使用如下命令解压缩Nginx压缩包2）查看解压后的文件3）进入nginx-1.16.1，并使用 confi
转载
2024-03-25 20:32:12
153阅读
1.在windows下安装：下载对应的nginx包：http://nginx.org/en/download.html在windows下，我们直接加压下载的包，这里我下的是nginx-1.11.10.zip，解压后的路径是我们在cmd命令中启动nginx：在浏览器中输入：http://localhost:80页面展示：说明ngnix启动成功了； linux下安装nginx：nginx想要
转载
2024-02-20 11:16:22
47阅读
Hive的运行需要在Hadoop环境下Hive使用Hadoop，所以：您必须在您的路径中安装Hadoopexport HADOOP_HOME=<hadoop-install-dir>此外，在创建hive表时，必须使用以下命令HDFS创建/tmp和/user/hive/warehouse（又名hive.metastore.warehouse.dir），并设置它们权限chmod g+w&n
转载
2023-07-12 17:58:48
49阅读
在Windows中安装Hadoop操作系统：Windows 10Hadoop版本:hadoop-2.7.3JDK版本：jdk-8u181-windows-x64.exe配置Java环境变量Hadoop底层实现语言是Java，所以我们在运行Hadoop时是需要Java运行环境的。下载好jdk之后按照提示安装，这里就不演示了，安装完成之后在DOS命令窗(运行cmd)输入:java -version看到
转载
2023-10-30 21:54:13
661阅读
# 在Windows上安装Apache Spark的完整指南
Apache Spark 是一个强大的开源大数据处理框架，可以有效地处理大规模数据集。如果你是一名刚入行的小白，想要在 Windows 上安装 Spark，下面将为你提供一个详细的流程和代码示例。
## 安装流程
以下是安装 Apache Spark 的步骤，方便以后参考：
| 步骤 | 描述
Windows下运行Hadoop，通常有两种方式：第一种是用VM方式安装一个Linux操作系统，这样基本可以实现全Linux环境的Hadoop运行。第二种是通过Cygwin模拟Linux环境。后者的好处是使用比较方便，安装过程也简单。在这里咱们就基于第二种方案在Windows下快速安装一个Hadoop环境。 整个安装过程包括以下三大步骤：安装JDK1.6或更高版本安装和配置Cygwin（http
转载
2023-09-07 10:38:42
263阅读
# Dolphinscheduler安装步骤
## 1. 概述
Dolphinscheduler是一个分布式任务调度平台，用于实现大数据任务的自动化调度和运维，可以与Hadoop集群进行集成。在安装Dolphinscheduler之前，需要确认它是否需要安装在Hadoop集群中，以便正确配置环境。
## 2. 流程图
```mermaid
flowchart TD
A[确认Dolphi
原创
2023-12-08 11:55:52
217阅读
# Docker在Windows 2008上的安装与使用
Docker是一个开源的容器化平台，使开发者能够打包、分发和运行应用程序。近年来，Docker在开发者和运维工程师中越来越流行，因为它简化了应用的部署和管理。虽然Docker在现代操作系统上运行良好，但也可以在Windows 2008上安装和使用。本文将介绍如何在Windows 2008上安装Docker，并提供示例代码帮助理解。
##
# Hive 安装与使用指南
Hive 是一个基于 Hadoop 的数据仓库工具，可以用于数据的查询和分析。虽然 Hive 通常与 Hadoop 集群一起使用，但实际上我们可以将 Hive 安装在 Hadoop 集群以外的环境中。这种灵活性使得 Hive 可以处理各种大数据环境。本篇文章将介绍如何在非 Hadoop 环境中安装 Hive，并包含示例代码及相关图示。
## Hive 的非 Had
原创
2024-08-29 04:54:51
183阅读
前言花了近两周的时间学习了scala的语法，然后就迫不及待的想要玩一下spark的开发了。这里先介绍一下spark在windows环境下的安装步骤和方法。因为spark大数据的计算肯定是基于分布式集群的方式才能发挥其巨大的作用，所以，在windows环境下学习大数据，只是纸上谈兵的方式。因为环境的限制，所以只能在现有的电脑上进行大数据的学习，先了解spark的API吧!先把原理搞清楚再深入实践!后
转载
2023-11-03 17:13:09
66阅读
这里
欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
转载
2023-06-25 13:25:36
90阅读
Docker for Windows会默认包含两个引擎containers（linux和windows） 1. 下载Docker for Windows，https://docs.docker.com/docker-for-windows/install/#download-docker-for-windows 2. 查看下是否开启了Hyper-V功能，如果没有可以在“启
转载
2023-08-22 17:41:17
9阅读
