Hadoop是 Apache 旗下的一个用 java 语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。 特性：扩容能力，成本低，高效 ，可靠性 首次启动 HDFS 时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的 常用端口号nameno
# Hadoop应用开发
## 什么是Hadoop?
Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。它采用了分布式计算的思想，可以在数千台机器上同时运行，以实现高可靠性和高性能。
Hadoop的核心组件包括Hadoop Distributed File System（HDFS）和MapReduce处理模型。HDFS用于在Hadoop集群中存储数据，而MapReduce用
昨天在本本的linux虚拟机上搭了hadoop和hbase，今天弄个程序来跑跑，整个过程中学习了很多东西，享受动手的快乐！
1)下载hadoop-eclipse-plugin-2.2.0.jar
这个就百度下啦
2） 配置Hadoop插件 将下载的hadoop-eclipse-plugin-2.2.0.jar文件放到
HadoopHadoop为何物Hadoop是一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（HadoopDistributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高传输率（h
推荐
原创
2014-03-06 14:32:55
4008阅读
点赞
4评论
JumpServer部署及应用一、简介前面我们聊到了openvpn的部署和使用，它能够实现从互联网通过openvpn连接到公司内网服务器，从而进行远程管理；但openvpn有一个缺点它不能记录哪些用户在内网服务器上操作了什么，拥有客户端的证书和私钥以及ca的证书和客户端配置，就可以直接连接到公司内网，这从某些角度讲不是一个安全的解决方案；今天我们来聊一款和openvpn有类似功能的软件jumpse
转载
2021-01-31 12:18:53
370阅读
简介 CoreOS是基于Chrome OS修改的极简化Linux发行版本（CoreOS只
下载安装官网https://hadoop.apache.org/系统CentOS7这里下载安装的hadoop-3.1.3.tar.gz安装解压路径/opt/module同时配置环境变量#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PAT
本文出自：http://liuyu.blog.51cto.com/183345/80066
1、准备工作
所需要的软件包：
gcc
gd
glibc
httpd
yum install cc
yum install glibc glibc-common
yum install gd gd-devel
httpd 可以参照其它文档
设置 nagios用户 用户组
原创
2011-03-04 09:59:22
476阅读
IT环境部署 && 自动化操作系统安装 COBBLER服务部署 SALTSTACK应用代码部署 saltstack && shell监控
原创
2015-12-19 13:19:29
1798阅读
点赞
1评论
1.基础环境[hadoop@master ~]$ cat /etc/redhat-release
CentOS Linux release 7.2.1511 (Core)
[hadoop@master ~]$
[hadoop@master ~]$ ge
原创
2017-07-09 20:06:49
660阅读
这段时间学习了一些大数据开发的基础知识，这篇学习笔记的主要内容是把这些知识进行回顾和整理。 学习的内容： （1）HDFS （2）YARN （3）MapReduce1. HDFS介绍1.1 Hadoop2定义：Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS，MapReduce，YARN。为海量的数据提供了存储和计算。
Hadoop
HadoopHadoop为何物Hadoop是一个分布式系统基础架构，由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下
0X00 Hadoop介绍和漏洞原理Hadoop是一个由Apache的分布式系统基础架构，用户可开发分布式程序，充分利用集群的威力进行高速运算和存储，实现了一个分布式文件系统(Hadoop Distributed File System)。其中HDFS组件有高容错性的特点，并且部署在低廉的(low-cost)硬件上即可提供高吞吐量(high throu
LEMP架构及应用部署LEMP（Linux-Nginx-MySQL-PHP）网站架构是目前国际流行的Web框架，该框架包括：Linux操作系统，Nginx网络服务器，MySQL数据库，Perl、PHP或者Python编程语言，所有组成产品均是开源软件，是国际上成熟的架构框架，很多流行的商业应用都是采取这个架构，和 Java/J2EE架构相比，LNMP具有Web资源丰富、轻量、快速开发等特点，与微软
原创
2014-09-11 17:40:03
527阅读
一， 1.LAMP平台的构成组件 # linux操作系统：作为LAMP架构的基础，提供用于支撑web站点的操作； # Apache网站服务器：作为lamp架构的前端，是一款功能强大，稳定性好的web服务器程序，该服务 器直接面向用户提供网站访问，发送网页，图片等文件内容； #mysql数据库服务器：作为lamp架构的后端，是一
原创
2015-12-29 23:25:47
458阅读
1、LAMP的构成LinuxApacheMySQLPHP/Perl/PythonLAMP的优势:(1)成本低廉、全部是开源软件(2)可定制、易于开发(3)方便易用、安全和稳定2、编译安装PHP软件(1)准备工作:卸载rpm方式安装的php及相关依赖包rpm-ephp--nodeps(2)安装数据加密工具:libmcryptmhashmcrypt(3)编译安装PHP:cd/mediatarzxfph
原创
2018-01-18 12:27:43
468阅读
LAMP平台部署及应用1、卸载原有的php相关包1、插入redhat6.5的安装光盘，安装zlib-devel和libxml2-devel1、安装扩展工具库（更换光盘）（这里的软件是自己下载的）（全是LAMP的相关软件包）1）安装libmcrypt然后执行make && make install最后优化：1）安装mhash然后执行make && make insta
原创
2018-05-14 17:05:32
416阅读
点赞
介绍Nginx是一款轻量级的HTTP服务器软件，由俄罗斯的IgorSysoev开发。它能够支持高达50000个并发连接数的响应，拥有强大的静态资源处理能力，运行稳定，并且系统资源消耗非常低，现已逐渐被越来越多的用户认可，目前很多大型网站都应用Nginx服务器作为后端网站程序的反向代理及负载均衡器，来提升整个站点的负载并发能力。系统环境：rhel6.5操作系统服务器IP地址：192.168.100.
原创
2018-06-20 15:51:22
2570阅读
点赞
清空yum仓库挂载系统光盘安装依赖程序创建管理组创建用户mysql加入mysql组卸载系统光盘挂载LAMP光盘解压Apache配置Apache配置安装Apache优化命令生成服务控制文件修改服务控制文件添加系统服务设置开机自启解压mysql配置mysql配置安装mysql修改安装目录所属用户和组为mysql生成服务配置文件生成服务控制文件添加系统服务设置开机自启优化mysql命令初始化mysql启
