马哥Linux培训小强性能测试&产品经理窝程序人生软件测试技术楚楚熔 岩积善成德,而神明自得软件测试快乐的小窝覃燕子的测试专栏质量保证&产品经理&创业者浅海里的小鱼儿软件测试培训视频青锋笔记
1.MapReduce概述 a.MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. b.MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，非常简单。 c.这两个函数的形参是key、value对，表示函数的输入信息。执行步骤： 1. map
1.RPC 1.1 RPC (remote procedure call)远程过程调用. 远程过程指的是不是同一个进程。 1.2 RPC至少有两个过程。调用方(client)，被调用方(server)。 1.3 client主动发起请求，调用指定ip和port的server中的方法，把调用结果返回给client。 1.4 RPC是hadoop构建的基础。2. 通过例子获得的认识？ 2.1 RPC
HDFS由两个核心部分组成，一个是NameNode，一个是DataNode1.NameNode：是整个文件系统的管理节点 a.维护整个文件系统的目录树（目录结构），文件或目录的元信息(文件或目录的详细描述信息）， 每个文件对于的数据块列表；(文件是以文件块的形式存在的，这儿的文件与文件块的关系也是存放在NameN
注意：当搭建好的hadoop伪分布式环境后，如果关机重新启动了，则需要进行如下三条命令： 1.service network restart(重启网络服务) 2.start-all.sh(启动hadoop文件系统) 3.检查是否启动成功：jps1.Distributed File System
1.设置ip service network restart 重启网卡生效2.关闭防火墙（在hadoop中要使用到许多端口，为了避免麻烦之间对防火墙进行关闭） service iptables stop 关闭防火墙命令 service iptables status查看防火墙状态命令 关闭防火墙的自动运行： &nb
1.hadoop： 作者：Doug Cutting 受Google三篇论文的启发2.版本： Apache： 官方版本（1.1.2），学习使用 Cloudera：在apache版本的基础上添加功能，实现商业用途 Yahoo：现在已经集中在apache的版本上3.hadoop
1.使用远程工具登录linux后，其所在的位置是当前登录用户的主目录或家目录（home directory）,其符号为波浪线（~）；注意：家目录不是跟目录2.linux文件系统是一个树结构，不同于windows系统，其根目录使用斜杠“/”表示 linux系统中使用符号“..”表示返回上一级目录，如：cd ..或cd ../a，符号“.”表示当前目录 linux系统中的路径表
说明：本教程是参考吴超老师hadoop视频教程而整理的学习笔记以下是自学整理笔记，理解并不是很深，我会随着不断的深入学习将学习笔记不断改进，我的QQ号：1652746407说明：我自学的视频网址是：链接：http://pan.baidu.com/s/1eQPjT2i 密码：9pcl***********************************************************
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号
