目录一、第一关_等价类划分任务描述相关知识什么是等价类划分法等价类划分的意义编程要求测试说明代码 第二关、边界值求法任务描述相关知识什么是边界值法边界值的选择原则编程要求测试说明代码 一、第一关_等价类划分任务描述本关任务：编写代码，使用等价类划分法进行黑盒测试。相关知识为了完成本关任务，你需要掌握等价类划分法。什么是等价类划分法想要弄清楚等价类划分法，首先需要理解什么是等价类
转载
2024-05-04 19:58:36
117阅读
Java头歌实践-抽象类和接口学习-Java继承和多态之abstract类任务描述本关任务：根据所学知识，完成抽象类的定义与使用。相关知识Java 语言提供了两种类，分别为具体类和抽象类。前面学习接触的类都是具体类。这里介绍一下抽象类。在面向对象的概念中，所有的对象都是通过类来描绘的，但是反过来，并不是所有的类都是用来描绘对象的，如果一个类中没有包含足够的信息来描绘一个具体的对象，那么这样的类称为
修改IP的文件vim /etc/sysconfig/network-scripts/ifcfg-ens33#修改之后的配置文件
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static #staric表示静态ip，dhcp表示哦动态IP
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
转载
2024-09-27 07:36:15
47阅读
第1关：HDFS的基本操作任务描述相关知识HDFS的设计分布式文件系统NameNode与DataNodeHDFS的常用命令编程要求测试说明任务描述本关任务：使用Hadoop命令来操作分布式文件系统。相关知识为了完成本关任务你需要了解的知识有：1.HDFS的设计，2.HDFS常用命令。HDFS的设计分布式文件系统客户：帮我保存一下这几天的数据。程序猿：好嘞，有多大呢？客户：1T。程序猿：
转载
2024-08-28 19:31:13
215阅读
本次实战项目一共分三篇教学（二三篇后续更新）第一篇：对主播文本数据的清洗，从大量数据中获取我们所需要的数据（如播放量，时长等）第二篇：对清洗后的数据进行统计求和处理操作，按照主播id号依次整齐显示第三篇：对统计好的数据进行TopN展示的操作，排序规则可自定义（如播放量，分数数量），N的大小也可以自定义更多MapReduce设计案例地址：https://github.com/yuanprogramm
转载
2024-04-12 13:42:07
605阅读
1：堆和栈的区别，什么时候用堆什么时候用栈？
2：树的深度优先搜索算法
按照某种条件往前试探搜索，如果前进中遭到失败（正如老鼠钻迷宫老鼠遇到死胡同）则退
回头另选通路继续搜索，直到找到条件的目标为止。
3：广度优先搜索算法
宽度优先搜索算法（又称广度优先搜索）是最简便的图的搜索算法之一，这一算法也是很多
重要的图的算法的原型。Prim 最小生成树算法采用了和宽度优先搜索类似的思想。其别
转载
2024-05-21 09:51:12
27阅读
HDFS的基本概念1、HDFS前言（1）设计思想 分而治之：将大文件、大批量文件，分布式存放在大量服务器上，以便于采取分而治之的方式对海量数据进行运算分析（2）在大数据系统中作用 为各类分布式运算框架（如：mapreduce，spark，tez，…）提供数据存储服务（3）重点概念 文件切块，副本存放，元数据2、HDFS的概念和特性概念： （1）它是一个文件系统，用于存储文件，通过统一的命名
Linux的使用搭建hadoop环境host网络模式，主机能上网，虚拟机也是不能上网的。net模式，桥接模式虚拟机安装。在虚拟机中进行linux系统安装很简单。（下载虚拟机软件，安装分分钟的事-》只要下好了，下对了linux版本，安装linux系统，分分钟的事。） ps:linux镜像文件.iso,有时候分为多个部分，所有要把所有部分下完。如：linux cento ***1of2,linux
从零开始pdf文档：链接:https://pan.baidu.com/s/1A0NOPCRyf7rJZEe3KNKfjQ 密码:dmsw 说明：# 说明:
1.教程中出现字体**加粗和加红**的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多.
2.本教程主要引导同学进行hadoop 2.x版本的
转载
2024-07-23 10:52:01
56阅读
第1关：快递费用计算本关任务：编写一个计算机快递费的程序。上海市的某快递公司根据投送目的地距离公司的远近，将全国划分成5个区域：快递费按邮件重量计算，由起重费用、续重费用两部分构成：（1） 起重（首重）1公斤按起重资费计算（不足1公斤，按1公斤计算），超过首重的重量，按公斤（不足1公斤，按1公斤计算）收取续重费； （2） 同城起重资费10元，续重3元/公斤； （3） 寄往1区（江浙两省）的邮件，起
转载
2024-04-30 20:11:19
543阅读
概述：HDFS即Hadoop Distributed File System分布式文件系统，它的设计目标是把超大数据集存储到分布在网络中的多台普通商用计算机上，并且能够提供高可靠性和高吞吐量的服务。分布式文件系统要比普通磁盘文件系统复杂，因为它要引入网络编程，分布式文件系统要容忍节点故障也是一个很大的挑战。设计前提和目标 专为存储超大文件而设计：hdfs应该能够支持GB级别大小的文件；它应该能够提
转载
2024-09-03 21:12:28
38阅读
如何搭建hadoop集群1.主机名和对应IP的映射打开hosts文件vi /etc/hosts添加主机名和对应ip127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost
转载
2024-04-12 15:12:45
330阅读
1.0 简要描述如何安装配置apache的一个开源hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。答：第一题：1使用root账户登录2 修改IP3 修改host主机名4 配置SSH免密码登录5 关闭防火墙6 安装JDK6 解压hadoop安装包7 配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ， hdfs-si
转载
2024-05-11 23:18:07
57阅读
文章目录一、实验环境二、实验内容（一）数据准备（二）编程环境准备（三）使用Hadoop API操作HDFS文件系统（四）使用Hadoop API + Java IO流操作HDFS文件系统三、实验步骤（一）数据准备（二）编程环境准备1、启动IDEA2、创建Maven项目3、添加项目依赖（三）使用Hadoop API操作HDFS文件系统1、获取文件系统并配置在集群上运行2、创建目录3、上传文件4、下载
转载
2024-06-25 19:09:52
582阅读
安装好JDK(java development Kit)之后，就是尝试经典的”helloworld”了。 学习资料，书籍《head first – java》,视频“圣思园”张龙主讲的。主要是由文件名与类名的一致性，引出的java中修饰符的作用域问题。helloworld.javapublic class helloworld{
public static void main(Stri
转载
2024-05-15 14:20:51
48阅读
一面（1h30min）一开始看了我的简历里有关于hadoop的项目经历，所以一开是问了hadoop相关的问题1 问：先介绍以下hadoop的简单原理答：map从hdfs获取数据，处理成键值对，然后可以经过shuffle进行初步的reduce处理，然后经过一定的算法发送给reduce，进行整合处理，最后输出到hdfs上。2 你们在做这个项目的时候处理了多大的数据，用了多长时间，有没有遇到过什么会让程
转载
2024-05-01 13:19:36
479阅读
目录一、分布式文件存储1.分布式文件存储的由来2.常见的分布式存储框架二、FastDFS介绍三、FastDFS安装1.拉取镜像文件2.构建Tracker服务3.构建Storage服务4.测试图片上传四、客户端操作1.Fastdfs-java-client1.1 文件上传1.2 文件下载2.SpringBoot整合 一、分布式文件存储1.分布式文件存储的由来 在我们的项目中有很多需要存储的内容出
启动hadoopcd /usr/local/hadoop
./sbin/start-dfs.sh在浏览器中打开localhost:50070找到进入 操作1）新建文件夹 在根目录下新建msq文件夹./bin/hdfs dfs -mkdir /msq 查看2）本地上传文件 将media/sf_gx(我的共享文件夹的位
转载
2019-11-02 12:14:00
624阅读
1.解决hash冲突的方法分离链接法( 链地址法 拉链法)未冲突的情况下，直接将值存储在数组中，数组的每一个位置都是一个 链表的头节点，一旦发生冲突（即原有的位置已经有值了）立刻将以由冲突的链表尾节点指向现有值。
开放定址法（探测散列表）开放地址法一般会有一个探测算法，当前位置被占用时，根据探测算法计算寻找下一个空的位置。 以最简单的线性探测算法为例：当位置被占用时，继续往下走，直到找到下一个没被
转载
2024-05-07 15:14:42
448阅读
上次已经编译好了64位的hadoop可执行文件，现在正式开始安装hadoop。 一.先准备三台服务器，一台主节点，2台数据节点，分别装上系统，我这里用的系统是centos7.0-minimal 版本。在这里需要注意的是，在格式化硬盘时，创建swap区。 二.安装jdk，此处使用jdk1.7；
转载
2024-03-11 11:53:51
682阅读
