实验一：熟悉常用的Linux操作和Hadoop操作1.1 实验目的Hadoop运行在Linux系统上，因此，需要学习实践一些常用的Linux命令。本实验旨在熟悉常用的Linux操作和Hadoop操作，为顺利开展后续其他实验奠定基础。1.2 实验平台（1）操作系统：Linux（Ubuntu 16.04） （2）Hadoop版本：3.1.31.3 实验步骤1.3.1 熟悉常用的Linux操作1）cd命
2.8 使用HDFS的Java APIHadoop MapReduce实战手册HDFS Java API可用于任何Java程序与HDFS交互。该API使我们能够从其他Java程序中利用到存储在HDFS中的数据，也能够使用其他非Hadoop的计算框架处理该数据。有时，可能也会遇到要直接从MapReduce应用程序中访问HDFS的用例。但是，如果你是在HDFS中直接通过map或reduce任务写入或修
转载
2023-09-01 08:50:12
36阅读
今天就动手做了。 记录下过程，以期能够多理解一些。 首先加入<parent>spring-boot-start
原创
2022-07-07 09:23:44
92阅读
实验目的要求目的：理解HDFS在Hadoop体系结构中的角色；熟练使用HDFS操作常用的Shell命令；了解Hadoop集群MapReduce程序的简单使用；（上传WordCount的jar执行程序；使用WordCount进行MapReduce计算）要求：完成Hadoop的高可用完全分布模式的安装；Hadoop的相关服务进程能够正常的启动；HDFS能够正常的使用；MapReduce示例程序能够正常
转载
2023-07-24 13:34:19
55阅读
此博客为博主学习总结，内容为博主完成本周大数据课程的实验内容。实验内容分为两部分。1. 在分布式文件系统中创建文件并用shell指令查看；2. 利用Java API编程实现判断文件是否存在和合并两个文件的内容成一个文件。感谢厦门大学数据库实验室的实验教程，对博主的学习有很大的帮助。现在，就让我们一起完成实验内容吧！创建文件我们需要先启动下Hadoop，【Ctrl】+【Alt】+【t】打开终端，输入
转载
2023-07-24 11:26:44
52阅读
大数据编程期末大作业 文章目录大数据编程期末大作业一、Hadoop基础操作二、RDD编程三、SparkSQL编程四、SparkStreaming编程 一、Hadoop基础操作在HDFS中创建目录 /user/root/你的名字 例如李四同学 /user/root/lisi首先我们需要启动hdfs，我们直接在终端输入如下命令：start-dfs.sh我们在终端输入如下命令创建目录：hadoop fs
1.Hadoop是一个分布式系统基础架构，应用于大数据处理。它实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。 2.分布式系统：在一个分布式系统中，一组独立的计算机展现给用户的是一个统一的整体，
转载
2023-07-06 15:19:11
58阅读
纸上得来终觉浅，实操一遍吧！把所有开发的后端服务先在打成镜像.87
原创
2023-06-01 18:27:25
132阅读
上午试了下：spring-boot-starter-web 下午继续： 首先为了学习，就把原来的依赖先去了，只留下：spring-boot-star
原创
2022-07-06 09:43:56
58阅读
纸上得来终觉浅，实操一遍吧！把所有开发的后端服务先在打成镜像，传到私有镜像仓库；然后在任意的远程机器拉取镜像，然后可采用docker或者docker-compose的方式运行，本节先按照docker的方式运行；后面补充docker-compose和k8s的方式运行镜像；问题回答where are we?现状简单的听说过harbor并未实操，不知道里面的坑where are we go? 目标实际使
转载
2021-01-30 10:47:38
306阅读
2评论
纸上得来终觉浅，实操一遍吧！ 把所有开发的后端服务先在打成镜像，传到私有镜像仓库； 然后在任意的远程机器拉取镜像，然后可采用docker或者docker-compose的方式运行，本节先按照docker的方式运行； 后面补充docker-compose和k8s的方式运行镜像； 问题 回答 where ...
转载
2020-12-30 22:23:00
107阅读
2评论
前面分别试了试spring-boot-starter-web,spring-boot-starter-data-jpa 这里再来试试：m
原创
2022-07-07 09:24:36
56阅读
# Hadoop 合并小文件实操
在大数据处理中，Hadoop 是一个广泛使用的框架，它处理PB级别的大数据并提取有价值的信息。在使用Hadoop的过程中，我们常常会遇到一个问题——小文件问题。小文件不仅浪费存储空间，还会降低MapReduce的处理效率。因此，合并小文件是数据预处理的重要环节之一。
## 为什么要合并小文件
1. **存储效率**：Hadoop的HDFS文件系统为大文件而设
关于hadoop的分享此前一直都是零零散散的想到什么就写什么，整体写的比较乱吧。最近可能还算好的吧，毕竟花了两周的时间详细的写完的了hadoop从规划到环境安装配置等全部内容。写过程不是很难，最烦的可能还是要给每一步配图，工程量确实比较大。原计划准备接上一篇内容写dkhadoop的监控页面的参数，突然觉得还是有必要把上两周写的内容做一个汇总，这样方便需要的朋友浏览。上两周写的五篇内容，汇总到一起
1：start-all.sh开启hadoop相关进程2: start-hbase.sh启动hbase3: jps查看启动的进程情况3: hbase shell进入hbase4: list显示所有表http://localhost:16010/master-status5: create ‘rg34’,’f1’,’f2’,’f3’创建rg34表，f1,f2,f3为列族6: describe ‘rg3
在开始之前，你需要做一些事情。 验证支持检查组件引用，以验证您的Kettle7.1版本支持您的MAPR集群版本。 建立MAPR集群Kettle7.1可以连接到安全的和不安全的MAPR集群。配置MAPR集群。如果需要帮助，请参阅MapR的文档。安装任何必需的服务和服务客户端工具。测试群集。 设置MapR客户端 安装MapR客户机，然后进行测试，以确保它正确地安装在计算机上，并且能够连接到MapR集群
转载
2020-07-26 13:15:00
177阅读
2评论
Docker入门实操一、安装级运行docker安装[root@localhost~]#curl-sSLhttps://get.daocloud.io/docker|sh运行```[root@localhost~]#whichdocker/usr/bin/docker[root@localhost~]#dockerversionClient:Version:18.06.0-ceAPIversion:
原创
2018-07-31 14:02:46
2219阅读
点赞
目录1、启动Hadoop服务2、创建文本文件3、上传文本文件4、显示文件内容5、完成排序任务6、计算最大利润和平均利润7、统计学生总成绩和平均成绩8、总结1、启动Hadoop服务在master虚拟机上执行命令： start-all.sh 启动hadoop服务进程2、创建文本文件在master虚拟机上创建本地文件students.txt 李晓文 女 20
张晓航 男 19
郑小刚 男 21
吴文华
Hadoop 序列化案例实操1 需求与分析统计每一个手机号耗费的总上行流量、下行流量、 18271575951 192.168.1
原创
2022-09-15 19:47:27
57阅读
