新年，公司开始建设大数据中心项目，因此架构组需要对相关技术进行研究。原先对大数据相关技术已有耳闻，但是实际项目没用，很少去深入关注。这里先把一些技术的理解记一下：
1.hadoop 我的理解是一个大数据处理框架，包括了hdfs, hbase, yarn, hive, zookeeper等一堆技术，其中的处理算法是MapReduce.
2.hdfs 是海
转载
2024-01-11 17:20:09
70阅读
MapReduce目录 &
转载
2024-04-01 09:40:19
204阅读
一.大数据的特点大数据是什么？其实很简单，大数据其实就是海量资料巨量资料，这些巨量资料来源于世界各地随时产生的数据，在大数据时代，任何微小的数据都可能产生不可思议的价值。大数据有4个特点，为别为：Volume（大量）、Variety（多样）、Velocity（高速）、Value（价值），一般我们称之为4V。所谓4V，具体指如下4点：1．大量。大数据的特征首先就体现为“大”，从先Map3时代，一个小
# Hadoop心得体会
## 简介
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的分布式存储和处理。在学习和使用Hadoop的过程中，需要掌握以下几个步骤。
## Hadoop学习流程
| 步骤 | 描述 |
| --- | --- |
| 1 | 安装Hadoop |
| 2 | 配置Hadoop |
| 3 | 编写Hadoop程序 |
| 4 | 运行Hadoop程序
原创
2023-07-23 16:05:40
390阅读
hadoop学习笔记初识hadoop数据越来越多，数据的增长越来越快，存储和分析这些数据成为挑战！数据的存储和分析当数据量逐渐变大时，单个磁盘的读写速度成为瓶颈。解决办法是，将数据分散存储，通过并行读取提高读写数据。 要达到这种目的，面临的2个问题：硬件故障，通过备份机制冗余存储数据并行读取后，正确的合并数据hadoop的hdfs和mapreduce为这两个问题提供了解决方案。关系型数据库为什么
转载
2023-08-10 14:29:10
351阅读
实训的时候想要采用Hadoop中的Hbase作为缓存层，因此在这里写一点关于Hadoop的随笔。第一章 Hadoop Hadoop是一个开源的分布式计算平台，核心包括分布式文件系统HDFS和并行运算方法MapReduce。1.1 关于Hadoop1.1.1 Hadoop 特性高可靠性、高容错性高效性高可扩展性成本低运行在Linux平台上支持多种编程语言1.1.2 Hadoop
转载
2023-12-29 23:53:46
202阅读
前言 hadoop学习心得 今天主要学了关于Hadoop中hdfs的一些操作 提示：以下皆为本人学习心得，不能保证正确，欢迎大神指点交流。一、HDFS1、HDFS简介HDFS（Hadoop Distributed File System），是一个分布式文件系统，用于存储文件，通过目录树来定位文件。 HDFS适合一次写入、多次读取的场景，且不支持文件的修改。一般用于做数据分析，而不适合用作网盘
转载
2023-06-08 10:44:44
1518阅读
这几天感冒生病，终于有点起色了，就来这里看看，没想到发生了翻天覆地的变化，我热衷于学习的Hadoop，我来了。 学了这么长时间的Hadoop，就说下我的感受吧。 说起H
转载
2024-07-03 01:59:54
65阅读
1. 场景： 现在人产生数据越来越快，机器则更快，所以需要另外的一种处理数据的方法。 硬盘容量增加，但是性能没跟上，解决办法是将数据分到多块硬盘，然后同时读取。 问题: 硬件问题 -- 复制数据 解决(RAID) 分析需要从不同的硬盘读取的
转载
2024-01-20 20:34:16
38阅读
Hadoop阶段学习总结第一部分：HDFS相关问题一、描述一下HDFS的数据写入流程 首先由客户端想NameNode服务发起写数据请求，NameNode接收到请求后会进行基本验证，验证内容包括对请求上传的路径进行合法验证其次还要对请求的用户进行权限验证。验证没有问题后，NameNode会响应客户端允许上传。接下来客户端会对文件按照blocksize大小进行切块，切完块后依次以块为单位进行上传。此时
转载
2023-07-20 17:51:04
2785阅读
在这篇博文中，我将与大家分享我在安装Hadoop过程中的心得与体会。作为一款流行的开源大数据处理框架，Hadoop的安装虽然并不复杂，但在细节上的处理以及配置的优化却需要一些经验。接下来，我将从环境准备、分步指南、配置详解、验证测试、优化技巧和排错指南等几个方面详细阐述。
### 环境准备
在开始安装Hadoop之前，我们需要先了解系统的软硬件要求。这对于确保系统的稳定性和高效性至关重要。
# Hadoop实验心得体会
## 介绍
Hadoop是一个基于分布式计算的开源框架，被广泛应用于大数据处理和分析。本文将从实验角度出发，介绍Hadoop的一些基本概念和使用方法，并附带代码示例。
## Hadoop架构
Hadoop的核心组件包括Hadoop分布式文件系统（HDFS）和MapReduce计算框架。HDFS是一个设计用于存储大数据文件的分布式文件系统，而MapReduce则
原创
2023-07-31 17:27:47
487阅读
# 学习Hadoop心得体会
## 1. 简介
本文将帮助刚入行的开发者实现学习Hadoop的心得体会。Hadoop是一个开源的分布式计算系统，用于处理大规模数据集。通过学习Hadoop，开发者可以掌握分布式计算的基本原理和技术，提高数据处理和分析的能力。
## 2. 学习流程
以下是学习Hadoop的流程，可以用表格形式展示：
| 步骤 | 内容 |
| ---- | ---- |
|
原创
2023-09-06 07:52:06
409阅读
目录pandas1.pandas的基础概念2.pandas和numpy的区别3.pandas的数据结构4.series相关操作5.DataFrame6.pandas读取外部数据7.pandas关于nan的处理pandas1.pandas的基础概念 pandas，python+data+analysis的组
无论什么方向，什么语言，都去多动手，多实践，不要什么都学，什么都不深入，选择好自己的兴趣所在。学到一定程度可在网上接些小项目进行锻炼，多与群里的优秀学姐，学长交流，看看自己的差距。进入创新工作室只是一个开始，你们要走的路还很长，也许你们在班级中比较突出，但离真正的优秀还差很远，希望各位新加入的同学能将工作室的精神与优秀继承下去。下面是一些推荐的书籍：
原创
2012-08-07 14:27:06
1338阅读
今日借酒劲，写一些心得体会，人生感悟，有点夸张，实际上是试试新键盘的性能而已......
原创
2016-03-19 02:50:57
998阅读
第一次心得体会 这周正式的上了python课，目前对于python的了解有：python是现代社会挺重要的编程的一种，相比于第一学期学的C语言，给我感觉他省略了许多，更加简洁了。它是我们老师所说的工具的一种，相较于理论知识，它与我们平时生活联系更加紧密，更加能够学以致用。也通过课程了解到了，pyth ...
转载
2021-09-05 23:54:00
1738阅读
2评论
人生苦短，我用python。 学生对这门课程很感兴趣 会用心去学好 ...
转载
2021-09-05 22:31:00
517阅读
2评论
新手来袭
原创
2023-07-12 21:58:31
93阅读
JAVA心得体会
1,对java的认识，在大一下学期接触java语言，对java是模糊的，没有具体的概念。java语言涉及到C语言的知识，它是另一种类似于C语言但有所不同，需要对C有一定的基础，我因大一没有学好C语言，对java的学习很吃力，对它不是那么很感兴趣，也学得不是太好。幸运的是这学期又开java的语言的实训，我重新对java又系统的学习一次，慢慢的懂得关于java语言的知识，这让
转载
2023-08-29 21:58:01
248阅读
