通过昨天的初步统计，“Hadoop学习方法”、“Hadoop应用案例”和“Hadoop前景”三个方面最受大家关注。在今后的几篇文章中，我将重点介绍这几方面的内容。今天简单介绍一下我是如何学习hadoop的。注意，以下仅是个人经验之谈，大家可借鉴学习，也可以一笑置之。我研二开始接触hadoop，第一个hadoop项目是与华为合作的“商用hadoop原型”，该项目的目标是完善hadoop内核，使其能够
转载
2023-11-08 18:33:39
42阅读
零基础学习hadoop,没有想象的那么困难，也没有想象的那么容易。从一开始什么都不懂，到能够搭建集群，开发。整个过程，只要有Linux基础，虚拟机化和java基础，其实hadoop并没有太大的困难。下面整理一下整个学习过程，给大家一个参考。 首先我们要了解hadoop是什么?Hadoop能够做什么?Hadoop的使用场景是什么?Hadoop和大数据、云计算的关系是什么?如何使用hadoop?当大
转载
2023-08-29 14:07:06
47阅读
概览1. Hadoop Trouble Shooting查看logs, 存储位置等2. Hadoop Administration常见Hadoop管理员面对的问题3. Hadoop Optimization如何根据环境配置，优化hadoop学习如何使用Hadoop自带的工具来产生大数据用于性能测试1.&nb
原创
2022-03-29 18:27:24
190阅读
概览1. Hadoop Trouble Shooting查看logs, 存储位置等2. Hadoop Administration常见Hadoop管理员面对的问题3. Hadoop Optimization如何根据环境配置，优化hadoop学习如何使用Hadoop自带的工具来产生大数据用于性能测试1. Trouble Shootinglogs的存储位置, 根目录的logs文件夹logs按照mach
原创
2021-12-16 14:02:05
682阅读
1. HDFS Architecture 一种Master-Slave结构。包括Name Node, Secondary Name Node,Data Node Job Tracker, Task Tracker。JobTrackers: 控制全部的Task Trackers 。这两个Tracker
转载
2017-07-18 20:07:00
162阅读
2评论
# 自学Hadoop对电脑配置的要求
Hadoop是一个用于存储和处理大规模数据的开源框架，它使用分布式计算来处理数据，因此对于电脑的配置有一定的要求。如果你想自学Hadoop，你需要确保你的电脑符合以下要求：
1. **内存(Memory)**：Hadoop需要大量的内存来处理大规模数据，建议至少16GB的内存。如果你的电脑只有8GB内存，也可以尝试使用Hadoop，但可能会遇到性能瓶颈。
原创
2024-06-01 06:17:55
344阅读
本自学笔记来自于Yutube上的视频Hadoop系列。网址： https://www.youtube.com/watch?v=-TaAVaAwZTs（当中一个） 以后不再赘述 自学笔记，难免有各类错误纰漏。请看者谨慎。 Hadoop的使用还有大数据时代什么的就不说了。Hadoop不是一个单独的工具，
转载
2017-05-26 08:44:00
116阅读
2评论
大数据技术原理与应用——大数据处理架构 Hadoop1.概述（1）Hadoop 简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中Hadoop的核心是分布式文件系统HDFS（Hadoop Distributed File System） 和 M
转载
2023-07-12 14:44:57
127阅读
由于学校是内地的比较搓一所学校，信息闭塞，上课教的也没有什么东西价值（就个人而言），我就自己想去学习一些东西，平时也看一些大牛的博客，发现hadoop这个开源产品在实际企 业中还是有一定用处的，也由于本人我所学习的语言中对java还是有一定的了解，别的课都是打酱油，希望自己能够通过一段时间的学习与了解，加深自己对hadoop这个开源产品的了解，同时也能够提高自己对java语言的理解。下面开始本篇博
转载
2023-10-16 12:44:25
54阅读
1.core-site.xmlfs.defaultFShdfs://192.168.3.61:9820hadoop.tmp.dir/opt/hadoopdata2.pom.xml4.0.0com.qmkjhdfsclienttest0.1hdfsclienttesthttp://www.example.comUTF-81.71.7junitjunit4.11testorg.apache.hadoo
转载
2021-04-29 14:33:45
284阅读
2评论
hadoop3
自学入门笔记(3)-java 操作hdfs1.core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.3.61:9820</value> <...
原创
2022-02-05 09:30:27
164阅读
写入该文件,每行一个,默认localhost(即把本机(namenode也作为数据节点),所以我们在伪分
原创
2023-03-15 08:36:22
146阅读
hadoop3
自学入门笔记(3)-java 操作hdfs1.core-site.xml<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.3.61:9820</value> <...
原创
2021-05-12 12:19:14
280阅读
我的第二个程序#define_CRT_SECURE_NO_WARNINGS1#include<stdio.h>intmain(){inta=10;scanf("%d",&a);printf("%d\n",a);return0;}//数据的输入和输出实现
原创
2021-02-08 12:33:30
302阅读
点赞
Python是一门非常简单的编程语言，而且它的起源也很早，拥有很多开发软件，其中包含代码编辑器、IDE集成环境等，那么学Python下载什么软件呢?推荐这几个不错的软件。VS Code：这是一个免费、开源、跨平台的代码编辑器，由微软自主设计研发，界面风格和VS相似，但没有VS那么庞大臃肿，运行速度快、占用内存少，支持常见的自动补全、代码高亮、语法提示、GIT等功能，安装Python插件后，可以直接
转载
2023-09-20 19:32:54
84阅读
Python语言是一种解释型的，面向对象的计算机程序设计语言，语法简洁清晰，具有丰富和强大的类库。Python软件是一款基于开源的自由软件，源代码遵从GPL协议。Python语言应用广泛，TIOBE编程语言排行榜显示最近几年，Python语言热门程度上升。Python3版本软件逐渐普及，Python2和Python3版本软件不兼容，软件版本选择适合自己的就行。软件下载时要匹配对应位数的相关操作系统
转载
2023-08-09 15:29:52
65阅读
一、关于自学Python，个人最大的3点经验：1、找一本浅显易懂，例程比较好的教程，从头到尾看下去。 不要看很多本，专注于一本。把里面的例程都手打一遍，搞懂为什么。我当时看的是《简明python教程》，不过这本书不是非常适合零基础初学者。零基础推荐《与孩子一起学编程》，或者看我写的教程 Crossin的编程教室 - Python入门。2、去找一个实际项目练手。 我当时是因为要做一个网站，不得已要学
转载
2023-06-19 22:00:43
91阅读
前面那几天是在找大数据的门,其实也是在搞一些linux的基本命令,现在终于轮到hadoop了。
原创
2023-03-15 07:57:27
121阅读
我们学习完java的基础后，会感到自己学习到了很多的知识，但是这些知识都是非常的抽象的。虽然学的挺多的，但我们更加需要的是操作，将这些知识通过练习与理解，让它变成自己的一部分。 刚开始学习时，课本上的代码只依靠自己是完全写不出来的，照本宣科的把课本上的代码打一遍是没有用的，只有先将代码理解一遍，然后自己摸索着写几遍，不知道怎么写了就再看看课本上是怎么写的，知道你能够脱离课本，完全依靠自己
转载
2023-08-29 07:46:28
79阅读
一.从基础开始学习真理java知识体系内容1.配置。对于初学者来说，配置虽然麻烦，但是是理解和熟悉java思想，以及帮助理解后期使用springboot等轻量话配置是怎么样一步一步优化过来的。（1）环境变量：下载好JDK后（常用1.8版本）。配置环境变量：单击"计算机-属性-高级系统设置"，单击"环境变量"。新建->变量名"JAVA_HOME"，变量值"C:\develop\Java\jdk
转载
2023-08-29 22:01:32
68阅读
