写在学习笔记之前的话：寒假已经开始好几天了，似乎按现在的时间算，明天就要过年了。在家的这几天，该忙的也都差不多了，其实也都是瞎忙。接下来的几点，哪里也不去了，静静的呆在家里学点东西。所以学习一下Hadoop的相关知识，跟自己的研究方向毛关系没有啊，就当自己的兴趣爱好吧。学习目标：（1）掌握Hadoop基本知识，进行Hadoop的HDFS和MapReduce应用开发，搭建Hadoop集群。（2）掌握
转载
2023-08-30 19:24:27
57阅读
1. 下载并解压Hadoop2.x1) 在本地下载压缩包，用rz上传。 2) 解压：sudo tar xfvz Hadoop-2.10.1.tar.gz 2. &nb
转载
2023-07-13 14:36:37
79阅读
可视化窗口、容错机制import docker
import sys
import tkinter
import tkinter.messagebox
import random
import paramiko
import tkinter.font as tkFont
from PIL import Image, ImageTk
from tkinter import ttk
import os
背景分布式的集群通常包含非常多的机器，由于受到机架槽位和交换机网口的限制，通常大型的分布式集群都会跨好几个机架，由多个机架上的机器共同组成一个分布式集群。机架内的机器之间的网络速度通常都会高于跨机架机器之间的网络速度，并且机架之间机器的网络通信通常受到上层交换机间网络带宽的限制。具体到Hadoop集群，由于hadoop的HDFS对数据文件的分布式存放是按照分块block存储，每个block会有多个
转载
2024-02-26 20:51:15
35阅读
（我不是Hadoop专家，也只是一个初学者，这里我也只是就自己的学习体会，站在初学者的角度谈一下如何入门。）
首先我觉得应该思考这样一个问题：Hadoop对于我们来讲，是一种工具，那么Hadoop帮助我们解决了什么问题？或者换个角度想，没有Hadoop，我们做同样一项工作会增加什么任务？（想清楚了这问题，心里就会形成Hadoop到底是什么，能做什么的概念。初学者在最初时候很容易
转载
2024-01-23 22:54:28
47阅读
由于学校开了门大数据的课程，在做实验的时候踩了许多坑，所以将Hadoop安装过程以及踩坑和如何避免踩坑在这里和大家分享一下。这次Hadoop平台的搭建主要是搭建一个三台服务器的集群，采用完全分布式的方式。看本博客前需要将linux系统在虚拟机上搭建好。一、网络配置注：三台服务器都需要配置网络。（也可以采用克隆的方式，但要记得对其他两台机器的网络信息进行修改）还是建议大家每台都操作一遍，熟悉过程
转载
2024-05-21 23:33:36
69阅读
由于小编在本学期有一门课程需要学习hadoop,需要在ubuntu的linux系统下搭建Hadoop环境，在这个过程中遇到一些问题，写下这篇博客来记录这个过程，并把分享给大家。Hadoop的安装方式单机模式:Hadoop默认模式为非分布式模式(本地模式)，无需 进行其他配置即可运行。非分布式即单 Java 进程，方便进行调试伪分布式模式:Hadoop可以在单节点上以伪分布式的方式运行， Hadoo
转载
2024-02-23 11:26:57
17阅读
通常，集群里的一台机器被指定为 NameNode，另一台不同的机器被指定为JobTracker。这些机器是
masters。余下的机器即作为DataNode
也作为TaskTracker。这些机器是
slaves\
官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup
转载
2024-01-09 21:42:09
61阅读
可以只用一行代码来运行MapReduce作业：JobClient.runJon(conf)，Job作业运行时参与的四个实体：
1.JobClient 写代码，配置作业，提交作业。
2.JobTracker:初始化作业，分配作业，协调作业运行。这是一个java程序，主类是Job
转载
2024-08-02 10:32:21
27阅读
本例用4台主机模拟Hadoop高可用+自动切换NameNode(真实环境中的百台、千台主机也是如此配置) 四台主机的hostname分别是node01、node02、node03和node04. 各主机节点在HA中的角色如下： NN表示NameNode DN表示DataNode ZK表示Zookeeper ZKFC表示Zookeeper Failover Controller JNN表
转载
2024-09-12 23:48:09
55阅读
前言这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。第一部分：Linux环境安装第一部分介绍Linux环境的安装、配置、Java JDK安装等。第二部分：Hadoop本地模式安装Hadoop本地模
简单的一句话：让机器从数据中学习，进
原创
2022-07-15 15:20:01
776阅读
文章目录一：机器学习基本概念（1）机器学习定义（2）损失函数二：机器学习范围三：深度学习和人工智能（1）深度学习（2）人工智能四：机器学习算法 一：机器学习基本概念（1）机器学习定义机器学习（ML）：从广义上来说，机器学习是一种能够赋予机器学习的能力以此让它完成直接编程无法完成的功能的方法。但从实践的意义上来说，机器学习是一种通过利用数据，训练出模型，然后使用模型预测的一种方法。机器学习不是基于
转载
2023-09-06 13:45:01
318阅读
一、何为机器学习(Mechine Learning)？答：利用已有数据(经验)，来训练某种模型，利用此模型来预测未来。机器学习是人工智能的核心Mechine Learning。 例如：你和狗蛋儿7点在老槐树下集合，如何一块约去开黑，前两次狗蛋儿都7点10分才到。这两次狗蛋晚到10分钟就是经验。之后你会通过自己的经验判断，下次你会不会出发时晚10分钟，从而利用这10分钟干些有意义的事情。 对于机器学
转载
2023-09-26 19:32:08
94阅读
机器学习的动机与应用数据挖掘与机器学习数据挖掘：英文为data mining，也就是从数据中挖掘出有用的信息。机器学习：因为是machine learning，是计算机科学和统计学的交叉学科，基本目标是学习一个X到Y的函数，来做分类或者回归的工作。联系： 机器学习经常和数据挖掘合在一起讲是因为好多数据挖掘的工作是通过机器学习提供的算法工具实现的。数据挖掘是做什么，机器学习是怎么做。数据挖掘是目标，
转载
2023-09-08 11:17:46
446阅读
机器学习的介绍和相关概念1. 定义机器学习是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能 ——百度百科机器学习(Machine-Learning)是一门让编程计算机从数据中进行学习的一门计算机科学；一个计算机程序在完成任务T之后，获取经验值(结果)E，
转载
2023-09-27 20:25:45
175阅读
最近在研究机器学习，随手将学习的过程记录下来，方面自己的学习与回顾1. 机器学习是什么？ 机器学习(Machine Learning，ML)是专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的一门科学技术。它使用计算机技术，应用微积分、概率论、统计学、信息论、逼近论、凸分析、算法等多种不同的理论与学科，针对分析目标建立有针对性的数据模型
转载
2023-07-27 19:15:47
365阅读
机器学习是多领域交叉学科，涉及概率论、统计学、逼近论，凸分析，算法复杂度理论等多门学科，用来研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能。机器学习定义为探究和开发一系列算法来如何是计算机不需要通过外部明显的指示，而可以自己通过数据来学习，建模，并利用建好的模型和新的输入来进行预测的学科。
转载
2019-08-03 11:39:41
430阅读
顾名思义，机器学习的目的就是让机器具有类似于人类的学习、认识、理解事物的能力。试想一下，如果计算机能够对大量的癌症治疗记录进行归纳和总结，并能够给医生提出适当的建议和意见，那对病人的康复来说，是多么的重要。除了医疗领域，金融股票、设备维护、自动驾驶、航空航天等领域也对机器学习表现出了越来越多的关注。一个典型的机器学习系统可以用下面的图来表示： 其中，系统S是我们
转载
2023-09-22 21:21:53
61阅读
机器学习（Machine Learning）是一种通过从数据中学习来自适应改进预测和决策的人工智能技术。简单来说，机器学习就是通过让计算机自动从数据中学习并不断优化算法模型，从而实现对数据的自动分析、预测、分类和决策等任务。机器学习的定义是什么？机器学习可以用来干什么？机器学习的核心是通过训练数据来学习算法模型，然后将该模型用于新的数据进行预测或分类。在训练过程中，机器学习算法会自动调整模型的参数
转载
2023-10-02 08:47:14
404阅读
