在Hadoop中一个作业被提交后，其后具体的执行流程要经历Map任务的提交中间结果处理，Reduce任务的分配和执行直至完成这些过程，下面就是MapReduce中作业详细的执行流程图（摘自《Hadoop实战》）。 在整个过程中，客户端中，编写MapReduce代码，配置并提交作业；JobTracker中负责初始化作业，分配作业，与TaskTracker进行通信，协
转载
2023-08-11 12:10:59
134阅读
InputFormat数据输入Job提交流程和切片源码详解waitForCompletion()
submit();
// 1建立连接
connect();
// 1）创建提交job的代理
new Cluster(getConfiguration());
// （1）判断是本地yarn还是远程
initialize(jobTrackAddr, conf);
// 2 提
转载
2024-10-12 14:30:08
44阅读
虽然hadoop经历了多年的发展，作为技术人员都或多或少的使用过或者了解过。这里还是做一个简单的总结，主要原因是之前主要是做hadoop的开发，对hadoop的运维知之甚少，但真正的接触到hadoop运维的工作的时候，其实会发现，对hadoop的一整套框架和理论知识都需要系统的学习，才能把工作做得更好，同时做基于hadoop的数据分析工作的时候，也时常会涉及到一些hadoop参数的调优。因此，在这
转载
2024-04-23 22:21:19
30阅读
小小的原因，中间看了些东西，但没有时间整理。今天整理如下：小结（1）中对Google的云平台三大技术发表了一些粗浅的认识。这篇文章里，我们回来认识下Hadoop ： Hadoop原来是Apache Lucene下的一个子项目，它最初是从Nutch项目中分离出来的专门负责分布式存储以及分布式运算的项目。简单地说来，Hadoop是一个可以更容易开发和运行处理大规模数据的软件平台。下面列举hadoop主
转载
2023-11-08 18:40:53
64阅读
Hadoop 集群安装部署及新增服务器节点(详细)： 文章目录Hadoop 集群安装部署及新增服务器节点(详细)：前言**Hadoop特点**Hadoop能做什么安裝部署1.引入库一、设置主机名二、添加公钥(`三台centos服务器互相添加公钥!否则入坑`)三、安装jdk四、上传Hadoop 包到指定目录 /opt/module/五、配置循环复制脚本制作六、集群配置集群部署规划：七、修改配置文件
转载
2023-08-21 15:46:24
136阅读
云计算于大数据入门 —— 环境安装本教程采用厦门大学数据库实验室的林子雨老师的同等开发环境： 所需软件及环境所有文件整合的安装包我会放在文末本案例所涉及的系统及软件Linux系统(Ubuntu16.04或14.04或18.04)，这里使用 Ubuntu 20.04.5 LTS 系统进行安装MySQL(版本无要求)，这里使用清华大学镜像源中的默认版本Hadoop(2.7.1或2.7.3，
转载
2023-07-24 10:55:41
244阅读
1.学习使用组件库element ui ； 学习使用后台管理框架（vue-admin）
原创
2023-05-06 11:51:48
217阅读
工作5年半了，自夸地庆幸下，终于有点“起色”了。这样的“起色”虽然并没给我带来多大的经济收益，但让我明确了下一个五年和十年自己可以发展的方向和目标是什么。我觉得还是按“套路”说出我的想法更简单，不然，朋友们会看晕的。我首先要感谢的是企业家余世维先生！大学期间，从同学共享那里拷贝了他的讲座，我看的第一部是《如何塑造管理者的人格魅力》，他从人的七个“根性”描述了一个领袖应该具备的基本要素，受益匪浅，接
原创
2017-01-21 22:15:27
2974阅读
点赞
3评论
时光荏苒，不留情面地要剥夺我的软件工程方面的再造之路。时间又是如此地冷酷的公平，不可能让我永远淋沐着王建民老师的谆谆
原创
2024-01-11 15:30:18
66阅读
ResNet可以说是我认真读过的第一篇paper，据师兄说读起来比较简单，没有复杂的数学公式，不过作为经典的网络结构还是有很多细节值得深究的。因为平时不太读英文文献，所以其实读的时候也有很多地方不是很懂，还是搜了很多博客，所以我准备结合paper将读到的内容做一下总结。 一、为什么要引入ResNet ...
转载
2021-03-12 18:11:00
974阅读
2评论
1、fixed支持ie7以上，relative、fixed、absolute支持width:100%;height:100%;2、CSS中的RGBA、HSL、HSLA支持ie9以上浏览3、直接给未声明变量赋值在ie8下面会报错city = document.getElementById("input
转载
2017-07-16 13:04:00
218阅读
2评论
在软件开发技术人才的需求量越来越大，网络传播途径越来越普及与广泛的时代，将两者结合产生的增益一定是非常显著的。我经历了传统学校授课、培训机构一对多或一对一模式授课以及网络视频授课等各个阶段，对此显然是有一定发言权的。我的技术方向主要是Java企业级开发，从事过多年的软件开发工作，也担任过培训讲师的工作，
原创
2015-06-12 09:59:50
668阅读
1、数据采集1.1、创建scrapy爬虫项目scrapy startproject qcwy_spider1.2、创建爬虫文件scrapy genspider job51 51job.com1.3、编写items.py文件# -*- coding: utf-8 -*-
# Define here the models for your scraped items
#
# See document
转载
2024-08-22 16:39:16
66阅读
2020年，应该是一个全新的开始， 静下心来思考一下自己在做什么
原创
2022-03-15 11:51:18
73阅读
学习编程是一个渐变的过程，1年精通，3年熟悉，8年入门，10年懵逼，15年颈椎康复指南，30年灰飞烟灭。老板或者客户：什么需求我不清楚，想要什么效果也不知道，但是你做出来什么是我不想要的，这个我很清楚！杀死一个程序员很简单，改几次需求就可以了！一个控件从0到基本可用，如果差3条街的话，从可用到好用，还差着30条街。控件如此，软件系统亦如此。一行代码，1块钱，知道怎么写，100块钱。好比医院...
原创
2021-06-04 21:26:53
9871阅读
2020年，应该是一个全新的开始， 静下心来思考一下自己在做什么。想一想自己2019年，完成了什么flag，有多少flag又倒下了。
在19年深刻地认识到了自己只是一个及其平凡的人。虽然自己有一些想法，自己拥有什么梦想，自己对未来还有一些憧憬，但是19年这一年，我应该成长了不少，对自己的认识也更加深刻了。抛开那些不切实际的幻想，我还是有很多暂时不太可能会实现的想法，我仍然可以随意的写
原创
2021-07-12 11:40:51
141阅读
学习编程是一个渐变的过程，1年精通，3年熟悉，8年入门，10年懵逼，15年颈椎康复指南，30年灰飞烟灭。老板或者客户：什么需求我不清楚，想要什么效果也不知道，但是你做出来什么是我不想要的，这个我很清楚！杀死一个程序员很简单，改几
原创
2022-03-18 17:38:24
97阅读
时间过得飞快，转眼已经是2020年的第三天了，回顾2019年，我给自己的年终关键词是：尽力。这是我作为开发工程师的第二年，虽然Title是SE(SoftwareEngnieer)，但主要的工作内容是产品的构建和发布以及CI/CD/DevOps的落地（自称打杂）。流水的记录一下2019年发生在工作上的“成绩”。2019年在工作中除了完成日常产品构建、发布、Git管理、VM管理等，尝试在构建和发布自动
原创
2021-03-12 22:44:58
90阅读
