一，hadoop介绍
hadoop 是apache 的开源软件，用于分布式任务计算，包括mapreduce（首先由谷歌提出，并应用） 分布式计算框架和hdfs 文件系统两部分。hadoop 让开发人员在不了解底层细节的情况下，轻松开发分布式应用。
二，hadoop job提交流程
1）JobClient 运行Job 任务
JobClient.run
词频统计 1.下载喜欢的电子书或大量文本数据，并保存在本地文本文件中 2.编写map与reduce函数 3.本地测试map与reduce 4.将文本数据上传至HDFS上 5.用hadoop streaming提交任务hadoop jar $STREAM \
-f
转载
2023-06-28 18:38:26
89阅读
出于种种原因，想要搭建一个小集群，来搞搞数据处理。
实践环境：
ubuntu10.04+jdk1.6.20+hadoop-0.20.2+zookeeper3.3.4+hbase0.90.6
本来是准备好了三台机器，结果后面一台挂了，所以只有两台了=。=
机器名
Ajax就是最近被谈论的比较多的东西。其实，在很久以前我在一个项目中就简单地使用过这种技术，最近在很多地方被提起所以我也全面的学习了这方面的东西。 很多概念网上都有，我会在下面的资料中列出Ajax相关的资源。下面我们就通过实例来说明Ajax给我们带来的方便。我们的例子是通过输入一个城市的区号，页面不刷新就能知道该城市名<?xml version="1.0"
推荐
原创
2005-11-14 16:04:00
1834阅读
2评论
在大数据处理框架不断更新和优化的过程中，Hadoop和Spark之间既有竞争关系，也有相互协同的需求。比方说Hive和Spark，在一段时间内，很多人认为Spark会代替Hive，作为Hadoop的数据仓库，Hive真的已经落后了吗？ 这种说法我们是不赞同的，因为作为数据仓库来说，Hive和Spark之间，Spark真的没有压倒性的优势，下图我们做了一个对比—— 由上图
转载
2023-07-12 11:54:33
55阅读
我的例子是运行3台虚拟机master：192.168.27.100 slave1：192.168.27.101 slave2：192.168.27.102一、代码和文件传入hadoop中代码运行需要foodmart.txt文件，和代码一起打包如下链接中：链接：说明文档和代码 提取码：o1re代码如下：//package com.ghgj.mazh.mapreduce.wc.demo1;
imp
转载
2023-09-14 08:15:59
49阅读
Spring的简单应用实例 先定义一个接口human，[code] 1. public interface human{ 2blic...
原创
2023-04-26 12:53:04
74阅读
这段时间学习了一些大数据开发的基础知识，这篇学习笔记的主要内容是把这些知识进行回顾和整理。 学习的内容： （1）HDFS （2）YARN （3）MapReduce1. HDFS介绍1.1 Hadoop2定义：Hadoop是Apache软件基金会旗下的一个分布式系统基础架构。Hadoop2的框架最核心的设计就是HDFS，MapReduce，YARN。为海量的数据提供了存储和计算。
Hadoop
转载
2023-09-20 10:44:19
89阅读
一、HDFS的Shell介绍Shell在计算机科学中俗称“壳”，是提供给使用者使用界面的进行与系统交互的软件，通过接收用户输入的命令执行相应的操作，Shell分为图形界面Shell和命令行式Shell。文件系统（FS）Shell包含了各种的类Shell的命令，可以直接与Hadoop分布式文件系统以及其他文件系统进行交互。常用命令如下 二、案例-Shell命令 &nb
随着互联网电子邮件的普及，postfix也异军突起；而让你的postfix能工作于多用途、安全、快速、方便等高级应用还有待于学习，有待于更进一步的应用；
本文的postfix多实例应用将会为初学者提供帮助，希望我们共同学习研究一个好的邮件服务软件；
推荐
原创
2010-09-29 14:08:51
8502阅读
点赞
7评论
# 神经网络简单应用实例
## 一、整体流程
为了帮助你理解神经网络的简单应用实例，我将按照以下步骤进行讲解：
| 步骤 | 操作 |
| ------ | ------ |
| 1 | 导入必要的库 |
| 2 | 准备数据集 |
| 3 | 构建模型 |
| 4 | 编译模型 |
| 5 | 训练模型 |
| 6 | 模型评估 |
| 7 | 进行预测 |
接下来，我会逐个步骤进行讲解
原创
2023-09-05 07:38:02
74阅读
本文的内容主要来自于斯坦福大学FeiFei-Li的CS231n课程，Lecture10，在这里做一个简单的总结，有兴趣的同学可以去看一下这个课程，讲的很好。1. RNNRNN的用途：RNN主要用于序列处理，比如机器翻译，这种输入输出序列之间具有高度的相关性，RNN可以model这种关系，总结一下，按照输入输出的类型，RNN可以做以下几个事情：举几个例子： one-to-one: CNN one
# Java前后端应用简单实例教程
作为一名刚入行的开发者，你可能对如何实现一个Java前后端应用感到困惑。本文将为你提供一个简单的实例，帮助你快速入门。
## 1. 项目流程概览
首先，让我们通过一个甘特图来了解整个项目的流程。
```mermaid
gantt
title Java前后端应用开发流程
dateFormat YYYY-MM-DD
section
<%@ page contentType="text/html; charset=gb2312" %> <html> <body> <% int i,j,k; // 声明一个5行6列的二维数组 int intArray[][]=new int[5][6]; k=0; // 数组赋初始值 for(i=
转载
2016-03-08 11:19:00
65阅读
2评论
主从结构：在一个集群中，会有部分节点充当主服务器的角色，其他服务器都是从服务器的角色，当前这种架构模式叫做主从结构。 主从结构分类： 1、一主多从 2、多主多从 Hadoop中的HDFS和YARN都是主从结构，主从结构中的主节点和从节点有多重概念方式： 1、主节点 从节点 2、master slav
转载
2023-01-16 15:53:45
56阅读
1目的及要求基于Hadoop平台，实现广度优先搜索(BFS)的Mapreduce算法找到图中两个点的最短路径。给定一个图<V，E>（采用邻接列表输入文件格式：源节点ID，相邻节点ID，源节点到相邻节点的距离），基于MapReduce的方式，采用广度优先搜索(BFS)找到两个顶点的最短距离。 2实验环境本实验基于虚拟机环境，所采用的软件及其版本如下：虚拟机软件：Oracle V
转载
2023-06-14 22:23:10
115阅读
1. Hadoop的HA机制 前言：正式引入HA机制是从hadoop2.0开始，之前的版本中没有HA机制1.1. HA的运作机制（1）hadoop-HA集群运作机制介绍 所谓HA，即高可用（7*24小时不中断服务） 实现高可用最关键的是消除单点故障 hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA （2）HDFS的HA机制详解
转载
2023-07-12 13:43:52
52阅读
