介绍
Hadoop Distributed File System，简称HDFS
[1]，是一个
分布式文件系统。HDFS有着高
容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问
应用
转载
2024-10-12 12:15:45
40阅读
22.combineByKey def combineByKey[C](createCombiner: V => C,
mergeValue: (C, V) => C,
mergeCombiners: (C, C) => C,
partitioner: Partitioner,
mapSideCombine: Boolean
Spark 作业调度概述Spark有几个在计算中调度资源的工具。首先需要记得，正如集群模式概述中描述的那样，每个Spark应用中（SparkContext实例）都运行着一组独立的执行进程。Spark运行在的集群管理器提供了应用间调度的工具。第二，在每个Spark应用中，由不同线程提交的多个“jobs”（Spark actions）可以同时运行。在处理网络请求的应用中这很常见，比如Shark服务器就
转载
2024-01-28 05:23:30
101阅读
1.选取三台服务器（CentOS系统64位） 114.55.246.88 主节点 114.55.246.77 从节点 114.55.246.93 从节点 之后的操作如果是用普通用户操作的话也必须知道root用户的密码，因为有些操作是得用root用户操作。如果是用root用户操作的话就不存在以上问题。 我是用root用户操作
转载
2024-09-17 21:37:56
76阅读
对于Hadoop来说，最主要的是两个方面，一个是分布式文件系统HDFS，另一个是MapReduce计算模型，搭建Hadoop的运行环境主要分为三种：独立模式环境、伪分布式环境、完全分布式环境。 一、独立模式：也叫单机模式。这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统，没
原创
2016-04-12 17:32:51
1157阅读
目录搭建环境：一、前期准备1.基础准备2.服务器功能规划（提前规划好，有利于我们后面配置文件的修改和搭建）3.搭建第一台虚拟机的Hadoop环境4.克隆虚拟机5.配置虚拟机之间的映射（三台虚拟机都需要配置）6.设置SSH无密码登录7.启动hadoop集群（1）启动HDFS（2）启动YARN（3）查看对应主机的服务是否启动（4）浏览器查看页面这是一篇虚拟机上Linux环境下hadoop集群搭建的文章
转载
2024-02-03 11:32:08
83阅读
一、Hadoop理论 Hadoop是一个专为离线和大规模数据分析而设计的，并不适合那种对几个记录随机读写的在线事务处理模式。Hadoop=HDFS（文件系统，数据存储技术相关）+ Mapreduce（数据处理）在处理半结构化和非结构化数据上与关系型数据库相比有更好的性能，具有更灵活的处理能力，不管任何数据形式最终会转化为key/value，key/value是基本数据单元。 用函数式变成Map
转载
2023-10-13 21:31:09
91阅读
转自 ：http://blog.itpub.net/23289442/viewspace-1120056/准备的机器信息：192.168.247.128 dengnn（master） 192.168.247.129 dengdn1 （slave1） 192.168.247.130 dengdn2 （slave
转载
精选
2015-11-11 16:43:54
1606阅读
1.安装mysql sudo apt-get install mysql-server mysql-client 2.使用root账户登录mysql数据库，新建存放hive元数据的数据库。如果叫hiveDB. a) mysql -uroot -proot b) create database hiv
转载
2017-05-21 08:01:00
47阅读
2评论
hadoop示例中的WordCount程序，很多教程上都是推荐以下二种运行方式：
1.将生成的jar包，复制到hadoop集群中的节点，然后运行
$HADOOP_HOME/bin/hadoop xxx.jar xxx.WordCount /input/xxx.txt /output
2.或者直接在IDE环境中调试(参见eclipse/intellij idea 远程调试hadoop
转载
2015-05-21 10:58:00
335阅读
2评论
介绍一个概率检索模型-二值独立模型。这个模型我自认为比较扯淡，如有大神在可以指点一下。这个模型用了N多个假设。假设1：词项之间的出现是相互独立的。这样文档和查询都可以向量化，如下：当词项t出现在文档或查询中，则xt或qt的值为1，否则为0。由于我们假设词项出现是相互独立的，并且向量取值只取0,1两个值，故这个模型就叫做二值独立模型。那么这个模型是如何进行文档检索以及排序的呢，接下来就详细介绍一下。
转载
2024-01-17 11:41:18
40阅读
第五章应该是一条分割线了，前面四章讲的都是线性结构，接下来的就是非线性结构了。无疑问的是非线性结构是要比线性结构要难的了，毕竟从一对一到一对多还是有一定的差距的。哈哈，其他的也不多说了，我们开始这一章的小结吧。 正如第五章的题目“树和二叉树”一般，我也觉得这一章的学习就是分为两个部分，一个是树，一个则是二叉树。对于普通的树，我觉得我们主要是要掌握它的一些基本的术语，这会使得后面的操作更加
转载
2023-08-12 16:28:13
0阅读
Apache DolphinScheduler 是一个分布式去中心化，易扩展的可视化 DAG 工作流任务调度平台。本篇对 Apache DolphinScheduler 调度平台从源码上解析任务从创建，构建，分发，执行，结束五个阶段的处理，涉及 Api-Server，Master-Server，Worker-Server三个服务。Apache DolphinSchedulerg
转载
2023-10-18 16:58:19
94阅读
Centos7 安装独立显卡驱动安装基础依赖环境Yum install gcc kernel-delve -y 注意事项，保证内核版本和源码版本一样，否则，安装报错误6：ls /boot | grep vmlinu查看源码包版本
rpm -aq | grep kernel-devel从上面的输出中可以看出内核版本号和内核源码版本。为了解决这个错误，需要从FC官方网站上下载与内核版本对应的
转载
2024-01-31 22:00:02
39阅读
文章目录C API 纵览第一个示例程序堆栈压入元素查询元素其他堆栈操作C API 的错误处理应用程序中的错误处理类库中的错误处理扩展你的程序表操作调用 Lua 函数通用的Lua函数调用调用 C 函数C 函数C 函数库Lua调用C模块的步骤：撰写 C 函数的技巧数组操作字符串处理在 C 函数中保存状态The RegistryReferences注册表与引用总结：C函数环境：(尽量用C函数环境代替注
转载
2024-04-16 16:04:26
92阅读
前言再myfalse github中有spring控制的独立事物，这里是springBoot我们用下注解采用的独立事物1、新开启一个事物@Transactional(propagation = Propagation.REQUIRES_NEW, rollbackFor = Exception.class)
public void keyTransactional(CouponItemGood co
转载
2024-01-17 09:55:43
27阅读
本文章基于STM32F103RC； 在开启独立看门狗的状态下，进入停机模式，由RTC定时闹钟唤醒系统。 直接上代码：#include "main.h"
static void RTC_NVIC_Config(void)
{
EXTI_InitTypeDef EXTI_InitStructure;
NVIC_InitTypeDef NVIC_InitStructure
转载
2024-08-15 11:23:47
78阅读
春天到了，西安的独立博客忽然间多了起来。西安灰暗的互联网界俨然多了一抹亮色。
独立博客这个提法也不知道始出何处。但是根据目前大家的理解，好像特别强调域名独立这个特点，就是说，从技术上讲，一个独立博客就是一个有独立域名的网站。
促使独立博客产生的最初原因，从根本上讲，就是目前各大网站开的博客系统服务太差，一旦上了贼船，就
原创
2008-03-23 17:35:35
511阅读
数据库知识篇 1：事务的特点？ 原子性：事务中包含的各操作要么都做，要么都不做 持久性：指一个事务一旦提交，它对数据库中的数据的改变就应该是永久性的。接下来的其它操作或故障不应该对其执行结果有任何影响。 独立性：一个事务的执行不能其它事务干扰。并发执行的各个事务之间不能互相干扰 一致性：一个事务在执行之前和执行之后，数据库都必须处于一致性状态 一个程序中包含多个事务，一个事务包含多个SQL语句或一
matlab程序发布为独立应用程序(从网上整理来的资料)：资料一：7.3.4 编译后程序的发布无论编译后产生的是可执行文件，还是动态连接库，要使它们能够发布到别的没有安装MATLAB的计算机上使用，必须在目标计算机上安装MCR，不能只是简单地把编译后产生的文件复制到目标计算机上。可以利用MATLAB命令buildmcr来创建可以发布给最终用户的MCR安装文件。buildmcr的功能是创
转载
2023-07-10 12:59:33
57阅读
