上次本来说好，今天咱们来讨论 socket 相关的话题，但，对于 socket ，老周还有一些问题没弄清楚，等弄清楚了，再和大伙伴们一起探讨。故，今天咱们扯一扯多媒体转码的事。听起来挺复杂的，不过，由于有现成的API，使得在UWP中完成转码并不算复杂，我一说，大家就会懂的。不说F话，直入正题吧。多媒体转码相关的API在 Windows.Media.Transcoding 命名空间下，具
转载
2024-10-05 07:56:26
61阅读
上一节我们学习了Hadoop的SSH免密码登录配置和SSH原理，这节我们来进入HDFS的学习，为了避免一开始就说的特别难以理解，我们先简单的说一下HDFS的原理，我们来看一张分布式文件系统架构图（如下图所示），我们已经知道HDFS的NameNode是管理者，DataNode是被管理者，下面的这个例子是，假如我们想向HDFS分布式系统上传一个大小为200M的日志文件，那么HDFS系统是如何工作的呢？
一、HDFS的概述 1、hdfs式文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 2、它是分布式的，由很多服务器联合起实现其功能，集群中的服务器有各自的角色。 3、它的设计是一次写入，多次读出，且不支持文件的修改。 二、HDFS的优缺点 1、优点 （1）高容错性（一数据块存储，可以保存多个副本，容易实现负载均衡）。 （2）适合处理大量数据（支持GB、TB、PB级别的数
转载
2024-03-19 22:18:11
51阅读
//4个泛型中，前两个是指定mapper输入数据的类型，KEYIN是输入的key的类型，VALUEIN是输入的value的类型
//map 和 reduce 的数据输入输出都是以 key-value对的形式封装的
//默认情况下，框架传递给我们的mapper的输入数据中，key是要处理的文本中一行的起始偏移量，这一行的内容作为value
public class WCMapper ex
一、分布式
HDFS的安装和启动 ①在$HADOOP_HOME/etc/hadoop/core-site.xml文件 <configuration> <property> <name>fs.defaultFS</name> <!-- 告知NN在哪个机器，NN使用哪个端口号接收客户端和DN的RPC请求.
原创
2021-07-20 09:26:31
118阅读
简介：这里对之前的hdfs、yarn、MR相关概念做一个总结，方便快速阅读理解。 一、HDFSHDFS是分布式文件系统，有高容错性的特点，可以部署在价格低廉的服务器上，主要包含namenode和datanode。 Namenode是hdfs中文件目录和文件分配管理者，它保存着文件名和数据块的映射管理 ...
转载
2021-07-24 14:51:00
390阅读
2评论
0 概念对整个集群中的所有节点的软件和硬件资源进行管理和协调，相当于一个分布式操作系统。MR相当于运行在这个操作系统上的应用程序。分布式环境下，跨机器的网络通信，YARN底层通过RPC协议通信 1 Yarn组成ResourceManager（RM） HDFS相当于NM ·资源分配与调度，集群的全局管理者。对NodeManager、
转载
2024-09-25 11:06:46
71阅读
和Hive需要自己适配安装配置；Hadoop的版本为Apache Hadoop 3.0.3，将tar..
原创
2023-04-13 11:55:15
151阅读
通过MR从HDFS读取数据存储到HBase的过程可以看作是数据处理与分布式存储的结合，本文将详细阐述如何通过MapReduce（MR）任务将数据从HDFS（Hadoop分布式文件系统）读取并存储到HBase（分布式数据库）。我们将以友好且清晰的语言引导您完成这一过程。
## 环境准备
在开始之前，我们需要确保有一个适合的环境来运行这个任务。我们将使用Hadoop和HBase，并且需要安装一些必要
大数据技术 —— MapReduce 简介 本文为senlie原创，转载请保留此地址：http://www.cnblogs.com/senlie/ 1.概要很多计算在概念上很直观，但由于输入数据很大，为了能在合理的时间内完成，这些计算必须分布在数以百计数以千计的机器上。例如处理爬取得到的文档、网页请
转载
2018-08-16 11:37:00
197阅读
2评论
1.Hive简述 1.1 Hive是什么 Hive是数据仓库.它是构建在Hadoop之上的,通过解析QL(Hive SQL),转换成MR任务(Tez,Spark......)去提交执行. RDBMS一般是写验证,而Hive是读验证,即数据进入不会验证数据是否符合要求,只在读取的时候检查,解析具体字段 1.2 Hive的优缺点 优点: 可以直接访问HDFS,或者其它的
转载
2023-11-13 12:42:49
119阅读
2. 分布式文件系统 HDFS1. 引入HDFS【面试点】问题一：如果一个文件中有 10 个数值，一行一个，并且都可以用 int 来度量。现在求 10 个数值的和思路：逐行读取文件的内容把读取到的内容转换成 int 类型把转换后的数据进行相加输出最后的一个累加和问题二：10000 个文件，每个文件 2T，文件里的内容依然是每行一个数值，求这一堆文件的所有数值的和思路与方案：使用单进程的程序执行，即
转载
2024-06-14 08:34:09
36阅读
使用阿里云媒体转码服务1、登录阿里云官网访问阿里云官网，点左上角登录。2、登录媒体转码控制台在媒体转码服务产品主页登录控制台。控制台会检查所依赖服务的开通状态，请按页面引导操作。3、授权云资源访问授予媒体转码服务访问存储媒体文件的OSS及消息通知功能的消息服务相关权限：4、提交转码作业在 OSS文件转码管理 中创建转码作业，通过 浏览 选择待转码文件，并指定输出文件名后点击 下一步，在 预置静态模
转载
2023-09-12 20:18:01
113阅读
MR数据流向示意图步骤 1输入文件从HDFS流向Mapper节点。在一般情况下，map所需要的数据就存在本节点，这就是数据本地化计算的优势，但是往往集群中数据分布不均衡(1000台节点，数据冗余度是10，每个文件并不能均匀分布在每个节点上)，而MR的计算槽位是均匀分布在节点上的(配置文件中指定的map和reduce数量)，所以势必有些计算节点需要通过数据传输从别的节点获取计算数据。步骤 2Mapp
转载
2023-12-19 19:51:26
96阅读
首先Spark是借鉴了mapreduce并在其基础上发展起来的，继承了其分布式计算的优点并改进了mapreduce明显的缺陷，但是二者也有不少的差异具体如下：MR是基于进程，spark是基于线程Spark的多个task跑在同一个进程上，这个进程会伴随spark应用程序的整个生命周期，即使没有作业进行，进程也是存在的MR的每一个task都是一个进程，当task完成时，进程也会结束所以，spark比M
转载
2023-08-11 23:35:57
246阅读
一，调优基础 ：1 ，连接暗示 ：需求 ： 让 join 发生在 map 端sql ：select /*+ mapjoin(customers) */ a.*,b.*
from customers a left outer join orders b
on a.id=b.cid;2 ，hive 执行计划hql 在执行的时候，是转化成了什么样的 mr 去执行的。3 ，查看执行计划 ： expla
转载
2023-09-05 15:24:40
111阅读
-- hive的库、表等数据操作实际是hdfs系统中的目录和文件，让开发者可以通过sql语句， 像操作关系数据库一样操作文件内容。一、hiveSQL转化为MR过程 一直好奇hiveSQL转化为MR过程，好奇hive是如何做到这些的，所以在网上找了几篇相关博客，根据自己理解重新画了一份执行过程图，做笔记。 二、h
转载
2023-07-12 09:30:10
165阅读
Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如日志文件）。同时Pig可扩展使用Java中添加的自定义数据类型并支持数据转换。 Hive在Hadoop中扮演数据仓库的角色。Hive添加数据的结构在HDFS（hive superimposes structure on data in HDFS）
转载
2023-09-12 03:47:08
113阅读
Fetch抓取 hive中的某些查询不必使用MR，例如select * from，在这种情况下，hive可以简单的读取表的存储目录下的文件，然后输出查询结果到控制台。 hive.fetch.task.conversion设置成mre，如下查询方式都不会执行MR程序 hive (default)> set hive.fetch.task.conversion=more; hive (defau
转载
2024-05-30 13:39:12
95阅读
三个案例wordcount案例需求分析设计代码温度统计案例需求分析设计代码涉及到的类NullWritableWritableComparable\接口WritableComparator类推荐好友案例需求分析设计代码 wordcount案例需求统计输入的文件中，每个单词出现了几次分析设计在map中将输入的每条数据切割成单词，将key为单词，value为1的计算结果输出默认的分组器会将相同key（
转载
2023-11-07 01:32:59
59阅读
