音频处理分为播放和录音两类。对这些处理，微软提供了一些列函数，称之为Waveform Functions。这篇文章讨论录音功能。会对微软提供的函数做简单说明，并对这些函数封装成c++类，再进一步封装成c#类。1 Waveform Functions函数简介根据录音处理步骤，对这些函数做简单介绍。 1.1 waveInOpen MMRESULT wa
转载
2024-03-06 00:02:59
24阅读
HA高可用配置一、简述-------------------high availability,高可用.
两个名称节点，一个active(激活态)，一个是standby(slave待命),slave节点维护足够多状态以便于容灾。
和客户端交互的active节点,standby不交互.
两个节点都和JN守护进程构成组的进行通信。
数据节点配置两个名称节点，分别报告各自的信息。
同一时刻只能有一个激活
转载
2023-07-13 14:26:52
61阅读
一、大数据的4V特征：1.大数据量：数据的存储量大，增量大
2.速度快：数据的增长速度快，对处理数据的响应速度有更严格的要求，数据的处理几乎无延迟，时效性高
3.多样性：1）数据的来源多样性，除了传统的交易数据外，还有社交网站等多种来源的数据
2）数据的种类多样性，具体可分为结构化数据，如财务系统数据等，半结构化数据，如网页等和非结构化数据，如视频，图片等
4.价值密度低：大数据真正的价值体
转载
2023-12-13 07:01:41
27阅读
1.HDFS1).永久性数据结构A.NameNode的目录结构NameNode被格式化之后，将产生所示的目录结构：${dfs.name.dir}/current/VERSION &nbs
转载
2023-07-09 22:49:00
65阅读
[大数据4V特征] ----------------------------------------------------- 1.Volum : 体量大 2.velocity: 速度快 3.variat
转载
2023-08-07 17:09:09
66阅读
元数据持久化原理如下：本地多目录多个目录之间使用逗号分隔dfs.namenode.name.dirNameNode配置多个本地目录主要是为了可靠性；每个目录存放的内容相同；dfs.datanonde.data.dir可以给不同的节点配置不同的数据存放目录；同一节点的不同的数据存放目录存放的数据内容不同——各目录之间不是备份的关系；数据节点配置多个目录不是为了可靠性；每...
原创
2022-09-30 10:15:49
98阅读
Writable接口1、对java中的int型进行封装那么就是hadoop中的IntWritable类，在写程序的时候可以把IntWritable可以看着是int类型，
原创
2023-05-16 00:58:03
56阅读
一、下载1.下载hadoop[root@master ~]# cd /usr/local/src/[root@master src]# wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.2/hadoop-2.7.2.tar.gz2.官网下载地址（可获最新）http://hadoop.apache.org/rele
原创
精选
2016-09-18 14:24:20
956阅读
1、SSH安装 1,设置ssh无密码登录~# ssh-keygen输入上面的命令后一路回车即可。2,拷贝生成的密码文件,默认生成的密码文件在用户名目
原创
2023-05-16 01:07:47
45阅读
（一）大数据特征规模性（volume）、多样性（variety）、价值密度（value）和 高速性（velocity）进行描述。1：数据量大（volume） 非结构化数据的超大规模增长导致数据集合的规模不断扩大，数据单位已经从GB级到TB级再到PB级，甚至开始以EB和ZB来计数。2：类型繁多（variety） &nb
转载
2023-07-13 16:41:13
4阅读
# Hadoop与SM4加密算法
## 导言
在当今信息爆炸的时代，数据安全成为了一个重要的问题。保护数据的机密性和完整性对于企业和个人来说至关重要。因此，加密算法成为了一项重要的技术，用来保护数据的安全。
SM4是中国自主设计的一种对称加密算法，被广泛应用于各种领域，如电子商务、金融和云计算等。Hadoop是一个流行的大数据处理框架，用于在分布式环境中处理大规模数据集。本文将介绍Hadoo
原创
2023-08-28 10:38:37
294阅读
Hadoop 高可用在Hadoop 2.0以前的版本，NameNode面临单点故障风险（SPOF），也就是说，一旦NameNode节点挂了，整个集群就不可用了，而且需要借助辅助NameNode来手工干预重启集群，这将延长集群的停机时间。而Hadoop 2.0版本支持一个备用节点用于自动恢复NameNode故障，Hadoop 3.0则支持多个备用NameNode节点，这使得整个集群变得更加可靠。什么是 Hadoop 高可用Hadoop 2.0版本支持一个备用节点用于自动恢复NameNode故障，Hado
原创
2021-10-14 16:43:49
323阅读
一、概述sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。sqoop的含义就是“SQL to Hadoop”核心的功能有两个：导入；导出导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统 导出数据：从 Hadoop 的文件系统中导出数据到关系数据库 mysql 等 Sqoop 的本质还是一个命
转载
2023-12-18 23:54:10
64阅读
云计算——Hadoop2的搭建1 实验环境2创建hadoop用户1.在终端窗口，输入如下命令创建可以登陆的 hadoop 新用户，并使用 /bin/bash 作为 shell。2.使用如下命令设置密码，按提示输入两次：3.为 hadoop 用户增加管理员权限，方便部署，避免一些权限问题：4.注销当前用户，在登录界面使用刚刚创建的hadoop进行登录。 3 更新apt
转载
2023-09-24 21:02:24
74阅读
MapReduce工作流程：
[b]job提交流程：[/b]
[img]http://dl.iteye.com/upload/attachment/366883/b2e3cd06-379d-32a6-ae94-1b5256509ad8.png[/img]
1.client节点在提交job之前，先要求JobTracker分配一个新的job id；
2
转载
2023-07-24 14:10:56
201阅读
Hadoop中包含计算框架MapReduce和分布式文件系统HDFS，spark是一个计算框架//中间结果：spark保存到内存、Hadoop保存到磁盘，spark将执行模型抽象为通用的有向无环图通用计划（DAG）///数据格式和内存布局：spark：分布式内存存储结构弹性分布式数据集RDD，进行数据的存储，RDD支持粗粒度写操作，RDD读取可精确到每条数据记录，RDD可用来做分布式索引spark
# Hadoop 实验4：数据处理与分析入门
Hadoop是一个开源的分布式计算平台，广泛应用于大数据领域。本文将介绍 Hadoop 实验4 的核心内容，并通过示例代码帮助读者理解如何利用 Hadoop 进行数据处理和分析。我们会涵盖基本的 Hadoop 编程结构、MapReduce 的概念和一些实用的代码示例。
## Hadoop 概述
Hadoop 包括两个主要组件：HDFS（分布式文件
原创
2024-11-01 04:55:44
49阅读
文章目录Hadoop高手之路7-Hadoop的新特性一、Hadoop2.0以上新特性二、Yarn资源管理框架1. yarn体系结构2. yarn的工作流程三、HDFS的高可用HA1. HDFS的高可用（HA）架构2. 搭建Hadoop高可用HA集群1) 规划集群节点2) 环境准备3) 配置HA集群(1) 修改core-site.xml(2) 修改hdfs-site.xml(3) 修改mapred
今天安装了JDK和Hadoop，配置好了环境 明天继续学习Hadoop！ ...
转载
2021-07-14 17:20:00
86阅读
2评论
1.用图与自己的话，简要描述Hadoop起源与发展阶段。（作业3中剪过来） Hadoop是道格·卡丁（Doug Cutting）创建的，Hadoop起源于开源网络搜索引擎Apache Nutch，后者本身也是Lucene项目的一部分。Nutch项目面世后，面对数据量巨大的网页显示出了架构的灵活性不够 ...
转载
2021-10-23 23:09:00
85阅读
2评论
