大数据扫盲 目录 大数据扫盲1 0.1.大数据处理流程1 0.2.大数据处理技术架构2 1.数据分区与路由2 1.1.二级映射机制3 1.1.1.哈希分区3 1.1.2.虚拟桶(virtual bucket)3 1.1.3.一致性哈希(consiste...
原创
2021-07-29 10:48:03
224阅读
大数据 相关术语 术语 | 作用 | hadoop | 存储和处理大数据 MapReduce | hadoop自带的数据处理功能 spark | 推荐使用spark做hadoop的数据处理 hdfs | hadoop分布式文件系统 hive | 基于Hadoop的一个数据仓库工具，可以将结构化的数据
转载
2017-10-23 09:55:00
86阅读
2评论
主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。
原创
2022-06-14 17:48:31
374阅读
服务器术语之RAID扫盲
RAID是英文Redundant Array of Independent Disks的缩写，翻译成中文意思是“独立磁盘冗余阵列”，有时也简称磁盘阵列（Disk Array）。 简单的说，RAID是一种把多块独立的硬盘（物理硬盘）按不同的方式组合起来形成一个硬盘组（逻辑硬盘），从而提
转载
精选
2010-06-10 23:30:07
916阅读
主要基于对现阶段一些常用的大数据开源框架技术的整理，只是一些简单的介绍，并不是详细技术梳理。可能会有疏漏，发现再整理。参考的太多，就不一一列出来了。这只是作为一个梳理，对以后选型或者扩展的做个参考。
目录
系统平台 （Hadoop、CDH、HDP）
监控管理 （CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle）
文件系统 （HDFS、
转载
2021-06-10 09:10:49
250阅读
2评论
大数据1.算法。“算法”如何与大数据相关?即使算法是一个通用术语，但大数据分析使其在当代更受青睐和流行。2.分析。年末你可能会收到一份来自信用卡公司寄来的包含了全年所有交易记录的年终报表。如果你有兴趣进一步分析自己在食物、衣服、娱乐等方面具体花费占比呢?那你便是在做“分析”了。你正从一堆原始数据中来吸取经验，以帮助自己为来年的消费做出决策。如果你正在针对整个城市人群对Twitter或Faceboo
原创
2019-05-21 14:35:48
487阅读
大数据让死数据活起来 所谓数据就是一般的管理系统将数据保存下来就结束了，最多统计一下，数据没有产生太大价值。大数据就是将这些数据
1.算法。“算法”如何与大数据相关?即使算法是一个通用术语，但大数据分析使其在当代更受青睐和流行。
2.分析。年末你可能会收到一份来自信用卡公司寄来的包含了全年所有交易记录的年终报表。如果你有兴趣进一步分析自己在食物、衣服、娱乐等方面具体花费占比呢?那你便是在做“分析”了。你正从一堆原始数据中来吸取经验，以帮助自己为来年的消费做出决策。如果你正在针对整个城市人群对Twi
转载
2024-01-06 08:57:18
69阅读
大数据术语释义
转载
2022-10-21 10:58:48
150阅读
虽说人生没有白走的路，新的一年来到，会的还是原来的知识，人的身价就摆在那里，无论怎么折腾，也不会拿到更好的offer。所以在年轻还有拼劲的时候多学学知识，寻找自身的不足，查漏补缺非常重要。**今天小编给大家带来的是绝对的干货！以下是我自己这些年爬过的那些坑。在大数据开发这一块来说还算是比较全面的吧！废话不多说，直接上干货！1、Java编程技术Java编程技术是大数据学习的基础，Java是一种强类型
原创
2019-05-27 11:38:16
444阅读
(1) XHR：xml httprequestXHR注入：XHR 注入技术是通过XMLHttpRest来获取javascript的。但与eval不同的是，该机制是通过创建一个scr
原创
2022-10-24 14:57:25
134阅读
初学者很好的入门资料，从业人员查缺补漏必备。
转载
2022-10-19 18:00:19
60阅读
大数据技术应用表现形式有哪些大数据技能，简而言之，就是提取大数据价值的技能，是依据特定方针，通过数据搜集与存储、数据挑选、算法剖析与预测、数据剖析成果展现等，为做出正确决策供给依据，那么大数据技术应用表现形式有哪些?接下来就具体看看吧。1、数据剖析及发掘：数据计算及剖析主要是根据存储的海量数据进行普通的剖析和分类汇总，以满足大多数常见的剖析需求。数据发掘一般没有预先设定好的主题，主要是在现有数据上
转载
2023-11-02 07:38:13
28阅读
近日，Ramesh Dontha 在 DataConomy 上连发两篇文章，扼要而全面地介绍了关于大数据的 75 个核心术语，这不仅是大数据初学者很好的入门资料，对于高阶从业人员也可以起...
转载
2021-06-11 09:37:24
124阅读
在第一篇文章中介绍了以下术语：算法，分析，描述性分析，规定分析，预测分析，批处理，Cassandra，云计算，集群计算，黑暗数据，数据湖，数据挖掘，数据科学家，分布式文件系统，ETL，Hadoop，内存计算，IOT，机器学习，Mapreduce，NoSQL，R，Spark，流处理，结构化。非结构化数据。现在我们来看看还有50个更大的数据术语。Apache软件基金会（ASF...
原创
2022-08-09 18:04:31
192阅读
一、预备知识为了避免专有名词缩略语干扰我们，先解释一下。SCSI接口小型计算机系统接口（Small Computer System Interface; 简写：SCSI），就是计算机主机内部设备之间（硬盘、软驱、光驱、打印机、扫描仪等）系统级接口的独立处理器标准。iSCSI接口Internet小型计算机系统接口。iSCSI 常常被认为是光纤通道（Fiber Channel）的一个低成...
转载
2021-08-10 10:01:23
746阅读
一、预备知识为了避免专有名词缩略语干扰我们，先解释一下。SCSI接口小型计算机系统接口（Small Computer System Interface; 简写：SCSI），就是计算机主机内部设备之间（硬盘、软驱、光驱、打印机、扫描仪等）系统级接口的独立处理器标准。iSCSI接口Internet小型计算机系统接口。iSCSI 常常被认为是光纤通道（Fiber Channel）的一个低成...
转载
2022-02-22 09:54:11
2637阅读
点赞
1. 啥是数据结构 数据结构是计算机存储、组织数据的方式。数据结构是指相互之间存在一种或多种特定关系的数据元素的集合。通常情况下，精心选择的数据结构可以带来更高的运行或者存储效率。数据结构往往同高效的检索算法和索引技术有关，明确几个概念。 数据：对客观事物的符号表示，指所有能输入到计算机中并被计算机程序处理的符号的总称。上面场景中的注册信息，就是数据。数据库中存储的用户记录，那也是数
原创
2020-12-30 21:45:52
150阅读
JSON是 JavaScript Object Notation的简称。是一种轻量的数据表示方法。jason格式採用key:value的方式记录数据。非常直观。比XML简洁，因而大受欢迎
介绍jason格式前，先让我们看看XML格式。显然。XML 得到了相当多的关注（正面和负面的评价都有）。已经在Ajax 应用程序中广泛使用：
<request>
<firstNam
转载
2017-07-03 17:31:00
98阅读
2评论
JSON是 JavaScript Object Notation的简称，是一种轻量的数据表示方法。jason格式採用key:value的方式记录数据，非常直观，比XML简洁，因而大受欢迎 介绍jason格式前，先让我们看看XML格式。显然，XML 得到了相当多的关注（正面和负面的评价都有）。已经在A
转载
2017-07-11 13:46:00
195阅读
2评论
