我对大数据的理解
原创
2023-12-15 09:51:27
101阅读
一、 Hadoop的优化与发展1.1 Hadoop的局限对于MapReduce和HDFS【不包含其它组件】：1、抽象层次低，仍需手工编写代码完成功能2、表达能力有限，MapReduce抽象的Map和Reduce函数，在降低开发复杂度的同时，也带来了表达能力有限的问题，导致一些任务无法用Map和Reduce函数来完成3、开发者自行管理作业间的依赖关系。一个作业Job只包含Map和Reduce两个阶段
转载
2023-07-20 17:54:50
231阅读
由于大数据的4V等特性，给传统数据技术也带来了较大的挑战，一般将解决这些挑战的技术称为大数据技术。
由于大数据的4V等特性，给传统数据技术也带来了较大的挑战，一般将解决这些挑战的技术称为大数据技术。一、大数据概念尽管“大数据”这个词直到前些年才开始受到人们的高度关注，但早在1980年，未来学家托夫勒在其《第三次浪潮》中就将“大数据”称为“第三次浪潮的华彩
转载
2023-09-26 16:24:04
310阅读
对软件行业的理解可以用需求、架构、工具和算法四个词对软件行业做一个整体的概括。需求是推动软件行业发展的源动力，需求的变化带来了架构、工具和算法的进步。架构这个层面上，主要涉及的是一种解决问题的思想和策略，好的架构的诞生源于对需求和技术的深入了解，但与具体的技术实现联系不是太紧密。工具是有需求带动的，工具的产生会受到架构的限制，不同的工具一般对某一领域更擅长。算法的进步依赖于基础学科，是对具体问题的
原创
2017-03-24 16:13:27
958阅读
最近，很多企业都在谈数据可视化，其受关注的程度不次于大数据。数据可视化是正确理解数据信息的最好方法，甚至是唯一方式。出色的可视化产品可以让用户对自己目前关注的事情一目了然,并可以快速给出建议，随时随地分享。在大数据时代，如果你的数据展示方法不对，可能会破坏数据可视化效果。误区一:显示所有的数据尽管我们多次被告诫，大多数人并不关心你对多少数据做了多少量化指标的处理，他们不在乎你每天可以处理多少数据，
转载
2023-12-15 13:16:14
13阅读
浅谈对NAT技术的理解对内网MSN语音通讯的问题的个人理解 前几天，我去客户那里安装调试防火墙。客户明确提示一个需求：必须要支持MSN语音通讯功能。原来没有做过这方面的需求部署，所以开始还是依照一般模式设计：采用路由模式，走NAT技术，结果发现NAT技术不能实现MSN语音通讯的功能。后来只好采用透明模式处理，以真实IP实现MSN语音。 这次MSN语音
转载
2009-08-25 10:34:59
1119阅读
1评论
人类社会什么时候开始出现了“技术”一词呢？我不是很清楚，也不是文字学家，呵呵。但我查了一下技术在中国古代就出现了，是指技能。和现在技术的解释有点不同吧。至于人们是如何想到这一个词的，我就不得而知了。
随着网络技术、计算机技术、互联网技术的快速发展，信息量那是与日俱增啊，多的让人无法去学习去了解。于是我们也变得很浮躁，明明知道这个东西没有学会不是很了解，可就是不
原创
2012-03-22 16:46:15
2256阅读
点赞
我们先来看看这张图，这是某公司使用的大数据平台架构图，大部分公司应该都差不多：从这张大数据的整体架构图上看来，大数据的核心层应该是：数据采集层、数据存储与分析层、数据共享层、数据应用层，可能叫法有所不同，本质上的角色都大同小异。所以我下面就按这张架构图上的线索，慢慢来剖析一下，大数据的核心技术都包括什么。一、数据采集数据采集的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简
转载
2023-07-10 14:08:34
308阅读
序言Apache Kafka是一个分布式的流系统。Kafka作为流系统有下面的几个能力：作为消息处
转载
2023-05-11 11:53:48
137阅读
软件行业随着互联网的快速发展，它的使命也在发生着改变，也正在经历着变革，当软件公司在这场变革中无法适应或是不紧跟时代步伐的话，很有可能就会被淘汰。随着5G的普及，产生的网络数据越来越多，以前我们的难点在于如何收集数据。在互联网初级阶段，我们总在想办法如何收集更多的数据，购物，娱乐，消费等等，我们建造各种各样的应用来收集数据。互联网第二个阶段，我们在互联网大数据面前变得不堪重负，于是诞生了大数据存储
转载
2023-10-03 08:17:09
86阅读
大数据技术，就是从各种类型的数据中快速获得有价值信息的技术。大数据领域已经涌现出了大量新的技术，它们成为大数据采集、存储、处理和呈现的有力武器。大数据处理关键技术一般包括：大数据采集、大数据预处理、大数据存储及管理、大数据分析及挖掘、大数据展现和应用(大数据检索、大数据可视化、大数据应用、大数据安全等)。一、大数据采集技术数据采集是指通过RFID射频数据、传感器数据、社交网络交互数据及移动互联网数
转载
2024-04-10 13:43:16
42阅读
随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。1.大数据架构的特点一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术
转载
2023-07-11 20:48:06
155阅读
云计算与大数据密切相关，大数据是计算密集型操作的对象，需要消耗巨大的存储空间，云计算的主要目标是在集中管理下使用巨大的计算和存储资源，用微粒度计算能力提供大数据应用，云计算的发展为大数据的存储和处理提供了解决方案，大数据的出现也加速了云计算的发展，基于云计算的分布式存储技术可以有效地管理大数据，借助云计算的并行计算能力可以提高大数据采集和分析的效率。研究机构Gartner定义∶大数据是需要新的处理
转载
2023-10-23 14:41:33
0阅读
随着多年的大数据的技术发展和积累，越来越多的人发现各个公司所使用的大数据技术大致可以分为两大类，分别是离线处理技术和实时处理技术，要么个别公司只有离线处理技术，要么个别公司只有实时处理技术，但是绝大部分公司基本上都是两种技术架构都带着一起在做，以为我们的业务一、lamda架构基本介绍 1、业务系统基本流程介绍 2、lamda架构基本介绍 lamda架构最早是由storm的创始人，Nat
转载
2023-08-12 15:49:35
224阅读
目录（一）通用框架概述（二）数据收集层（三）数据存储层（四）资源管理与服务协调层（五）计算引擎层（六）数据分析层（七）数据可视化层 （一）通用框架概述自底向上，与OSI类似，通用框架下的大数据体系有七层：数据源、数据收集层、数据存储层、资源管理与服务协调层、计算引擎层、数据分析层及数据可视化层。图示如下： （二）数据收集层 数据收集层直接与数据源对接，负责采集产品使用
转载
2023-08-15 22:30:12
167阅读
看了许多关于大数据的分析文章后，发现自己有些乱了．在职的学习也进行的将近２个多月的时间，总算是对大数据有了一些了解，不敢说深入．且作为自己这两个月来学习的一个总结吧！ 说到当初为什么要选择这个专业，说来也巧合．工作五年了，感觉到工作上没有什么可以发展的地方了．想重新开始，正好想去了解一下软件方面的内容．看到有人推荐＜大数据时代的历史机遇与挑战＞后．对自己的一些思路有些开扩．所以就选择了，至少
推荐
原创
2014-01-15 16:33:48
2941阅读
点赞
7评论
一个多层的大数据平台技术栈概览
目录技术栈全貌1. 采集层和传输层SqoopFlumeCanalLogstashKafkaRocketMQ2. 存储层HBaseAlluxio/Redis/IgniteTiDBHDFSCephKudu3. 计算层HiveKylinDruid 为监控而生的数据库连接池。SparkSQLImpalaSparkStormFlin
转载
2024-05-14 16:53:24
153阅读
# MySQL对大数据量的存储的技术方案
作为一名经验丰富的开发者，我将教会你如何实现MySQL对大数据量的存储的技术方案。下面是整个过程的流程图：
| 步骤 | 描述 |
| ---- | ---- |
| 第一步 | 创建数据库和表格 |
| 第二步 | 导入大数据量的数据 |
| 第三步 | 对表格进行分区 |
| 第四步 | 建立索引 |
| 第五步 | 优化查询语句 |
## 第一
原创
2023-12-25 05:36:04
84阅读
原来经常听到云计算啊 大数据之类的词汇，因为最近几年正是趋势
可是自己一直没有对这方面有深入的了解。
今天通过51cto举办的2013大数据全球峰会这个机会，让我有幸对大数据有了初步的了解。
在我通过51cto网上直播的看到这总 那总的 他们自己企业对大数据的理解与应用，让我感觉到原来数据还有这么奇妙的应用。
真是王晓梅 说的那句话：要做大数据，就要富有想象力。首先要想，如果不
原创
2013-04-26 18:27:01
454阅读
点赞
# 大数据可视化的理解与实现
大数据可视化是将复杂的数据集以图形化的形式呈现出来，帮助我们更容易地理解数据之间的关系和趋势。接下来，我将给你介绍实现大数据可视化的一些基本步骤，以及相应的代码示例。
### 流程概述
以下是实现大数据可视化的整体流程：
```markdown
| 步骤 | 描述 |
| --
原创
2024-10-02 04:55:20
86阅读
