我在一次社区活动中做过一次分享，演讲题目为《大数据平台架构技术选型与场景运用》。在演讲中，我主要分析了大数据平台架构的生态环境，并主要以数据源、数据采集、数据存储与数据处理四个方面展开分析与讲解，并结合具体的技术选型与需求场景，给出了我个人对大数据平台的理解。本文讲解数据存储部分。数据作为一种资产，若少了存储，就成了无根之木，失去了后续挖掘的价值。在小数据时代，受存储容量与CPU处理能力限制，在现
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
1969阅读
我们在上一篇文章中给大家介绍了大数据处理的两个关键技术，分别是大数据的采集技术以及大数据的预处理技术。在这篇文章中我们会给大家介绍大数据存储及管理以及大数据的展现和应用技术，希望这篇文章能够给大家带来帮助。首先说说大数据的储存以及管理技术，储存的意义我们就不说了，是一个非常重要的技术，大数据存储与管理要用存储器把采集到的数据存储起来，建立相应的数据库，并进行管理和调用。重点解决
大数据核心技术：存储与处理特点：数据量大，数据类型繁多，处理速度快，价值密度低（4V）计算模式：批处理计算流计算图计算查询分析计算云计算Iaas(infrastructure as a serive)PaasSaas物联网万物互联...
原创
2022-12-26 21:54:18
210阅读
大数据与云计算与mongodb的关系
1.什么是大数据故名思意，大数据其实就是海量数据。而大数据的意义不仅在于拥有庞大的数据信息，而且在于对这些含有意义的数据进行专业处理，得出有价值的信息，像行业趋势、用户心理等有意义有价值的结果。2.什么事云计算美国国家标准与研究院的定义：云计算是一种按使用量付费的模式，这种模式提供了可用的、便捷的、按需的网络访问，进
要说时下热度比较高的关键词有哪些，大数据和云计算一定在其中。大数据和云计算都属于新兴的行业或技术，因为和互联网的种种联系，因此薪水一般都比较高。所以，很多人对于大数据和云计算都是趋之若鹜。可以说，大数据的发展是离不开云计算的，然而很多的人并不了解大数据和云计算之间的关系，接下来，小编就为大家讲解一下大数据和云计算之间的关系。1.什么是大数据？大数据就是需要新处理模式才能具有更强
目前电信、金融、零售等行业希望通过大数据的分析手段来帮助自己做出理性的决策。特别是电信和金融行业表现尤为突出，市场数据没有办法与用户消费数据打通。而它们面临的第一个问题就是海量数据存储的问题。多数企业正在试图建设自己的数据中心，来满足大规模的数据量的产生，或选择大数据相关工具来应对，如大数据魔镜等。但是随着数据的进一步增多，很多数据的查询和分析性能急剧下降
近几年来，云计算受到学术界和工业界的热捧，随后，大数据横空出世，更是炙手可热。那么，大数据和云计算之间是什么关系呢？从整体上看，大数据与云计算是相辅相成的大数据着眼于“数据”，关注实际业务，提供数据采集分析挖掘，看重的是信息积淀，即数据存储能力。云计算着眼于“计算”，关注 IT 解决方案，提供 IT 基础架构，看重的是计算能力，即数据处理能力。没有大数据的信息积淀，则云计算的计算能力再强大，也难以
转载
2012-10-29 16:40:00
291阅读
2评论
一. 判断题（共46题，59.7分）1. (判断题)【判断题】云计算服务可信性依赖于计算平台的安全性。A. 对B. 错我的答案: 错 正确答案: 错 1.2分2. (判断题)【判断题】MapReduce编程模型中的map和reduce每个过程都由不同的计算机进行并行计算处理A. 对B. 错我的答案: 错 正确答案: 错 1.3分3. (判断题)【判断题】云计算的消费者需要管理或者控制云计算的基础设
原创
2023-06-07 14:22:50
2197阅读
一、大数据的就业方向：小标题 一、大数据专业的方向较多，以下是一些常见的方向：1、数据挖掘与机器学习：主要关注数据的提取、处理、分析和预测，以及机器学习算法的应用。2、大数据平台与分布式系统：主要关注大规模数据处理系统的构建和优化，包括Hadoop、Spark等分布式计算框架。3、大数据可视化：主要关注如何将复杂的数据以可视化的方式呈现，使用户更易于理解和利用。4、数据库技术与数据管理：主要关注数
近几年来，云计算受到学术界和工业界的热捧，随后，大数据横空出世，更是炙手可热。那么，大数据和云计算之间是什么关系呢？
从整体上看，大数据与云计算是相辅相成的
大数据着眼于“数据”，关注实际业务，提供数据采集分析挖掘，看重的是信息积淀，即数据存储能力。
云计算着眼于“计算”，关注 IT 解决方案，提供 IT 基础架构，看重的是计算能力，即数据处理
原创
2012-10-29 16:41:02
674阅读
研究显示，2020年一年产生的数据将高达25ZB，即使仅存储这些数据就需要250亿个1T硬盘。大数据爆炸式的数据增长需要更大的存储空间，云存储这种新型的IT资源生态将成为大数据时代的首选解决方案。然而归根到底，一切数据的存储基础还是硬盘，硬件是数据的载体，大数据时代数据越来越多，需要的硬盘就越多。 需求促增长 硬盘在云时代焕发新的生机硬盘是云数据中心的核心部件，不仅关系到云计算与大数据的服务、计
转载
2023-08-30 13:18:45
47阅读
周围总是充斥着大数据和云计算这两个词，然而，实际上，很多人对于云计算和大数据的关系却总是容易混淆，所以总是将“云计算”和“大数据”放在一起讨论， 实则不然。简单来说：云计算是硬件资源的虚拟化，而大数据是海量数据的高效处理。虽然从这个解释来看也不是完全贴切，但是却可以帮助对这两个名字不太明白的人很快理解其区别。当然，如果解释更形象一点的话，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化后
第一步：需求：数据的输入和数据的产出，大数据技术就好比一台榨汁机，数据输入相当于例如苹果、柠檬等，然后通过榨汁机产出果汁；第二步：数据量、处理效率、可靠性、可维护性、简洁性；第三步：数据建模；第四步：架构设计：数据怎么进来，输出怎么展示，最最重要的是处理流出数据的架构；第五步：再次思考大数据系统和企业IT系统的交互；第六步：最终确定选择、规范等；第七步：基于数据建模写基础服务代码；第八步：正式编写
转载
2023-06-14 15:13:50
80阅读
文章目录数据结构逻辑结构集合结构线性结构树状结构网络结构（图形）物理结构（存储）顺序存储结构链式存储结构索引存储结构散列存储结构（哈希）数据结构对性能的影响 数据结构数据结构有两个概念、逻辑结构，物理结构（存储）逻辑结构：描述数据节点之间的关系。物理结构：描述数据在内存中是如何存储的（分配内存空间）。逻辑结构集合结构，线性结构，树状结构，网络结构（图形）集合结构数据结构中的元素之间除了“同属一个
What’s Happening从智能交通到教室监控再到视频直播等等场景，生活中每天都在产生海量的图像/视频数据。在这些场景中，对图像/视频数据进行智能分析、挖掘其中的内容以及对其中的事件进行实时的分析并非易事。图一 视觉智能 视觉智能发展朝向两个方向：云上智能和端上智能。云上的智能是指复杂的计算是在云上完成；端上智能则是在终端完成的，例如手机或摄像机本身自带的计算能力、自动驾驶等等。云
中国的“大人物”目前来看，全世界还是比较领先的，但是要想进一步数字化，智能化，还都要十足的人才和技术支持。
大 | 大数据
人 | 人工智能
物 | 物联网
物联网全面铺开以后，数据量肯定爆炸式增长，数据有了，人工智能才能进一步发展。
当然，这些都需要机器运算和IT技术支撑。
所以，浪尖感觉这几个行业，长期来看都不错。
当然，很多粉丝留言说投了大数据相关岗位，很多很长时间没回应
原创
2021-07-23 13:57:02
88阅读
大数据与图计算交流深圳浪尖浪尖聊大数据中国的“大人物”目前来看，全世界还是比较领先的，但是要想进一步数字化，智能化，还都要十足的人才和技术支持。大|大数据人|人工智能物|物联网物联网全面铺开以后，数据量肯定爆炸式增长，数据有了，人工智能才能进一步发展。当然，这些都需要机器运算和IT技术支撑。所以，浪尖感觉这几个行业，长期来看都不错。当然，很多粉丝留言说投了大数据相关岗位，很多很长时间没回应，然后结
原创
2021-03-15 15:27:37
172阅读
一，数据存储介绍1.操作系统获得存储空间的方式一般分为：① 外接活动硬盘 （DAS）② 网络存储服务器 （NAS）③ 存储区域网路服务 (SAN)(1) DAS：(Direct Attached Storage— 直接连接存储) 本地存储设备： 通过某种协议（SAS,SCSI,SAN,iSCSI 等）挂接裸硬盘，然后分区、 格式化、创建文件系统；或者直接使用裸硬盘存储数据（数据库）。这种
转载
2023-07-11 20:08:49
30阅读
于千万人之中遇见你所要遇见的人，于千万年之中，时间的无涯的荒野里，没有早一步，也没有晚一步，刚巧赶上了，那也没有别的话可说，惟有轻轻地问一声：“噢，你也在这里吗？” ——张爱玲《爱》
世间之事往往就是如此的玄妙，昨日还不曾相识，今日已成为知己，亦或一生相扶，就如爱情，又如，呃。。。。
原创
2011-11-23 11:54:33
433阅读
