spark是什么Spark 是专为大规模数据处理而设计的快速通用的计算引擎
---百度百科由此可知，spark是一项处理大规模数据是技术，所以在了解Spark之前，熟悉以下开源的大数据技术对Spark的使用会很有帮助。- 1、HadoopHadoop是最早流行的开源大数据技术之一，是一个可扩展、可容错的系统，用来处
转载
2024-04-11 12:49:15
39阅读
消息5月9日，日前，坐落于廊坊市润泽国际信息港的京津冀大数据创新应用中心主体工程已竣工，该中心将于5月18日洽谈会期间正式投入运营。该中心将通过创新性的展示和互动手段，使用户身临其境体验物联网、传感器、可穿戴设备、智能感知、视频采集、虚拟现实等技术，通过多维度、全方位、实时实地的信息采集和数据分析，支撑智慧城市、智慧交通、智慧能源(600869,股吧)、智慧医疗、智慧环保等方面的应用。在国家大数据
转载
2024-02-05 09:14:35
36阅读
大数据场景一、各种标签查询查询要素：人、事、物、单位查询范围：A范围、B范围、...查询结果：pic、name、data from1、痛点：对所有文本皆有实时查询需求2、难点：传统SQL使用WHERE子句匹配LIKE关键词，在庞大的数据字段中搜索某些想要的字，需遍历所有数据页或者索引页，查询效率底，当出现千万级以上数据时，耗时较高，无法满足实时要求3、方案：使用全文检索方案
转载
2024-09-22 15:18:41
73阅读
前言在数据排序的算法中，不同数据规模应当使用合适的排序算法才能达到最好的效果，如小规模的数据排序，可以使用冒泡排序、插入排序，选择排序，他们的时间复杂度都为O（n2），大规模的数据排序就可以使用归并排序和快速排序，时间复杂度为O（nlogn）。今天我们就来看一下归并排序和快速排序。正文归并排序的原理核心思想（分治思想）： 排序数组，将数组从中间分成前后两部分，对前后两部分分别排序，然后合在一
在之前的博客《什么是大数据?看这一篇就足够了!》中,小菌为大家较为详细的介绍了一些关于大数据的知识。其中提到了大数据的四个特点,即海量化,多样化,快速化和高价值。本篇博客,小菌决定就以快速化这个提点展开,为大家科普下大数据技术为什么快?文章目录拓展性纵向扩展横向扩展分布式资源集中（计算与存储）集中式计...
原创
2021-06-02 09:35:47
493阅读
在之前的博客《什么是大数据?看这一篇就足够了!》中,小菌为大家较为详细的介绍了一些关于大数据的知识。其中提到了大数据的四个特点,即海量化,多样化,快速化和高价值。本篇博客,小菌决定就以快速化这个特点展开,为大家科普下大数据技术为什么快?文章目录拓展性纵向扩展横向扩
原创
2022-04-01 09:33:34
357阅读
转大数据技术开发要学哪些知识点？高效的大数据学习路线推荐。以往的数据开发需要一定的Java基础和工作经验，门槛高，入门难。如果零基础入门数据开发行业的小伙伴从Python语言入手。Python语言简单易懂，适合零基础入门，在编程语言排名上升最快，能完成数据挖掘。想要从事大数据技术开发工作要怎么做，路线是什么？从哪里开始学？学哪些？废话不多说，直接上干货！大数据本质上是海量数据。第一阶段：大数据开发
转载
2024-05-22 15:39:06
29阅读
大数据怎么入门？怎么做大数据分析？数据科学需要学习那些技术？大数据的应用前景等等问题，已成为热门大数据领域热门问题，以下是对新手如何学习大数据技术问题的解答！大数据开发学习可以按照以下内容进行学习：第一阶段：JavaSE+MySql+Linux学习内容：Java 语言入门 → OOP 编程 → Java 常用Api、集合 → IO/NIO → Java 实用技术 → Mysql 数据库 → 阶段项
原创
2018-11-20 10:54:45
127阅读
一、OLTP与 OLAP的区别当今的数据处理大致可以分成两大类：联机事务处理OLTP（On-Line Transaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 【也可以做分析使用，但是没必要】OLAP是数据仓库系统的主要应用，支持复杂的分析
转载
2023-12-15 05:17:47
22阅读
一、"大数据时代"，数据获取的方式：1. 企业生产的用户数据：大型互联网公司有海量用户，所以他们积累数据有天然的优势。 有数据意识的中小型企业，也开始积累的数据。2. 数据管理咨询公司：通常这样的公司有很庞大的数据采集团队，一般会通过市场调研、问卷调查、固定的样本检测， 和各行各业的公司进行合作、专家对话（数据积累很多年了，最后得出科研结果）来采集数据。
转载
2023-05-28 14:23:38
169阅读
大快的大数据通用计算平台（DKHadoop），已经集成相同版本号的开发框架的全部组件。关于DKhadoop大数据处理平台的案例，其实感兴趣的可以去大快的网站上查询一下，里面有很多案例分享。个人所知的是DKhadoop的政务大数据处理解决方案非常好！大家也可以在大快网站上查询一下这方面的方案资料。
原创
2018-04-16 16:43:34
1321阅读
点赞
大快大数据开发框架的构成模块大数据也不是近几年才出现的新东西，只是最近几年才真正意义上变得热门、火爆！而这要得益于互联网信息技术的快速发展，网络改变世界、改变生活，大数据技术的应用让这样的改变更为深刻。关注大数据或者是互联网方面新闻的人应该知道，大数据已经上升到了国家战略的高度。可以说这是时代发展的必然趋势，从国家战略层面推进大数据技术的普及与应用，一个至关重要且非常核心的问题——数据安全问题就非
转载
2018-10-10 11:19:21
194阅读
MongoDB和MySQL性能测试及其结果分析 编者用四组数据的查询和插入操作说明MongoDB、HandlerSocket和MySQL在QPS、CPU、IO三种情况下性能的差异。 AD：51CTO 网+ 第十二期沙龙：大话数据之美_如何用数据驱动用户体验 一、测试环境1、测试服务器状况 共涉及4台测试服务器： 压力测试服务器 Web服务器 MongoDB服务器 MySQL服务器。
第一章：MongoDB简介MongoDB是一个高性能、开源、无模式的文档型数据库，由C++编写。没有表、模式、SQL、行的概念，没有事务、ACID兼容性、连接、外键的特性。MongoDB1.8以后，单个服务器的持久性通过事务日志来保证。该日志只追加，每100毫秒刷一次磁盘。MongoDB中要求每个文档必须由一个唯一标识符，默认_id是一个12字节的可在分布式环境中使用的objectId。特性：-
转载
2023-08-30 13:25:36
46阅读
政务大数据解决方案之大快DKhadoop从事大数据行业的朋友应该都知道大数据已经上升到了国家战略高度，2015年8月31日，×××印发了《促进大数据发展行动纲要》。旨在通过建立“用数据说话、用数据决策、用数据管理、用数据创新”的管理机制，实现基于数据的科学决策。目前，我国每年善生并被存储的数据总量超过800EB，相当于全人类讲过的话160倍。我国的电子政务发展指数为0.6071，排名第63位。经过
转载
2018-10-10 11:20:52
363阅读
当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化：单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的表在千万级以下，字符串为主的表在五百万以下是没有太大问题的。而事实上很多时候MySQL单表的性能依然有不少优化空间，甚至能正常支撑千万级以上的数据量：字段尽量使用TINYINT、SMALLINT、
转载
2024-01-06 08:45:55
56阅读
前言:我们从与传统服务器的对比来进行今天的知识普及,从扩展性,分布式,可用性,以及计算模型来分析一下,大数据为什么这么快?传统数据大数据扩展性纵向扩展横向扩展分布式资源集中资源分布可用性单份数据数据复制模型移动数据移动计算程序文章目录1.扩展性对比传统数据纵向扩展大数据横向扩展2.分布式对比传统数据集中式计算传统数据集中式存储大数据...
原创
2021-12-29 15:22:07
171阅读
前言:我们从与传统服务器的对比来进行今天的知识普及,从扩展性,分布式,可用性,以及计算模型来分析一下,大数据为什么这么快?传统数据大数据扩展性纵向扩展横向扩展分布式资源集中资源分布可用性单份数据数据复制模型移动数据移动计算程序文章目录1.扩展性对比传统数据纵向扩展大数据横向扩展2.分布式对比传统数据集中式计算传统数据集中式存储大数据...
原创
2022-02-16 16:03:05
186阅读
大数据项目为什么使用Docker随着大数据平台型产品方向的深入应用实践和Docker开源社区的逐渐成熟，业界有不少的大数据研发团队开始使用Docker。简单来说，Docker会让大数据平台部署更加简单快捷、让研发和测试团队集成交付更加敏捷高效、让产线环境的运维更加有质量保障。一、场景一在大数据平台型产品的开发过程中，经常要跟许多模块打交道，包括Hadoop、HBase、Hive、Spark、Sqo
推荐
原创
2022-05-20 18:57:51
996阅读
点赞
Docker介绍一、什么是虚拟化在计算机中，虚拟化（英语：Virtualization）是一种资源管理技术，是将计算机的各种实体资源，如：服务器、网络、内存、存储等等，予以抽象、转换后呈现出来，打破实体结构间的不可切割的障碍，使用户可以比原来的组态更好的方式来应用这些资源，这些资源的核心虚拟部分是不受现有资源的架设方式，低于或者物理组态所限制，一般所指的虚拟化资源包括计算能力和资料存储。在实际的生
原创
精选
2022-05-21 10:04:07
340阅读
点赞
