【福利】北风网大数据之spark从入门到精通（一）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是Scala编程详解。
原创
2020-12-06 22:36:12
321阅读
【福利】北风网大数据之spark从入门到精通（二）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是Scala编程进阶。
原创
2020-12-06 22:37:20
312阅读
【福利】北风网大数据之spark从入门到精通（四）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是内存计算框架Spark。
原创
2020-12-06 22:39:22
392阅读
【福利】北风网大数据之spark从入门到精通（三）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是SSpark深入剖析。
原创
2020-12-06 22:38:19
306阅读
http://www.beifeng.com/hadoop.html
转载
2016-07-17 22:37:00
68阅读
2评论
人工智能物联网时代，数据量呈现指数级增长，其中文本、音视频等非结构数据的占比已超过85%，未来将进一步增大。“大数据”这个概念大约是从2011年开始火起来的，如果从Apache Hadoop项目的正式启动算起，海量数据的分布式存储、管理和计算技术已有10年的历史。物联网大数据应用每个行业都有其特定的业务逻辑及核心痛点，这些往往不是大数据的通用技术能够解决的。日志分析、用户行为分析、舆情监控、精准营
转载
2023-07-28 10:13:17
0阅读
OLTP与OLAPOLTP（On-Line Transaction Processing）:联机事务处理过程也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理。数据量少，DML频繁，并行事务处理多，但是一般都很短。OLAP（On-L
在智能电网领域中，数据工程到底是如何实施的呢？本文将以IBM的Itelligent Utility Network产品为例阐述智能电网中的数据工程，它是IBM声称传统电网向智能电网转变的整体方案
前言 另一方面，如今是一个数据爆炸的时代，电力领域也不例外。随着大量高级传感器、智能量测系统投入使用，大量
转载
2023-06-08 14:41:24
201阅读
自从第一辆装有安吉星的汽车在北美大路上行驶以来，车联网的发展已经走过了四分之一个世纪。但是，这并不意味着车联网这个行业要开始走下坡路了。恰恰相反，随着技术的不断升级，车联网行业犹如新生的朝阳，正在不断走向新的辉煌。作为这个行业的从业者，在当前的这个节点（即将进入5G时代），通过回首行业发展历程，试图能抓住未来的变化趋势。1995年，通用(GM)，EDS公司（Electronic Data Syst
转载
2023-09-07 13:57:36
0阅读
最近很多人跟我讨论物联网和大数据，但他们大都还对这两个技术分类认识不是很清晰。在这里我结合我们的一些案例对这两个概念做一些阐述。物联网是一个完整的概念，不仅包括远端的传感器数据采集、传输、存储和展示，还包括对采集的传感器历史数据的分析，以及基于分析结果所产生的决策、反馈和控制动作。相对于传统的人的认知方式，物联网相当于增强了人的“五官“的识别能力，使人能够获取到原本很多无法直接获取的信息。而基于物
【摘要】 在物联网时代，数量庞大的“物”会产生海量数据，本文为您介绍两种基于物联网平台进行大数据分析的方法-实时分析和离线分析。在物联网时代，数量庞大的“物”会产生PB级的海量数据，传统的数据处理服务的处理速度已无法跟上数据产生的速度。如果没法及时分析与利用这庞大的物联网设备数据，就无法将数据的价值最大化，大数据分析能力的建设对物联网企业来说又成为了一个新的挑战。针对这种情况，大数据处理服务应运而
物联网与大数据技术（大数据篇）一.大数据的7个问题1.产生背景2.发展历程3.结构与特征4.涉及到的关键技术5.与大数据相关的概念6.发展趋势7.未来前景二.云计算1.定义2.五个特性3.云计算服务类型4.云计算、物联网、大数据的关系三.资料拓展 一.大数据的7个问题1.产生背景(1) 信息科技进步，包括互联网的兴起、移动设备的普及。 (2) 云计算等技术的发展。 (3) 数据资源化趋势。2.发
6月15日，从江苏南通供电公司信通公司传来好消息，大数据在配网规划中的应用项目大大提升了南通电网规划效率，并获得国网江苏省电力公司科学进步三等奖。南通供电公司尝到了先进计算及大数据联合试验带来的甜头。此前，国家电网公司先进计算及大数据技术联合实验室—南通试验中心在南通成立。该中心积极参与全球能源互联网研究院等机构组织的智能电网先进计算与系统、智能电网优先控制、智能电网大数据工程等方面的基础性、前瞻
在当前的互联网领域，大数据的应用已十分广泛，尤其以企业为主，企业成为大数据应用的主体。大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。随着企业开始利用大数据，我们每天都会看到大数据新的奇妙的应用，帮助人们真正从中获益。大数据的应用已广泛深入我们生活的方方面面，涵盖医疗、交通、金融、教育、体育、零售等各行各业。毫无疑问，大数据的市场前景广阔，对各行各业的贡献也将是巨大的。目前来看，大数据技
转载
2023-08-09 09:53:02
88阅读
众所周知，物联网已经成为互联网创新发展的一大方向，而其中车联网、UBI(新型的车险定价和运营模式)、大数据的概念也越来越火爆，备受资本和BAT巨头青睐。有相关预测显示，未来五年是车联网大数据发展的黄金增长期，汽车后市场也正因此迎来巨大变革。纵观智慧交通的内涵，各种最为关键的技术既是车联网，藉由布建在汽车或道路的大量传感器持续汇集数据，继而透过大数据分析，转化为有效信息，接着经由实时串联人、车、路三
本文来说下美团（Leaf）分布式ID算法 文章目录概述Leaf特性Leaf-segment数据库方案双buffer优化Leaf高可用容灾Leaf-snowflake方案弱依赖ZooKeeper解决时钟问题Leaf现状本文小结 概述在复杂分布式系统中，往往需要对大量的数据和消息进行唯一标识。如在美团点评的金融、支付、餐饮、酒店、猫眼电影等产品的系统中，数据日渐增长，对数据分库分表后需要有一个唯一ID
转载
2023-07-06 11:51:19
194阅读
文章目录1、 Leaf-segment号段模式1.1 数据库配置1.2 导入并修改leaf项目1.3 Leaf-segment双buffer模式1.4 Leaf segment监控1.5 优缺点2.Leaf-snowflake2.1 Leaf-snowflake的启动过程2.2 优缺点 目前主流的分布式ID生成方式，大致都是基于数据库号段模式和雪花算法（snowflake），而美团（Leaf）
转载
2023-08-24 17:10:38
274阅读
“大数据”是这几年非常流行的一个词，大的互联网、电商、人工智能，还有很多传统的如金融、医疗、交通等行业，都在绞尽脑汁的通过大数据分析，来提高生产效率。对于大数据的处理，我们主要要实现几大方面的功能：数据采集、分析、存储、分布式技术、集群协调管理、机器学习。目前大数据处理方面，也出现了很多非常好的技术，主要有：Hadoop、Spark、Stom、Hive、HBase、Mongodb、ElasticS
转载
2023-07-12 12:26:31
67阅读
一、项目背景随着新农村建端推进和国家对城镇污水处理的不断重视，以农村小污水站位单位在生活污水治理和需求日趋旺盛，针对农村污水处理的MBBR设备应用也越来越多，设备本身是自动运行的，正常运行时无需认为干预，但是设备运行异常或达到维修状态是就要及时处理，由于设备分散且距离相隔远，经常派人巡检或在每个站点安排一名维护人员监控设备的运行、管理、维护，造成人力和财力的浪费，成本高，随着物联网、大数据、云计算
原创
2022-10-19 19:14:07
487阅读
【车辆网大数据平台软考论文】
摘要：
本文基于车辆网大数据平台的软考要求，探讨了大数据技术在车辆网领域的应用与挑战。首先介绍了车辆网大数据平台的概念、架构及其重要性，然后详细阐述了大数据处理、分析和挖掘在车辆网中的应用。接着，讨论了当前车辆网大数据平台面临的挑战，如数据安全性、实时性和多源数据融合等问题。最后，本文提出了针对这些问题的解决方案和发展趋势。
一、引言
随着智能交通系统的快速发
