【福利】北风网大数据之spark从入门到精通（一）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是Scala编程详解。
原创
2020-12-06 22:36:12
321阅读
【福利】北风网大数据之spark从入门到精通（二）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是Scala编程进阶。
原创
2020-12-06 22:37:20
312阅读
【福利】北风网大数据之spark从入门到精通（四）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是内存计算框架Spark。
原创
2020-12-06 22:39:22
392阅读
【福利】北风网大数据之spark从入门到精通（三）北风网大数据之spark从入门到精通今天给大家带来的教程是北风网大数据spark从入门到精通，分为四个阶段：Scala编程详解、Scala编程进阶、Spark深入剖析、内存计算框架Spark，今天分享的是SSpark深入剖析。
原创
2020-12-06 22:38:19
306阅读
物联网与大数据技术（大数据篇）一.大数据的7个问题1.产生背景2.发展历程3.结构与特征4.涉及到的关键技术5.与大数据相关的概念6.发展趋势7.未来前景二.云计算1.定义2.五个特性3.云计算服务类型4.云计算、物联网、大数据的关系三.资料拓展 一.大数据的7个问题1.产生背景(1) 信息科技进步，包括互联网的兴起、移动设备的普及。 (2) 云计算等技术的发展。 (3) 数据资源化趋势。2.发
http://www.beifeng.com/hadoop.html
转载
2016-07-17 22:37:00
68阅读
2评论
人工智能物联网时代，数据量呈现指数级增长，其中文本、音视频等非结构数据的占比已超过85%，未来将进一步增大。“大数据”这个概念大约是从2011年开始火起来的，如果从Apache Hadoop项目的正式启动算起，海量数据的分布式存储、管理和计算技术已有10年的历史。物联网大数据应用每个行业都有其特定的业务逻辑及核心痛点，这些往往不是大数据的通用技术能够解决的。日志分析、用户行为分析、舆情监控、精准营
转载
2023-07-28 10:13:17
0阅读
OLTP与OLAPOLTP（On-Line Transaction Processing）:联机事务处理过程也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一。OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理。数据量少，DML频繁，并行事务处理多，但是一般都很短。OLAP（On-L
在智能电网领域中，数据工程到底是如何实施的呢？本文将以IBM的Itelligent Utility Network产品为例阐述智能电网中的数据工程，它是IBM声称传统电网向智能电网转变的整体方案
前言 另一方面，如今是一个数据爆炸的时代，电力领域也不例外。随着大量高级传感器、智能量测系统投入使用，大量
转载
2023-06-08 14:41:24
201阅读
自从第一辆装有安吉星的汽车在北美大路上行驶以来，车联网的发展已经走过了四分之一个世纪。但是，这并不意味着车联网这个行业要开始走下坡路了。恰恰相反，随着技术的不断升级，车联网行业犹如新生的朝阳，正在不断走向新的辉煌。作为这个行业的从业者，在当前的这个节点（即将进入5G时代），通过回首行业发展历程，试图能抓住未来的变化趋势。1995年，通用(GM)，EDS公司（Electronic Data Syst
转载
2023-09-07 13:57:36
0阅读
最近很多人跟我讨论物联网和大数据，但他们大都还对这两个技术分类认识不是很清晰。在这里我结合我们的一些案例对这两个概念做一些阐述。物联网是一个完整的概念，不仅包括远端的传感器数据采集、传输、存储和展示，还包括对采集的传感器历史数据的分析，以及基于分析结果所产生的决策、反馈和控制动作。相对于传统的人的认知方式，物联网相当于增强了人的“五官“的识别能力，使人能够获取到原本很多无法直接获取的信息。而基于物
北风设计模式课程 组合模式 一、总结 一句话总结： 1、组合模式的作用是什么？ 2、组合模式解决什么问题？ 3、组合模式的使用场景是什么？ 4、组合模式优点？ 5、组合模式缺点？ 二、设计模式（十二）：组合模式 转自或参考：设计模式（十二）：组合模式https://..com/j
转载
2019-06-16 16:31:00
48阅读
2评论
目录02-01-什么是大数据02-02-数据仓库和大数据搭建数据仓库的过程.png02-03-OLTP和OLAP02-04-分布式文件系统的基本思想分布式文件系统的基本思想.png02-05-什么是机架感知机架感知的基本思想.png02-06-什么是倒排索引什么是索引.png什么是倒排索引.png02-07-HDFS的体系架构和Demo演示02-08-什么是PageRankGoogle的向量矩阵.
转载
2023-09-05 19:31:28
49阅读
一、大数据技术与应用入门培训教程大纲 1.1.大数据定义与解决方案 1.2.大数据行业应用 1.3.大数据技术学习前景 1.4.大数据从业岗位要求 1.5.大数据常用概念
转载
2023-07-25 11:47:14
59阅读
【摘要】 在物联网时代，数量庞大的“物”会产生海量数据，本文为您介绍两种基于物联网平台进行大数据分析的方法-实时分析和离线分析。在物联网时代，数量庞大的“物”会产生PB级的海量数据，传统的数据处理服务的处理速度已无法跟上数据产生的速度。如果没法及时分析与利用这庞大的物联网设备数据，就无法将数据的价值最大化，大数据分析能力的建设对物联网企业来说又成为了一个新的挑战。针对这种情况，大数据处理服务应运而
大数据课程介绍什么是大数据：海量数据的处理大数据用在哪：用在需要对海量数据进行处理的任何场合大数据学什么： （1）学分布式系统的思想 （2）学框架基础课程内容介绍Linux & Shell编程基础 Hadoop Mapreduce数据的处理流程： 收集数据—>web服务器，打日志–flume，sqoop–>hadoop(hdfs)----->数据的清理----->数
转载
2023-08-10 22:13:29
48阅读
6月15日，从江苏南通供电公司信通公司传来好消息，大数据在配网规划中的应用项目大大提升了南通电网规划效率，并获得国网江苏省电力公司科学进步三等奖。南通供电公司尝到了先进计算及大数据联合试验带来的甜头。此前，国家电网公司先进计算及大数据技术联合实验室—南通试验中心在南通成立。该中心积极参与全球能源互联网研究院等机构组织的智能电网先进计算与系统、智能电网优先控制、智能电网大数据工程等方面的基础性、前瞻
在当前的互联网领域，大数据的应用已十分广泛，尤其以企业为主，企业成为大数据应用的主体。大数据真能改变企业的运作方式吗?答案毋庸置疑是肯定的。随着企业开始利用大数据，我们每天都会看到大数据新的奇妙的应用，帮助人们真正从中获益。大数据的应用已广泛深入我们生活的方方面面，涵盖医疗、交通、金融、教育、体育、零售等各行各业。毫无疑问，大数据的市场前景广阔，对各行各业的贡献也将是巨大的。目前来看，大数据技
转载
2023-08-09 09:53:02
88阅读
众所周知，物联网已经成为互联网创新发展的一大方向，而其中车联网、UBI(新型的车险定价和运营模式)、大数据的概念也越来越火爆，备受资本和BAT巨头青睐。有相关预测显示，未来五年是车联网大数据发展的黄金增长期，汽车后市场也正因此迎来巨大变革。纵观智慧交通的内涵，各种最为关键的技术既是车联网，藉由布建在汽车或道路的大量传感器持续汇集数据，继而透过大数据分析，转化为有效信息，接着经由实时串联人、车、路三
