大数据算法大家已经不陌生了,到研究生阶段听到最多的就是什么是大数据、大数据的特点,在这个大数据的背景下的算法有什么特点,是不是就是把spark、flink跑起来就叫大数据了,其实并不是这样的。
一、大数据的定义
1、定义1 (Kusnetzky, Dan. What is “Big Data?”)
所涉及的数据量规模巨大到无法通过人工,在合理时间内达到截取、
管理、处理、并整理成为人类所能解读的信息
2、定义2 (维克托·迈尔-舍恩伯格、肯尼斯·库克耶.“大数据时代”)
不用随机分析法(抽样调查)这样的捷径,而采用所有数据的方法
3、 定义3 (“大数据”(Big data)研究机构Gartner)
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力
和流程优化能力的海量、高增长率和多样化的信息资产。
二、大数据的特点
三、大数据的应用
- 预测
- 推荐
- 商业情报分析
- 科学研究
四、大数据上问题求解计算问题的过程
五、大数据算法
1、大数据算法的定义
在给定的资源约束下,以大数据为输入,在给定时间约束内可以生成满足给定约束
结果的算法。
2、大数据算法可以不是:
- 精确算法
- 内存算法
- 串行算法
- 仅在电子计算机上运行的算法
3、大数据算法不仅是:
- 云计算
- MapReduce
- 大数据分析和挖掘的算法
- 数据库中的算法
4、大数据算法的难度
(1)访问全部数据时间过长
读取部分数据
(2)数据难于放入内存计算
- 将数据存储到磁盘上
- 仅基于少量数据进行计算
(3)单个计算机难以保存全部数据,计算需要整体数据
并行处理
(4)计算机计算能力不足或知识不足
人来帮忙