2017年最热的技术词汇非人工智能A莫属，大数据B和云计算C渐少人提及了，但就像倒在了杯子里的啤酒，当泡沫逐渐消去，醇香才开始四溢！让我们一起回顾一下云计算平台在2017年都有哪些精彩！公有云混战难分胜负2017年，中国公有云市场群雄混战。互联网大鳄、外资巨头、硬件厂商、初创新贵们，似乎都觊觎着这块肥肉，不肯离场。阿里云继续一骑绝尘，最新一季度营收近30亿人民币，继续同比100%的成长，虽然还不盈
转载
2018-08-13 09:18:29
412阅读
大数据会是一场概念的骗局么？近期这样的讨论在网上随着大数据的话题而不断涌现出来。其实大数据并不是一项全新的技术，它的本质表现在数据的形态更为复杂，增长的速度更快和交互的频率更高
今年已经被认为是云计算时代的“大数据”元年，各大平台即服务(PaaS)提供商备受媒体的关注，比如亚马逊、谷歌、Heroku、IBM和微软。但是哪些提供商在公共云领域真正提供最全面的A
原创
2012-06-14 14:18:34
653阅读
一、大数据的结构1.大数据的结构化大数据包括结构化、半结构化和非结构化数据，非结构化数据越来越成为数据的主要部分。据IDC的调查报告显示：企业中80%的数据都是非结构化数据，这些数据每年都按指数增长60%。大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业
1， 大数据可以用于人才管理（录，离，升，降，调）。 招聘时候根据简历内容自动给出测试题，机器自动过滤，判单候选人是否适合公司的岗位，适合什么岗位，根据大数据分析，可以提前3个月预测人员是否会离职，提前采取留人措施。 问题：收集什么样的员工数据，以及如何收集这些数据，来预测人员是否会离职？ 2. C ...
转载
2021-10-28 22:24:00
305阅读
2评论
4月19日，IBM软件集团在北京举办大中华区2012年策略发布会。IBM大中华区副总裁兼大中华区软件集团总经理胡世忠向参会媒体表示，“随着 移动互联网、社交媒体、电子商务、物联网的飞速发展，以及智能手机、平台电脑和3G网络的普及，我们正在面临四大挑战。这些挑战分别是数据爆炸的环境、愈 加苛求的客户、超级互联的社会、持续创新的压力。”
IBM大中华区副总裁兼
原创
2012-04-26 10:59:00
1200阅读
随着对不同类型、不同体量数据的结构化存储、批量处理以及价值挖掘需求的增多，支持大量结构化和非结构化数据的系统将继续增长。市场需要数据平台来帮助数据管理人员管理和保护大数据，同时允许最终用户进行数据分析。这些系统将逐步成熟，在企业内部的IT系统中更好地运行。1、数据处理变得更加快速，数据也变得更加易于使用2、大数据不再只是Hadoop3、相关组织将利用数据湖(DataLake)来实现价值4、成熟的架
原创
2023-04-19 09:46:31
159阅读
## 引言
随着互联网、物联网和移动设备的普及，数据量呈爆炸式增长，我们进入了所谓的“大数据时代”。在这个时代，能够高效地收集、存储、处理和分析大规模数据集变得至关重要。大数据不仅改变了商业智能(BI)和决策支持系统(DSS)的面貌，还对个人隐私保护和数据分析伦理提出了新的挑战。
## 大数据的概念
### 定义
大数据通常指的是超出传统数据库软件处理能力的数据集合。它包括数据的三个V特性：大容量
Hadoop来临特点：海量数据需要及时分析和处理。海量数据需要深入分析和挖掘。数据需要长期保存问题：磁盘IO成为一种瓶颈,而非CPU资源。网络带宽是一种稀缺资源硬件故障成为影响稳定的一大因素Hadoop在国内的应用奇虎360：Hadoop存储软件管家中软件，使用CDN技术将用户请求引到最近的Hadoop集群并进行下载京东、百度：存储、分析日志、数据挖掘和机器学习（主要是推荐系统）广告类公司：存储日
原创
2017-06-26 17:50:20
3282阅读
点赞
大数据的时代意义一、大数据对经济社会的重要影响。1、能够推动实现巨大经济效益比如对中国零售业净利润增长的贡献，降低制造业产品开发、组装成本等。预计2013年全球大数据直接和间接拉动信息技术支出将达1200亿美元。2、能够推动增强社会管理水平大数据在公共服务领域的应用，可有效推动相关工作开展，提...
转载
2017-01-26 11:25:00
537阅读
2评论
一、大数据时代还需要数据治理吗？数据平台发展过程中随处可见的数据问题大数据不是凭空而来，1981年第一个数据仓库诞生，到现在已经有了近40年的历史，相对数据仓库来说我还是个年轻人。而国内企业数据平台的建设大概从90年代末就开始了，从第一代架构出现到现在已经经历了近20年的时间。在这20年的时间里，国内数据平台实施者可以说是受尽折磨，数据项目一直不受待见，是出了名的脏活累活。可以说，忽视数据治理给数
“大数据”，其实并不是新的概念和现象。早在1980 年代，美国就有人提出了“大数据”的概念。30多年来，由于信息技术的进步，各个领域的数据量都在迅猛增长，美国的企业界、学术界也不断地对这个现象及其意义进行探讨。最近这一两年，“大数据”这个概念在美国变得越来越流行、越来越重要。2012年3月，美国联邦政府宣布投入2亿多美元启动大数据的研发任务，并把大数据定义为和历史上的互联网、超级计算同等重要的国家
转载
精选
2013-01-11 15:32:43
1059阅读
现在想想也不记得当时是怎么找到《大数据时代》这本书的，好像是在查找数据库方面的书，看到亚马逊推荐的书里有这本，发现最近才出版的就买一本回来看看。
然而这个过程中，其实自己已经得到了大数据带来的影响。
我的浏览记录被亚马逊监视着，根据这些记录它们寻找和我浏览记录相关（同类）的书籍，预测我会看它们的可能性比较大，于是在亚马逊给我的推荐书目里，就多了一本大数据时代。而我买
原创
2013-04-11 16:51:41
602阅读
大数据时代: 生活、工作和思维的大变革一书写的相当不错，深入浅出，实例丰富。不过读的时候，常让人迷恋于各种小故事，而无法一下子把握整本书的想阐述的思想脉络。所以，自己列个提纲，记录一下书内的一些闪光点。 第一部分：思维变革一共三章，这三章其实是一个整体，联系起来理解其实会更深刻。抽样、精确、因果三者之间的关系是什么？在解决经典统计问题，三者的作用是什么？而针对大数据状况下，全部、混杂、相关的作用是什么？1. 抽样vs全部抽样在数据收集时效性不能保证时采取的办法。而采用全部数据模式，是因为信息收集技术的进步。 而全部数据模式会比抽象数据更能反映 问题的本质。因为抽样数据需要保证随机性，而不是数量
转载
2013-09-27 19:08:00
145阅读
2评论
大数据时代的风险管理危机管理对于很多人来说是比较陌生的，很多时候风险管理被作为是一项的工作或者企业的工作，在当今的公共社会以及网络社区发展快速的时代，大数据技术也将为危机管理带来不一样的革命。随着现代化社会不断的推进，但是社会的安全因素并没有随之稳定或者减少，人类反而进入了一个风险越来越多...
转载
2016-06-25 20:21:00
189阅读
2评论
欢迎点击「算法与编程之美」↑关注我们！本文首发于："算法与编程之美"，欢迎关注
原创
2022-03-02 09:32:17
337阅读
本文參考CCF YOCSEF的“大数据时代的机器学习报告会”的相关内容。
张长水：大数据时代的机器学习 VS 传统机器学习
从机器学习角度看，“大数据”指的是数据量大，数据本身不够精确。数据混杂，数据自然产生。机器学习对大数据的处理的两个挑战：
数据量大导致计算困难
分布在不同server上的数据存在一定联系。这些数据基本上不满足“独立同分布”如果，传统的模型和算法非常难适应。
大数据
转载
2017-06-19 16:38:00
196阅读
2评论
大数据时代的风险管理危机管理对于很多人来说是比较陌生的，很多时候风险管理被作为是一项政府的工作或者企业的工作，在当今的公共社会以及网络社区发展快速的时代，大数据技术也将为危机管理带来不一样的革命。随着现代化社会不断的推进，但是社会的安全因素并没有随之稳定或者减少，人类反而进入了一个风险越来越多...
转载
2016-06-25 20:21:00
103阅读
2评论
这篇文章发表于InfoQ，比较通俗的介绍了一下大数据（Big Data）这个当下十分热门的话题。本月的《程序员》杂志也谈了很多这个话题的东东。
【参考】
深度剖析SOC高性能实时事件关联分析引擎
Forbes：大数据处理需要需要一个全新的大架构
直面海量处理+实时分析的双重挑战
转载
2011-10-26 13:02:05
791阅读
自2012年至今，大数据(bigdata)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。
它已经上过《纽约时报》《华尔街日报》的专栏封面，进入美国白宫官网的新闻，现身在国内一些互联网主题的讲座沙龙中，甚至被嗅觉灵敏的证券公司等写进了投
资推荐报告。 以往我们对于大数据的印象可以用“神秘”来描述，但实际上，数据的运用已经涉及到我们生活的方方面
原创
2016-04-14 14:03:01
1025阅读
大数据处理系统管理员大数据处理系统管理员负责日常Hadoop集群正常运行。例如直接或间接的管理硬件，当需要添加硬件时需保证集群仍能够稳定运行。同时还要负责系统监控和配置，保证Hadoop与其他系统的有机结合。大数据处理平台开发人员大数据处理平台开发人员负责构建大数据处理平台以及用来分析数据的应用。由于其在开发领域已具备相关的经验，所以比较熟悉相关的工具或算法。这在编写、优化以及部署各种复杂的Map
转载
精选
2013-06-13 10:31:33
390阅读
