从连接到智能我们都说现在是移动互联网时代，移动互联网时代我们随时随地能够上网，面向连接的革命诞生了很多有意思
转载
2022-01-04 11:00:23
457阅读
高可用和高性能采用自研 Yarn Federation 技术实现资源按需无限扩展京东大数据平台的离线计算基于 Hadoop 分布式技术构建。随着集群规模的迅速扩张，基于Yarn 的资源管理已出现性能瓶颈， 无法满足规模扩展的要求。京东大数据平台部自研了 YarnFederation 技术，如图所示，解决目前开源版本的 Yarn 带来的性能瓶颈。通过 Yarn Federation 技术打破了 Ha
转载
2022-09-04 05:56:30
1780阅读
什么是PandoraPandora是七牛大数据团队及整个系列产品的代号，我们的目标是提供简单、开放、高效的一站式大数据平台。系统设计分析与架构构建系统的挑战在最开始做这个系统的时候，我们先梳理一下有可能会遇到的问题。一个好的系统不仅要解决当下的问题，更要考虑到未来可预期时间里业务上或者数据规模上可能面临的一些挑战。上图中左边的三点是我们在业务上需要考虑的点，右边的三点则是我们从具体实现和架构上去考
原创
2021-05-06 15:52:53
558阅读
么是PandoraPandora是七牛大数据团队及整个系列产品的代号，我们的目标是提供简单、开放、高效的一站式大数据平台。系统设计分析与架构构建系统的挑战在最开始做这个系统的时候，我们先梳理一下有可能会遇到的问题。一个好的系统不仅要解决当下的问题，更要考虑到未来可预期时间里业务上或者数据规模上可能面临的一些挑战。上图中左边的三点是我们在业务上需要考虑的点，右边的三点则是我们从具体实现和架构上去考虑
原创
2021-03-18 10:04:34
488阅读
说起这个Palantir，其实早就出名了。最早崭露头角的新闻是它帮助美国找到了本拉登的藏身之处！厉害吧？说起这个事情，还带有一些传奇色彩。公司是Peter Thiel和karp创立的，顺便提一句，这个Peter thiel就是写了那本《从0到1》的那个Paypal创始人。广告创业从0到1作者：何维克京东 这个Peter早就财务自由了，天天浪迹天涯从不管公司的事情。Karp是一个哲学博士
原创
2021-03-18 20:32:41
208阅读
花了5个小时，为你整理出了这几个牛X 的 github大数据项目 ...
原创
2022-12-11 22:42:21
344阅读
本文作者：李栋，来自Kyligence公司，也是Apache Kylin Committer & PMC member，在加入Kyligence之前曾就职于eBay、微软。1.Apache Kylin是什么？ 在现在的大数据时代，越来越多的企业开始使用Hadoop管理数据，但是现有的业务分析工具（如Tableau，Microstrategy等）往往存在很大的局限，如难以水平扩展、
转载
2018-08-04 17:29:51
1114阅读
大神和大神也是不一样的，有的年入20万，有的年入200万。为什么有的大神不但技术好，而且又能赚钱发展副业？
转载
2021-08-09 11:28:23
820阅读
Yarn的出现伴随着Hadoop的发展，使Hadoop从一个单一的大数据计算引擎，成为大数据的代名词。
原创
精选
2022-04-12 15:06:33
1612阅读
点赞
我上大学时那时候安卓的版本才到安卓4.4,在智能手机出来普及以前,各大网站的数据量并没有那么多,但是随着智能手机的普及,互联网巨头家里的数据呈现几何级增长,像什么微博,微信,视频网站的数据;需要找到合适的存储方式—>>分布式存储架构,可以水平扩展,实现存储数据类型多样化,二维可以实现高容错高吞吐量,轻松实现大文件存储(支持P级别的
原创
2023-03-15 11:01:42
572阅读
大数据啊大数据！浪尖浪尖聊大数据开始本文之前，希望大家参与一下下面的投票。做这个投票的主要原因是最近经常有找浪尖咨询大数据，自学，培训及找工作的事情，问题归类如下：大数据要不要培训自学一段时间，发现很痛苦，没人指导想放弃，培训费用太高了培训发现跟不上，举步维艰培训结束了，为啥面试机会甚少下面分类回答一下。1.大数据需要培训吗？对于java老鸟，因为有比较强的编程经验，可以买点视频或者找大牛付费专栏
原创
2021-03-19 13:47:02
10000+阅读
花了5个小时，为你整理出了这几个牛X 的 github大数据项目
原创
2021-09-01 18:20:44
119阅读
花了5个小时，为你整理出了这几个牛X 的 github大数据项目
原创
2022-01-07 15:14:38
737阅读
1.大数据对思维方式的影响是使得分析全样而非抽样、效率而非精准、相关而非因果。 2.区别：大数据侧重于对海量数据的存储、处理与分析，从海量数据中发现价值，服务于生产和生活；云计算本质上旨在整合和优化各种IT资源，并通过网络以服务的方式廉价地提供给用户；物联网的发展目标是 实现物物相连，应用创新是物联网发展的核心。 联系：从整体上看
转载
2024-01-16 00:39:18
318阅读
今天听了一场报告会，是清华计算机系60周年系列讲座之一，主讲人是哈工大软院院长李建中教授，主题《计算和数据资源受限的大数据计算的复杂性理论与高效算法研究》，李老师介绍的大数据计算理论体系很...
原创
2022-04-29 22:22:20
2137阅读
大数据最全知识点整理-HBase篇基础问题：1、Hbase是什么2、Hbase架构3、Hbase数据模型4、Hbase和hive的区别5、Hbase特点6、数据同样存在HDFS，为什么HBase支持在线查询，且效率比Hive快很多7、Hbase适用场景8、RowKey的设计原则9、HBase中scan和get的功能以及实现的异同？10、Scan的setCache和setBatchsetCache
大数据框架 系统平台 Hadoop、CDH、HDP 监控管理 CM、Hue、Ambari、Dr.Elephant、Ganglia、Zabbix、Eagle 文件系统 HDFS、GPFS、Ceph、GlusterFS、Swift 、BeeGFS、Alluxio 资源调度 YARN、Mesos 协调框架
原创
2022-07-30 00:54:47
954阅读
