Google引爆大数据时代的三篇论文谈到Hadoop的起源，就不得不提Google的三驾马车：Google FS、MapReduce、BigT...
原创
2019-03-21 10:35:55
262阅读
文章目录第一篇：Google File System第二篇：Google Bigtable第三篇：Google MapReduce三篇论文看完后的想法第一篇：Google File System论文地址本论文设计并实现了 Google GFS 文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS 与传统的分布式文件系统有着很多相同的设计目标，比如，性能、可伸缩性、可靠性...
原创
2021-07-13 11:24:51
796阅读
今天盘点Poster中的谷歌论文，总计27篇，从这些论文中可看出，谷歌很重视自动驾驶，多篇论文为自动驾驶领域，目标检测、NAS、数据增广方法等也是研究的重点。
转载
2021-07-16 15:01:43
787阅读
通过学习Google这三篇论文，我初步了解了Google文件系统(Google File System – GFS)，Bigtable和MapReduce。因为这三篇论文内容过于丰富而我的论文读后感字数有限，所以我就简单讲一下Google文件系统的有关内容以及读完之后的感受。Google文件系统是Google公司根据传统分布式文件系统和自身的应用的负载情况和技术环境的观察的影响来设计的。因此，不管
Bigtable：一个分布式的结构化数据存储系统译者：alex 摘要Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从UR...
原创
2022-03-09 10:20:15
246阅读
Bigtable：一个分布式的结构化数据存储系统译者：alex 摘要Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从URL到网页到卫
原创
2021-01-10 20:43:46
174阅读
Bigtable：一个分布式的结构化数据存储系统译者：alex 摘要Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从URL到网页到卫
原创
2021-01-10 20:43:51
256阅读
Bigtable：一个分布式的结构化数据存储系统译者：alex 摘要Bigtable是一个分布式的结构化数据存储系统，它被设计用来处理海量数据：通常是分布在数千台普通服务器上的PB级的数据。Google的很多项目使用Bigtable存储数据，包括Web索引、Google Earth、Google Finance。这些应用对Bigtable提出的要求差异非常大，无论是在数据量上（从UR...
原创
2021-07-26 17:35:46
324阅读
Google在03至06年发表了著名的三大论文——GFS、BigTable、MapReduce，用来实现一个大规模的管理计算系统。
今天先来谈谈GFS。因为论文里大段大段的文字加上专业术语读起来对我来说还是有一定困难的，这几篇论文我粗略地看了一遍，然后查询了一些资料，把我的理解以及把论文里一些原文提取出来整合了一下。把每个知识点单独列出来再分为更小的知识点，这样觉得比较容易理解。如果什么地方有理
原创
2021-07-26 17:37:31
499阅读
Google在03至06年发表了著名的三大论文——GFS、BigTable、MapReduce，用来实现一个大规模的管理计算系统。今天先来谈谈GFS。因为论文里大段大段的文字加上专业术语读起来对我来说还是有一定困难的，这几篇论文我粗略地看了一遍，然后查询了一些资料，
原创
2022-03-09 10:20:42
217阅读
机器学习，这两个词会让你想到什么？相信绝大多数人第一反应都是CNN，而持续关注这...
原创
2023-05-02 09:55:01
123阅读
Google在03至06年发表了著名的三大论文——GFS、BigTable、MapReduce，用来实现一个大规模的管理计算系统。今天先来谈谈GFS。因为论文里大段大段的文字加上专业术语读起来对我来说还是有一定困难的，这几篇论文我粗略地看了一遍，然后查询了一些资料，把我的理解以及把论文里一些原文提取出来整合了一下。把每个知识点单独列出来再分为更小的知识点，这样觉得比较容易理解。如果什么地方有理解错
原创
2021-01-10 20:45:03
853阅读
谷歌的三篇论文（GFS、MapReduce分布式计算模型 、BigTable大表）0 谷歌的基本思想：三驾马车1 第一篇论文：GFS1.1 Googl
原创
2022-07-12 09:41:43
2076阅读
摘要：Hadoop技术已经在互联网领域得到广泛的应用，同时也得到了学术界的普遍关注。该文介绍了Hadoop作为基础数据处理平台仍然存在的问题，阐明了Hadoop性能优化技术研究的必然性，并介绍了当前Hadoop优化的三个主要思路：从应用程序角度进行优化、对Hadoop系统参数进行优化和对Hadoop作业调度算法进行优化。Hadoop集群优化对于提高系统性能和执行效率具有重大的意义。 [如何发表
转载
2023-07-21 14:49:22
131阅读
一 前言在很多时候，我们可能需要处理的不是一个单独的文件，而是几个有关联的文件，比如账户信息和订单信息=>账户信息：customerIdname address telephone订单信息：orderIdcustomerId price productName我们很可能就需要用到这2个文件，并且他们的关系通过用户id进行关联或者join. 两个文件的关联点作为key，后
本次仔细阅读了Google公司的三篇重要的论文分别为《Google File System》、《Google Bigtable》和《Google MapReduce》，让我对分布式系统和大体量数据的存储有了新的认识和理解，下面我主要以三篇论文的主要内容做一个总结以
原创
2022-01-17 18:20:02
409阅读
map函数：处理一组key/value对进而生成一组key/value对的中间结果
reduce函数：将具有相同Key的中间结果进行归并
思想 map函数：处理一组key/value对进而生成一组key/value对的中间结果 reduce函数：将具有相同Key的中间结果进行归并
读懂一篇技术论文，首先需要明白“论文是写给谁看的”和“论文是怎么写出来的”这两个基本问题，然后就可以有针对性地提升自己阅读论文的功力。在信息化时代，技术发展日新月异，知识更新的速度也越来越快。以前我们可以安安稳稳地坐在教室里，等到一本写得不错的教材出来，然后再系统地学习知识。而现在，我们却必须选择去读那些最新发表出来的技术论文，因为只有这样才能跟得上时代发展的潮流。作为互联网行业的软件从业人员，读
原创
2021-05-16 15:04:09
652阅读
大数据 1、什么是大数据 简单说就是身边的一切，你看到的是，听到的是，闻到的感觉到的触摸到的都是 2、具体一点 天猫淘宝的购物数据，你的聊天记录，医疗记录，看书或者挑东西时候的推荐物品大数据的问题 1、生活中的种种数据数量如此之多，如何存储 2、要让数据有意义，又该怎么去处理海量的数据Google对大数据问题的思想...
转载
2022-03-09 10:21:02
285阅读
的思想...
转载
2021-07-26 17:32:39
526阅读
