大象:Thinking in UML》以UML为载体,将面向对象的分析设计思想巧妙地融入建模过程中,通过贯穿全书的实例将软件系统开发过程中方方面面的知识有机地结合在一起,用生动的语言和精彩的事例将复杂枯燥的软件过程讲解得津津有味。  全书分为四个部分。第一部分讲述面向对象分析的一些基本概念,及学习建模需要了解的一些基本知识。第二部分对UML的基础概念重新组织和归纳整理,进行扩展和讨论,引申出针对
Hadoop生态圈What is Hadoop?Hadoop思想来源Hadoop的历史三大发行版本Hadoop的优势Hadoop的组成Hadoop1.*和2.*的区别Hadoop组成HDFSYarnMapReduce大数据技术生态体系What is Hadoop?Hadoop思想来源  Google是Hadoop思想和技术的来源. 具体来说就是Hadoop的" 三驾马车" --Google 发布的
Henry和我正在进行一项检查大数据以及其真正意义的工作。大数据是一个流行语。和许多流行语一样,大数据这个词用得有些滥了,但是它包含了一些真正的有用性和技术。我们决定在这个主题上对大数据进行一番分析,努力挖掘其中的真实性以及它们对存储解决方案的意义。Henry用一个很好的介绍开始了这个系列。他对大数据的定义是我所见过的最好的定义。因此,我将重复这个定义:大数据是将数据变为信息然后变为知识的过程。这
做一个网络爬虫的程序吧,根据客户的需求,要求把相关的内容爬取到本地最终选择的是apache nutch,到目前为止最新的版本是1.31. Nutch是什么?Nutch是一个开源的网页抓取工具,主要用于收集网页数据,然后对其进行分析,建立索引,以提供相应的接口来对其网页数据进行查询的一套工具。其底层使用了Hadoop来做分布式计算与存储,索引使用了Solr分布式索引框架来做,Solr是一个开源的全文
Hadoop 框架学习笔记大数据技术解决什么问题?主要解决海量数据存储和计算。Hadoop的广义和狭义之分?狭义:Hadoop 由三部分组成:HDFS:分布式文件系统存储 MapReduce:分布式离线计算框架 YARN:资源调度框架广义:不仅是Hadoop框架,之外还有周边框架,比如 Flume:日志数据采集;Sqoop:关系型数据库的采集、导出;Hive:深度依赖Hadoop框架完成计算(S
转载 2023-07-12 22:00:47
92阅读
什么是Hadoop?搞什么东西之前,第一步是要知道What(是什么),然后是Why(为什么),最后才是How(怎么做)。但很多开发的朋友在做了多年项目以后,都习惯是先How,然后What,最后才是Why,这样只会让自己变得浮躁,同时往往会将技术误用于不适合的场景。Hadoop框架中最核心的设计就是:MapReduce和HDFS。MapReduce的思想是由Google的一篇论文所提及而被广为流传的
大数据_04 【Hadoop】01 Hadoop的介绍以及发展历史02 Hadoop的历史版本介绍04 Hadoop三大公司发型版本介绍05 Hadoop的模块组成06 Hadoop集群安装部署 01 Hadoop的介绍以及发展历史1. Hadoop最早起源于lucene下的Nutch。Nutch的设计目标是构建一个大型的全网搜索引擎,包括网页抓取、索引、查询等功能,但随着抓取网页数量的增加,遇
[Cheung1] [Cheung1]
原创 2008-11-11 11:01:19
761阅读
8评论
Hadoop和spark的起源Hadoop起源1998年9月4日,Google公司在美国硅谷成立。正如大家所知,它是一家做搜索引擎起家的公司无独有偶,一位名叫Doug Cutting的美国工程师,也迷上了搜索引擎。他做了一个用于文本搜索的函数库(姑且理解为软件的功能组件),命名为LuceneLucene是用JAVA写成的,目标是为各种中小型应用软件加入全文检索功能。因为好用而且开源(代码公开),非
开篇之言:  老子说:大音希声,大象希形。我的理解大概是,音至极美,声之其次;象至极大,形之其次;器至极巧,工之其次。第一章:准备——需要了解一:面向过程还是面向对象。A:面向过程:1)前提:面向过程的前提假设是这个过程是稳定的且过程中的每一步都是设定好的。2)概念:面向过程的方法认为我们的世界是由一个个相互关联的小系统组成的。且这样的小系统依据严密的逻辑组成的,环环相扣,井然有序。每个
转载 7月前
56阅读
近来的股市行情令我以为,牛市易亏大钱,熊市易赚小钱.盖因,人在牛市中往往大意,在熊市中,时刻有割肉的想法,今朝有酒今朝醉反而更易进退自如。这阵子的操作,可以总结出几点:不贪,赚到就走;不追高,逢低则进;仓位控制和分步买卖——这很重要,在熊市中要有这样的想法:赚到是捡到的,不赚是应当的,所以尽量用小仓位进行买卖,然后再分批补仓;注意分时走势,一般会以均线为支撑点或是买入卖出信号;权证比股票易于操作,
原创 2008-12-03 15:40:15
641阅读
1评论
原题链接总时间限制: 1000ms 内存限制: 65536kB描述一只大象口渴了,要喝20升水才能解渴,但现在只有一个深h厘米,底
原创 2023-01-17 01:34:04
99阅读
介绍
原创 2022-10-17 20:01:54
130阅读
大音希声,大象希行。什么是面向过程?什么是面向对象?面向过程归纳为结构化程序设计、DFD图、ER模型、UC矩阵等,而面向对象则被归纳为继承、封装、多态、复用等具体的技术。事实上,上述的所有技术都只是人们在采用不同的方法来认识和描述这个世界时所采用的工具,他们都只是表征而不是本质。面向过程方法认为我们的世界是一个个相互关联的小系统依据严密的逻辑组成的,环环相扣,井然有序。对于每一个小系统都有着明确的
5.1 小文件大数据这个概念似乎意味着处理GB级乃至更大的文件。实际上大数据可以是大量的小文件。比如说,日志文件通常增长到MB级时就会存档。这一节中将介绍在HDFS中有效地处理小文件的技术。 技术24 使用Avro存储多个小文件假定有一个项目akin在google上搜索图片,并将数以百万计的图片存储分别在HDFS中。很不幸的是,这样做恰好碰上了HDFS和MapReduce的弱项,如下:H
转载 11月前
44阅读
时间限制: 1000 ms ...
转载 2019-02-27 19:11:00
103阅读
2评论
时间限制: 1000 ms 内存限制: 65536 KB 提交数: 14866 通过数: 9324 【题目描述】一只大象口渴了,要喝20升水才能解渴, 但现在只有一个深h厘米,底面半径为r厘米的小圆桶(h和r都是整数)。问大象至少要喝多少桶水才会解渴。 【输入】输入有一行:包行两个整数,以一个空格分开,分别表示小圆桶的深h和底面半径r,单位都是厘米。 【输出】输出一行,包含一个整数,表示大象至少要
原创 2022-03-23 18:39:06
185阅读
包是一种容器 如同文件夹一样它将某些信息分类 形成逻辑单元 使用包的目的是为了 整合
原创 2023-03-01 08:14:27
37阅读
时间限制: 1000 ms ...
转载 2019-02-27 19:11:00
110阅读
2评论
时间限制: 1000 ms 内存限制: 65536 KB提交数: 14866 通过数: 9324【题目描述】一只大象口渴了,要喝20升水才能解渴,但现在只有一个深h厘米,底面半径为r厘米的小圆桶(h和r都是整数)。问大象至少要喝多少桶水才会解渴。【输入】输入有一行:包行两个整数,以一个空格分开,分别表示小圆桶的深h和底面半径r,单位都是厘米。【输出】输出一行...
原创 2021-08-10 09:47:09
237阅读
  • 1
  • 2
  • 3
  • 4
  • 5