Hadoop2系列才有的思想，Hadoop1系列设计比较冗余文件系统NameNode1.NameNode是一个中心服务器，单一节点（简化系统的设计和实现），负责管理文件系统的名字空间（namespace）以及客户端对文件的访问；2.副本存放在哪些DataNode上由NameNode来控制，根据全局情况做出块放置决定，读取文件时NameNode尽量让用户先读取最近的副本，降低带块消耗和读取时延；3.
转载
2023-07-13 00:07:06
69阅读
1.hdfs的优缺点 （1）不适合大量小文件存储； （2）不适合并发写入，不支持文件随机修改；(只能append追加) （3）不支持随机读等低延时的访问方式 2.基本思想 主从结构 主节点， namenode 从节点，有很多个: datanodenamenode负责： 接收用户操作请求 维护文件系统
原创
2021-07-15 14:36:14
196阅读
YARN详解一、 定义YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成。YARN是一个资源调度器，在hadoop2.x中提出。二、YARN基本架构（1）MR程序提交到客户端所在的节点。
（2）YarnRunner向ResourceManager申请一个Application。
（3）RM将该应用程序的资源路径返回
转载
2023-11-22 17:21:52
87阅读
回溯法又称试探法。回溯法的基本做法是深度优先搜索，是一种组织得井井有条的、能避免不必要重复搜索的穷举式搜索算法。回溯算法的基本思想是：从一条路往前走，能进则进，不能进则退回来，换一条路再试。当我们遇到某一类问题时，它的问题可以分解，但是又不能得出明确的动态规划或是递归解法，此时可以考虑用回溯法解决此
原创
2022-05-27 22:45:55
1291阅读
面向对象： 1、面向对象 EveryThing Is Object。 面向对象是一种程序设计思想，计算机程序的设计实质上就是将现实中的一些事物的特征抽离出来描述成一些计算机事件的过程，这种抽象的过程中，我们把具体的事物封装成一个一个的整体进行描述，使被描述的对象具备一些系统性、整体性的的行为和特征，我们把这种设计思想称为面向对象。 2、面向对象与面向过程 2.1、面向过程是早期的程序语言设
转载
2023-12-31 14:43:58
79阅读
面向对象思想是java的核心思想。它不仅仅应用于编程。它更有利于解决自己身边的种种问题，，，不扯淡，直入正题。面向对象思想是根据和符合于客观事实的；所以理解面向对象思想，就应了解它的客观本质。面向对象的基本哲学是认为世界是由各种各样具有自己的运动规律和内部状态的对象所组成的；不同对象之间的相互作用和通讯构成了完整的现实世界。因此，人们应当按照现实世界这个本来面貌来理解世界，直接通过对象及其相互关系
转载
2023-12-18 21:17:05
37阅读
动态规划与贪心策略类似，将一个问题的解决方案视为一系列决策的结果。不同的是，贪心算法每采用一次贪心选择便做出一个不可撤回的决策，而在动态规划中，还要考察每个最优决策序列中是否包含一个最优决策自序列。使用动态规划时，所求问题应具有以下两种性质。 1.最优子结构性质 所求问题的最优子结构性质是采用动态规划算法的条件之一，这种性质又被称为最优化原理。动态规划方法采用最优化原理来建立用于计算最优解的递归式。所谓最优化原理即不管前面的策略如何，此后的决策必须是基于当前状态（由上一次决策产生）的最优决策。由于对于有些问题的某些递归式来说并不一定能保证最优原则，因此在求解问题时有必要对它进行验证。若不...
转载
2012-04-19 23:04:00
153阅读
2评论
原创
2024-03-12 22:19:19
34阅读
Java中的方法调用中参数传递有两种，一个是对于参数是基本类型的使用的是值传递（直接传参数的值），另一个是引用传递，它是用于参数是类的对象，它传递的是这个对象的引用。面向对象的思想anything is Object（万物皆对象）抽象，从对具体的对象中抽取有用信息。对象有其固有属性，对象的方法，即对象的行为（对象能做什么）对象本身是简单的（功能简单），多个对象可以组成复杂的系统（对象之间彼此调用对
转载
2023-09-03 09:36:37
65阅读
理解面向对象需要做的事 java面向对象思想的核心是多态。多态机制也叫动态绑定机制。理解这些概念和核心思想比较好的方式就是画内存图。把一个多态例子程序的执行过程，在纸上画出来，那么就相对有一个较好的理解了。分析问题三步走：第一，思考这个问题应该有哪些类，哪些对象。第二，思考这些类，这些对象中的应该有什么属性和方法。第三，思考类和类之间应该存在什么样的关系。那么类之间有什么样的
转载
2024-02-27 15:52:37
57阅读
本实例实现一个"Hello Kitty!"例子，简单介绍Qt编程的基本流程，以及Qt程序的编绎运行方式,实例效果图如图所示。 这是一个简单的例子，整个对话框只有一个按钮，单击该按钮，对话框关闭，退出程序。实现代码如下：from PyQt4.QtGui import * from PyQt4.QtCore import
原创
2014-06-22 01:16:24
844阅读
随机特征映射(Random Feature Mapping)是一种将高维输入数据映射到低维特征空间的技术。它最初是在2007年由Rahimi和Recht提出的。以下是随机特征映射发展历程中的一些关键里程碑和理论方面：随机傅里叶特征映射(Random Fourier Feature Mapping)：最早的随机特征映射技术，由Rahimi和Recht在2007年提出。它使用傅里叶变换将输入数据映射到一个高维的特征空间，但使用了一些随机技巧以降低计算复杂度。
原创
2023-04-19 17:21:56
669阅读
David Berlinkshi说：有两种思想，象珠宝商放在天鹅绒上的宝石一样熠熠发光，一是微积分，另一个就是算法。如果说微积分及在其基础上建立的数学分析体系造就了现代科学，而算法则造就了现代世界。
算法是计算机科学的灵魂，更是每个程序员和软件工程师必需具有的核心知识。区分一个好的软件工程师和一个代码磨工（coder）的关键就在于看其是否能够分析并设计出高效率的算法。正如爱因斯坦所说的，并非
转载
2021-07-26 15:27:49
193阅读
IOC/DI的基本思想1.把程序之间的依赖关系去掉2.把程序对象设置到IOC/DI容器的配置中作为Bean3.由IOC/D。容器来管理Bean的创建和实例化4.由IOC/DI容器来把Bean之间的关系注入到须要这些关系的对象里面
转载
2015-03-23 10:04:00
100阅读
归并排序基本思想：将两个有序序列合成一个有序序列代码示例：#include<iostr
原创
2022-09-22 10:03:30
69阅读
之前写过关于Hadoop方面的MapReduce框架的文章MapReduce框架Hadoop应用(一) 介绍了MapReduce的模型和Hadoop下的MapReduce框架，此文章将进一步介绍mapreduce计算模型能用于解决什么问题及有什么巧妙优化。MapReduce到底解决什么问题？MapReduce准确的说，它不是一个产品，而是一种解决问题的思路，能够用分治策略来解决问题。例如
转载
2024-09-25 16:04:45
0阅读
David Berlinkshi说：有两种思想，象珠宝商放在天鹅绒上的宝石一样熠熠发光，一是微积分，另一个就是算法。如果说微积分及在其基础上建立的数学分析体系造就了现代科学，而算法则造就了现代世界。算法是计算机科学的灵魂，更是每个程序员和软件工程师必需具有的核心知识。区分一个好的软件工程师和一个代码磨工（coder）的关键就在于看其是否能够分析并设计出高效率的算法。正如爱因斯坦所说的，并非所有
转载
2022-04-06 11:32:18
317阅读
算法梳理之线性回归 算法梳理之线性回归1.机器学习常用名词概念2、线性模型在我们实际生活中普遍存在着变量之间的关系，有确定的和非确定的。确定关系指的是变量之间可以使用函数关系式表示，还有一种是属于非确定的（相关），比如人的身高和体重，一样的身高体重是不一样的。线性模型（Linear Model）是机器学习中应用最广泛的模型，指通过样本 特征的线性组合来进行预测的模型。给定一个d维样本[x1, ·
文章目录一、EM算法二、 线性回归公式三、 K-means算法四、正则化五、 boosting和bagging六、 深度学习的定义，特征七、 生成式和判别式模型八、 SVM九、 SVM概念十、 BP神经网络十一、 决策树十二、 stacking十三、 特征选择十四、 异常检测18-Lecture15-XV. Anomaly Detection十五、 推荐系统Recommender Systems
转载
2024-05-28 23:40:34
123阅读
1、什么是面向对象？网上资料： 面向对象是一种基于面向过程的编程思想，是向现实世界模型的自然延伸，这是一种“万物皆对象”的编程思想。由执行者变为指挥者，在现实⽣生活中的任何物体都可以归一类事物，而一个体都是一类事物的实例。面向对象的编程是以对象为中心，以消息为驱动。我的回答： 一个实例的所有属性的综合，比如说一个学生，当创建一个学生的对象，那就需要学生的就读学校，就读班级，定位学生的学号，学生的学
转载
2023-12-01 10:16:09
23阅读
