hffzkl的博客_Hadoop,Spark,MapReduce,Docker,Hive,Hbase,Strom,Yarn,sparkSQL,hadoop,sparkMLib

idea编译java时报错：Error:java: System Java Compiler was not found in classpath

问题以前都是写scala代码，现在转回来用java的时候，在编译的过程中，老是报这个错误，必须切换到eclipse才能编译通过，今天也不知道改了啥，eclipse也编译不通过了，真是气人，想着那就从根本上把javac的给搞定。报的错误如下：Error:java: System Java Compiler was not found in classpath: java.lang.ClassNotF

java

Source

java环境

原创 10月前 778 阅读

sparkSQL中cache的若干问题

sparkSQL在使用cache缓存的时候，有时候缓存可能不起作用，可能会发出缓存是假的吧的感慨。现在我们就把这个问题说道说道。

spark

sparkSQL

cache

原创 2018-07-12 16:51:54 10000+阅读 2点赞 5评论

spark DAGScheduler、TaskSchedule、Executor执行task源码分析

摘要spark的调度一直是我想搞清楚的东西，以及有向无环图的生成过程、task的调度、rdd的延迟执行是怎么发生的和如何完成的，还要就是RDD的compute都是在executor的哪个阶段调用和执行我们定义的函数的。这些都非常的基础和困难。花一段时间终于弄白了其中的奥秘。总结起来，以便以后继续完善。spark的调度分为两级调度：DAGSchedule和TaskSchedule。DAGSchedule是根据job来生成相互依赖的stages，然后把stages以TaskSet形式传递给TaskSchedule来进行任务的分发过程，里面的细节会慢慢的讲解出来的，比较长

DAGScheduler

TaskSchedule

Executor

原创精选 2018-03-26 16:36:55 10000+阅读 4点赞 1收藏 1评论

DataSet数据集在使用sql()时，无法使用map，flatMap等转换算子的解决办法

摘要我们在使用spark的一个流程是：利用spark.sql()函数把数据读入到内存形成DataSet[Row]（DataFrame）由于Row是新的spark数据集中无法实现自动的编码，需要对这个数据集进行编码，才能利用这些算子进行相关的操作，如何编码是一个问题，在这里就把这几个问题进行总结一下。报的错误：error: Unable to find encoder for type stored

String

error: Unable to fin

etc) and Product ty

原创精选 2017-08-08 16:40:28 10000+阅读 2点赞 2收藏 2评论

EM算法的数学原理

摘要 EM算法主要分为两个步骤：E-step和M-step，主要应用在概率模型中。机器学习中，概率模型在进行参数估计时，我们主要应用的是最大似然估计，所以在对EM算法进行讨论时，是离不开最大似然估计的。EM算法主要是用来解决那些样本中存在隐变量的情况。E-step固定模型参数通过数学模型求解隐变量，M-step根据E-step求得的隐变量在通过

EM

算法

原创精选 2017-01-18 12:04:24 10000+阅读 1点赞 1评论

从另一个视角看待逻辑回归

摘要逻辑回归是用在分类问题中，而分类为题有存在两个比较大的方向：分类的结果用数值表是，比如1和0(逻辑回归采用的是这种)，或者-1和1(svm采用的)，还有一种是以概率的形式来反应，通过概率来说明此样本要一个类的程度即概率。同时分类问题通过适用的场合可以分为：离散和连续，其中决策树分类，贝叶斯分类都是适用离散场景，但是连续场景也可以处理，只是处理起来比较麻烦，而逻辑回归就是用在连续特征空间中的，并

逻辑回归

数学原理

原创 2016-11-21 18:14:35 1890 阅读 1点赞 1收藏

模糊c均值聚类和k-means聚类的数学原理

摘要这篇博客是从一个网上下载的资料关于模糊c均值聚类和k-means均值聚类的数学方法衍生而来。我下载的那个文章讨论的不是很清楚，还有一些错误的地方，有些直接给了结果，但是中间的数学推导没有给出，我感觉中间的数学推导应该是最精华的地方，上网搜发现网上对于这两个算法的数学推导还是很少的甚至是没有，百度文库有一篇，但是推导的是用穷举找规律，数学的味道不是很浓厚。在这篇文章的基础上，我增加了一些数学方面

模糊

均值

聚类

原创 2016-10-31 19:03:29 10000+阅读 2点赞 2评论

基于牛顿冷却定律的时间衰减函数模型

摘要牛顿冷却定律数学模型一般都是用来与时间有关的衰减的模型上，比如随着时间的变化，用户对某一个品类商品的衰减过程变化，用户在投票过程中对票数衰减过程的模拟等基本原理都是建立在牛顿冷却定律的基础之上，增加相应的边界条件，从而得到适合自己应用场景的模型。牛顿冷却定律模型牛顿冷却定律所描述的一件事情是，一个比较热的物体，在一个温度比这个物体低的环境下，这个较热的物体的温度是要降低的，周围的温度是要上升的

牛顿

时间衰减

冷却定律

原创 2016-10-25 18:17:38 10000+阅读 1点赞 2收藏 3评论

k-means算法原理以及数学知识

摘要在大数据算法中，聚类算法一般都是作为其他算法分析的基础，对数据进行聚类可以从整体上分析数据的一些特性。聚类有很多的算法，k-means是最简单最实用的一种算法。在这里对k-means算法的原理以及其背后的数学推导做一些详细的介绍，并讨论在实际应用中要避免的一些坑。算法k-means算法很简单，但是当我们正真把这个算法用在生产中时还是存在很多的细节需要考虑的，这些细节将要在后面进行讨论。首先给出

算法

k-means

原创 2016-10-21 13:33:25 10000+阅读 3点赞

sparkSQL实战详解

摘要如果要想真正的掌握sparkSQL编程，首先要对sparkSQL的整体框架以及sparkSQL到底能帮助我们解决什么问题有一个整体的认识，然后就是对各个层级关系有一个清晰的认识后，才能真正的掌握它，对于sparkSQL整体框架这一块，在前一个博客已经进行过了一些介绍，如果对这块还有疑问

SQL

Data

spark

原创 2016-09-11 17:33:13 10000+阅读 8点赞 3收藏 6评论

sparkSQL的整体实现框架

这篇博客的目的是让那些初次接触sparkSQL框架的童鞋们，希望他们对sparkSQL整体框架有一个大致的了解，降低他们进入spark世界的门槛，避免他们在刚刚接触sparkSQL时，不知所措，不知道该学习什么，该怎么看。这也是自己工作的一个总结，以便以后可以回头查看。后续会对sparkSQL进行一系列详细的介绍。慢慢来吧~~~1、sql语句的模块解析当我们写一个查询语句

SQL

关系

spark

原创 2016-09-02 11:50:28 10000+阅读 9点赞 5收藏 2评论

机器学习

转载精选 2016-01-15 18:00:35 2389 阅读 1点赞

python经常出现的字符编码问题详解

python在进行字符串处理或者通过open函数读取文件时，经常会出现编码的错误：UnicodeDecodeE-rror: 'ascii' codec can't decode byte 0xe6 in position 0: ordinal not inrange(128)这个是由于python在进行编码和解码的过程中，出现编解码不兼容时导致的错误。所以现

python编码错误详解：Unicode

原创 2016-01-15 12:32:19 1245 阅读 3点赞

ubuntu14.04环境下hadoop2.7.0配置+在windows下远程eclipse和hdfs的调用

本教程是在三台电脑上部署的hadoop正式环境，没有建立用户组，而是在当前用户下直接进行集群的部署的，总结如下：1、三个节点的主机电脑名为：192.168.11.33 Master，192.168.11.24 Slaver2,192.168.11.4 Slaver1，并且这三台主机用户名都要设置一样，我的都是hadoop的用户。&n

ubuntu14.04、hadoop2.

原创 2015-10-22 14:28:36 2479 阅读 3点赞

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

大数据学习

idea编译java时报错：Error:java: System Java Compiler was not found in classpath

sparkSQL中cache的若干问题

spark DAGScheduler、TaskSchedule、Executor执行task源码分析

DataSet数据集在使用sql()时，无法使用map，flatMap等转换算子的解决办法

EM算法的数学原理

从另一个视角看待逻辑回归

模糊c均值聚类和k-means聚类的数学原理

基于牛顿冷却定律的时间衰减函数模型

k-means算法原理以及数学知识

sparkSQL实战详解

sparkSQL的整体实现框架

机器学习相关的库和工具

python经常出现的字符编码问题详解

ubuntu14.04环境下hadoop2.7.0配置+在windows下远程eclipse和hdfs的调用