KeepLearningAI的博客_docker,AI数据管理,数据库

Spark入门学习记录之SparkLearning

为了更好的学习spark，也为了记录自己学习过程中的遇到的各种问题，方便以后

Spark入门学习记

学习记录

SparkLearn

spark

数据

原创 2023-01-04 11:37:50 93 阅读

Spark学习17之使用IDEA对Spark 1.5.2进行本地编译和调试(成功)

1.需要安装： jdk1.7 scala2.10.4 maven 3.3..9 idea 15.042.下载spark1.5.2源码 https://github.com/apache/spark 进

spark

idea

scala

maven

原创 2023-01-04 11:13:19 903 阅读

ganglia学习1之ganglia集群版搭建（支持hadoop和spark）

ganglia

集群

spark

hadoop

ubuntu

原创 2023-01-04 11:12:07 105 阅读

Spark组件之GraphX学习10--PageRank学习和使用（From examples）

PageRank学习和使用

spark

apache

Graph

原创 2023-01-04 11:10:00 116 阅读

基础知识学习1之哈希(Hash)

1.理解1.1 基本概念理解哈希， Hash的音译，也有翻译做“散列”。可以理解为映射的一种。T[hash[x]]=x,

hash

散列表

链表

直接寻址

原创 2023-01-04 11:09:53 100 阅读

spark源码解读2之水塘抽样算法（Reservoir Sampling）

Spark源码解读

spark

数组

apache

原创 2023-01-04 11:09:51 99 阅读

Spark-Avro学习6之Ubuntu下安装

1.下载：git clone https://github.com/databricks/spark-avrom/jdk1.7.0

Spark-Avro学习6之Ubuntu

jar

spark

.net

原创 2023-01-04 11:09:43 91 阅读

spark学习5之sbt问题

Spark和scala之sbt问题按照参考【1】顺利安装了sbt，并显示hadoop@Master:~/cloud/scala-2.10

scala

spark

sbt

jar

.net

原创 2023-01-04 11:09:37 125 阅读

计算机系2014级研究生-2015上半年课程主页

计算机系2014级研究生-2015上半年课程主页，希望大家能多共享资源和讨论交流

中科大

在线教育

计算机

html

并行算法

原创 2023-01-04 11:09:29 64 阅读

Spark组件之SparkR学习3--使用spark-submit向集群提交R代码文件data-manipulation.R

1.数据准备：1.1 下载数据文件wget http://s3-us-west-2.amazonaws.com/sparkr-data/flights.cs

Spark组件之SparkR学习3--使

spark

hadoop

ci

原创 2023-01-04 11:09:22 96 阅读

Spark问题8之worker lost

spark

hadoop

github

原创 2023-01-04 11:09:21 216 阅读

Spark中组件Mllib的学习32之朴素贝叶斯分类器（伯努利朴素贝叶斯）*

集中的每个文档向量化的过程中，存在两个模型。一个是统计词在文档中出现的次数（多项式模型）;一个是统计词是否在文档中出现过（柏努利模型）目前mllib只支持多项式朴素贝叶斯和伯努利贝叶斯（spark-1.

spark

伯努利朴素贝叶斯

apache

github

原创 2023-01-04 11:09:11 197 阅读

Spark中组件Mllib的学习33之决策树（使用Gini）

spark

机器学习

mllib

决策树

apache

原创 2023-01-04 11:09:02 54 阅读

Spark组件之SparkR学习2--使用spark-submit向集群提交R代码文件dataframe.R

环境：spark1.5.2，R-3.2.11.examples1 dataframe.R 1.1 文件来源：参考【1】./bin/

Spark组件之SparkR学习2--使

spark

apache

scala

原创 2023-01-04 11:09:00 94 阅读

Spark中组件Mllib的学习34之决策树（使用entropy）*

Spark中组件Mllib的学习之分类篇 1解释MLlib决策树支持三种不纯度的计算：gini、entropy、variance。其他的目前不支持def fromString(name: String): Impurity = name match { case "gini" => Gini case "entropy" => Entropy case "v

spark

apache

github

原创 2023-01-04 11:08:58 119 阅读

机器学习与知识发现教材和参考答案

【机器学习教材】数据挖掘导论(完整版) 电子版http://www.kechengliu.com/forum.

机器学习与知识发现

教材和参考答案

中国科学技术大学

陈恩红

机器学习

原创 2023-01-04 11:08:54 138 阅读

基因数据处理27之FastQC在linux下安装运行

FastQC是评价基因数据质量的软件。1.下载： http://www.bioinformatics.babraham.a

FastQC

linux

html

jar

ico

原创 2023-01-04 11:08:53 320 阅读

基因数据处理42之mango问题_seqdict.avro不存在解决

参考【1】中问题解决问题分析：这是新版本的问题：adam0.19.1目前在mav

mango

scala

maven

apache

原创 2023-01-04 11:08:49 81 阅读

Spark中组件Mllib的学习37之随机森林（Gini）进行分类

Spark中组件Mllib的学习之分类篇 1解释随机森林：RandomForest 大概思想就是生成多个决策树，都单独训练；如果来了一个数据，用各个决策树进行回归预测，如果是非连续结果，则取最多个数的值；如果连续，则取多个决策树结果的平均值。2.代码：/** * @author xubo * ref:Spark MlLib机器学习实战 */package or

spark

随机森林

apache

Data

原创 2023-01-04 11:08:46 85 阅读

NetBeans IDE 中国教育考试版(2007)使用说明和演示教程

NetBeans IDE 中国教育考试版(2007)使用说明和演示教程官方网址：http://www.neea

中国教育考试版

NetBeans

2007

使用说明

Java

原创 2023-01-04 11:08:44 219 阅读

Spark中组件Mllib的学习30之逻辑回归LogisticRegressionWithLBFGS

spark

mllib

Logistic

LDFGS

apache

原创 2023-01-04 11:08:41 77 阅读

eclipse中安装并编译C/C++

1.下载安装CDThttp://www.eclipse.org/cdt/downloads.php查找地址：http://download

eclipse中安装并编译CC++

eclipse

.net

i++

原创 2023-01-04 11:08:40 230 阅读

Spark中组件Mllib的学习36之决策树（使用variance）进行回归

Spark中组件Mllib的学习之分类篇 1解释决策树（使用variance）进行回归2.代码：/** * @author xubo * ref:Spark MlLib机器学习实战 */package org.apache.spark.mllib.learning.classificationimport java.text.SimpleDateFormatim

spark

机器学习

mllib

决策树

回归

原创 2023-01-04 11:08:36 51 阅读

Spark中组件Mllib的学习38之随机森林（使用variance）进行回归

Spark中组件Mllib的学习之分类篇 1解释随机森林（使用variance）进行回归2.代码：/** * @author xubo * ref:Spark MlLib机器学习实战 */package org.apache.spark.mllib.learning.classificationimport org.apache.spark.mllib.tree

spark

机器学习

随机森林

回归

apache

原创 2023-01-04 11:08:27 54 阅读

Spark中组件Mllib的学习28之支持向量机SVM-方法1

更多代码请见：ht

spark

机器学习

mllib

支持向量机

SVM

原创 2023-01-04 11:08:25 92 阅读

Spark问题6之Spark丢失excutor之后appport占CPU90%

spark

github

hadoop

原创 2023-01-04 11:08:16 67 阅读

Spark中组件Mllib的学习26之逻辑回归-简单数据集，带预测

el）。这一家族

逻辑回归

spark

mllib

apache

github

原创 2023-01-04 11:08:13 85 阅读

Spark问题14之Spark stage retry问题

spark

github

Java

原创 2023-01-04 11:08:09 248 阅读

基因数据处理66之avocado集群运行

1.最大问题：老报错的问题：hadoop@Master:~/cloud/adam/xubo/data/GRCH38Su

基因数据处理

Adam

Spark

hdfs

hadoop

原创 2023-01-04 11:08:03 56 阅读

基因数据处理92之重新调整loadDataProcessing使之能适应基因数据处理91的问题

1.解决思路：正如基因数据处理91之disease的vcf2omim和dataProcessing的数据对不上描述

Spark

Adam

基因数据处理

d3

System

原创 2023-01-04 11:08:00 93 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

wx5b15dc681e528的博客

Spark入门学习记录之SparkLearning

Spark学习17之使用IDEA对Spark 1.5.2进行本地编译和调试(成功)

ganglia学习1之ganglia集群版搭建（支持hadoop和spark）

Spark组件之GraphX学习10--PageRank学习和使用（From examples）

基础知识学习1之哈希(Hash)

spark源码解读2之水塘抽样算法（Reservoir Sampling）

Spark-Avro学习6之Ubuntu下安装

spark学习5之sbt问题

计算机系2014级研究生-2015上半年课程主页

Spark组件之SparkR学习3--使用spark-submit向集群提交R代码文件data-manipulation.R

Spark问题8之worker lost

Spark中组件Mllib的学习32之朴素贝叶斯分类器（伯努利朴素贝叶斯）*

Spark中组件Mllib的学习33之决策树（使用Gini）

Spark组件之SparkR学习2--使用spark-submit向集群提交R代码文件dataframe.R

Spark中组件Mllib的学习34之决策树（使用entropy）*

机器学习与知识发现教材和参考答案

基因数据处理27之FastQC在linux下安装运行

基因数据处理42之mango问题_seqdict.avro不存在解决

Spark中组件Mllib的学习37之随机森林（Gini）进行分类

NetBeans IDE 中国教育考试版(2007)使用说明和演示教程

Spark中组件Mllib的学习30之逻辑回归LogisticRegressionWithLBFGS

eclipse中安装并编译C/C++

Spark中组件Mllib的学习36之决策树（使用variance）进行回归

Spark中组件Mllib的学习38之随机森林（使用variance）进行回归

Spark中组件Mllib的学习28之支持向量机SVM-方法1

Spark问题6之Spark丢失excutor之后appport占CPU90%

Spark中组件Mllib的学习26之逻辑回归-简单数据集，带预测

Spark问题14之Spark stage retry问题

基因数据处理66之avocado集群运行

基因数据处理92之重新调整loadDataProcessing使之能适应基因数据处理91的问题