Spark-李世龙-51CTO博客

李世龙

165W+
人气
301
文章
16
关注
51
粉丝

关注私信

原创 270
翻译 1
转载 30
评论 63
点赞 345

分享：

全部

我不是九爷发布于：2017-09-29
1

大数据实战之spark安装部署置顶楔子我是在2013年底第一次听说Spark，当时我对Scala很感兴趣，而Spark就是使用Scala编写的。一段时间之后，我做了一个有趣的数据科学项目，它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说，这是一个很好的方式。对于任何有追求的、正在思考如何着手 Spark 的程序员，我都非常推荐这个项目。今天，Spark已经被很多巨头使用，包括Amazon、eBay以及Yaho

原创

阅读 10000+

评论 0

收藏 1
我不是九爷发布于：2017-07-07
2

Spark 运维实战简介置顶 Spark 大数据计算框架、架构、计算模型和数据管理策略及 Spark 在工业界的应用。围绕 Spark 的 BDAS 项目及其子项目进行了简要介绍。目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目，本章只进行简要介绍，后续章

原创

阅读 2043

评论 1

收藏 1
我不是九爷发布于：2017-07-14
2

Kafka 环境部署搭建置顶一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成

原创

阅读 696

评论 1

收藏 0
我不是九爷发布于：2017-07-11
1

laravel框架任务调度（定时执行任务）置顶 laravel 任务调度（定时执行任务）任务调度写在 app/Console/Kernel.PHP 文件 schedule 中，里面默认有一个例子。在 schedule 方法里放入自己的执行的代码。比如这个是每一分钟在数据库里插入一条数据。[html] <?php name

原创

阅读 364

评论 0

收藏 0
我不是九爷发布于：2017-07-04
1

open-falcon 安装以及配置置顶环境准备请参考环境准备同时，请再次检查当前的工作目录设置：export HOME=/home/work export WORKSPACE=$HOME/open-falcon mkdir -p $WORKSPACE安装Transfertransfer默认监听在:8433端口上，agent会通过jso

原创

阅读 915

评论 0

收藏 0
我不是九爷发布于：2017-07-04
1

Spark 安装与实战置顶折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。1. 安装 JDK 1.7yum search openjdk-devel sudo yum install java-1.7.0-openjdk-devel.x86_64 /usr/sbin/al

原创

阅读 341

评论 0

收藏 0
我不是九爷发布于：2017-07-03
1

Spark官方文档: Spark Configuration（Spark配置）置顶 Spark官方文档: Spark Configuration（Spark配置）Spark主要提供三种位置配置系统：环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx

原创

阅读 1029

评论 0

收藏 1
我不是九爷发布于：2017-07-03
1

阿里云监控 Linux Agent安装置顶阿里云监控 Linux Agent安装安装直接复制以下命令后在服务器上使用 root 权限运行即可。64位sudo bash -c "wget -e 'http_proxy=hzcmsproxy.aliyun.com:3128' -O /tmp/cloudmonitor.tar.gz 'http://cms-downl

原创

阅读 787

评论 0

收藏 0
我不是九爷发布于：2017-07-01
1

rpmdb open failed 的解决办法置顶今天用yum安装软件竟然报错：错误：rpmdb: BDB0113 Thread/process 18550/140359256418112 failed: BDB1507 Thread died in Berkeley DB library 错误：db5 错误(-30973)&n

原创

阅读 3861

评论 0

收藏 0
我不是九爷发布于：2017-06-30
1

CentOS7下安装MySQL5.7安装与配置（YUM）置顶 CentOS7下安装MySQL5.7安装与配置（YUM）安装环境：CentOS7 64位 MINI版，安装MySQL5.71、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ # 下载mysql源安装包shell> wget http://dev.mysql

原创

阅读 286

评论 0

收藏 1
我不是九爷发布于：2017-06-30
1

Linux查看文件编码格式及文件编码转换置顶 Linux查看文件编码格式及文件编码转换在Linux 中专门提供了一种工具convmv进行文件名编码的转换，可以将文件名从GBK转换成UTF-8编码 ,或者从UTF-8转换到GBK。首先看一下你的系统上是否安装了convmv,如果没安装的话用:yum -y install convmv安装。下面看一下convmv的具体用法： convmv -f 源编码 -t

原创

阅读 426

评论 0

收藏 0
我不是九爷发布于：2017-06-28
1

centos 7.2 Laravel访问网站页面空白置顶 Laravel访问网站页面空白（2527）（0）配置好了Laravel之后进行网站访问，发现是空白页面，第一次使用Laravel很迷茫。使用fiddler查看的时候出现500错误，网上查了下是因为根目录下的storage目录没有777权限，如图：解决方法：使用chmod -R 777 storage/更改该目录的权限再次访问网站就正常显示

原创

阅读 436

评论 0

收藏 0
我不是九爷发布于：2017-06-28
1

服务器遇到大流量***的处理过程置顶案例描述早上接到IDC的电话，说我们的一个网段IP不停的向外发包，应该是被***了，具体哪个IP不知道，让我们检查一下。按理分析及解决办法首先我们要先确定是哪台机器的网卡在向外发包，还好我们这边有zabbix监控，我就一台一台的检查，发现有一台的流量跑满了，问题应该出现在这台机器上面。我登录到机器里面，查看了一下网卡的流量，我的天啊，居然跑了这个多流量。这台机器主要是运行了一个tomcat WEB服

转载

阅读 316

评论 0

收藏 0
我不是九爷发布于：2017-06-09
1

阿里云centos7.2 搭建SVN（linux windows）客户端置顶阿里云centos7.2 搭建SVN（linux windows）客户端摘要： Subversion(SVN) 是一个开源的版本控制系統，被广泛用于协同开发。本文教你怎样快速搭建和使用SVN版本控制系统，并进行代码的提交、修改和恢复版本。简介Subversion(SVN) 是一个开源的版本控制系統, 也就是说 Subversion 管理着随时间改变的数据。这些数据放置在一个中

原创

阅读 4582

评论 0

收藏 2
我不是九爷发布于：2017-06-06
1

阿里云CentOS 7.2 MySQL服务启动失败的解决思路置顶阿里云 CentOS 7.2 MySQL服务启动失败的解决思路前言：昨天刚刚搭建好的MySQL让老大看了一下，经过测试已经完成任务。但是今天早晨来的时候发现服务器被关了，此时我的心情崩溃的，但是我非常冷静的解决了MySQL问题。如下： [root@spark01 ~]# journalctl -xe但，可惜的时，这些信息并不能提供服务启动失败的真正原因。这

原创

阅读 2802

评论 4

收藏 1
我不是九爷发布于：2017-05-26
1

阿里云 OSS 置顶原文：https://help.aliyun.com/ 阿里云 OSS 阿里云 OSS（Object Storage Service）为您提供基于网络的数据存取服务。使用 OSS，您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种结构化或非结构化数据文件。在使用阿里云 OSS 之前，您需要了解 OSS 的几个基本概念。阿里云 OSS 将数据文件以对象（objec

原创

阅读 458

评论 0

收藏 0
我不是九爷发布于：2018-09-12
1

阿里云磁盘空间爆满之nfs挂载简介：NFS(Network File System)即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。

原创

阅读 807

评论 0

收藏 0
我不是九爷发布于：2018-09-10
1

CentOS7.4 用 gogs 搭建git仓库 Gogs(Go Git Service) 是一款极易搭建的自助 Git 服务。使用 Go 语言开发使得 Gogs 能够通过独立的二进制分发，并且支持 Go 语言支持的所有平台，包括 Linux、Mac OS X、Windows 以及 ARM 平台。

原创

阅读 1393

评论 0

收藏 0
我不是九爷发布于：2018-07-17
1

Nginx最全优化 Nginx作为一个非常流行和成熟的Web Server和Reserve Proxy Server，网上有大量的性能优化教程，但是不同的业务场景千差万别，什么配置是最适合自己的，需要大量的测试和实践以及不断的优化改进。最近用户调用量突破百万大关之后，就遇到了一些问题，虽然不算太复杂，但也折腾了挺长时间才搞定，积累了不少经验。碰到的这个问题其实已经有一段时间了，有客户给我们反馈调用超时，但是我们自己从系统监控上看都是正常的，只有几十毫秒肯定不会超时，怀疑是不是网络的原因，但是出现几次后，就隐隐感觉这个问题可能不是偶发性的，应该还有深层次的原因。因为我们服务面向企业客户的，虽然每家客户

原创

阅读 670

评论 0

收藏 0
我不是九爷发布于：2018-01-24
1

搭建Spark集群服务器 tidb1.0开始支持spark，有个组件tiSpark，不过目前只支持spark2.1版本。所以为了启用tiSpark，还需搭建spark集群。在官网下载地址http://spark.apache.org/downloads.html上，我找到了with hadoop的版本。如下图：下载地址：https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bi

原创

阅读 10000+

评论 0

收藏 0

首页
上一页
1
2
下一页
末页
共31条记录

我不是九爷

分享到朋友圈

绝冠当时，举世无双。

入住博客：2017-03-24 2.2年

七日热门

最近来访

写文章