Spark-李世龙-51CTO博客

李世龙

235W+
人气
342
文章
21
关注
76
粉丝

关注私信

原创 304
翻译 1
转载 37
评论 80
点赞 367

分享：

全部

原创
Linux 误删文件恢复方法（debugfs）置顶
0

在调试linux驱动的时候，可以用debugfs来调试，debugfs类似字符设备驱动一样，甚至更简单，不需要主设备号次设备号等等，只需要实现一个file_operations，然后通过debugfs_create_file就可以在debugfs中建立一个文件结点，就像字符设备驱动那样，只需要对这个文件结点进行open就可以进行read、write、ioctl，等等操作，这些操作对应到我们在驱动里为debugfs准备的file_operations。

我不是九爷发布于：2020-10-09

阅读 804

评论 1

收藏 0
原创
大数据实战之spark安装部署置顶
1

楔子我是在2013年底第一次听说Spark，当时我对Scala很感兴趣，而Spark就是使用Scala编写的。一段时间之后，我做了一个有趣的数据科学项目，它试着去预测在泰坦尼克号上幸存。对于进一步了解Spark内容和编程来说，这是一个很好的方式。对于任何有追求的、正在思考如何着手 Spark 的程序员，我都非常推荐这个项目。今天，Spark已经被很多巨头使用，包括Amazon、eBay以及Yaho

我不是九爷发布于：2017-09-29

阅读 10000+

评论 0

收藏 1
原创
Spark 运维实战简介置顶
2

Spark 大数据计算框架、架构、计算模型和数据管理策略及 Spark 在工业界的应用。围绕 Spark 的 BDAS 项目及其子项目进行了简要介绍。目前，Spark 生态系统已经发展成为一个包含多个子项目的集合，其中包含 SparkSQL、Spark Streaming、GraphX、 MLlib 等子项目，本章只进行简要介绍，后续章

我不是九爷发布于：2017-07-07

阅读 3076

评论 1

收藏 1
原创
Kafka 环境部署搭建置顶
2

一、基本概念介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能，但具有自己独特的设计。这个独特的设计是什么样的呢？首先让我们看几个基本的消息系统术语：Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为consumer.Kafka以集群的方式运行，可以由一个或多个服务组成

我不是九爷发布于：2017-07-14

阅读 1076

评论 1

收藏 0
原创
laravel框架任务调度（定时执行任务）置顶
1

laravel 任务调度（定时执行任务）任务调度写在 app/Console/Kernel.PHP 文件 schedule 中，里面默认有一个例子。在 schedule 方法里放入自己的执行的代码。比如这个是每一分钟在数据库里插入一条数据。[html] <?php name

我不是九爷发布于：2017-07-11

阅读 1098

评论 0

收藏 0
原创
open-falcon 安装以及配置置顶
1

环境准备请参考环境准备同时，请再次检查当前的工作目录设置：export HOME=/home/work export WORKSPACE=$HOME/open-falcon mkdir -p $WORKSPACE安装Transfertransfer默认监听在:8433端口上，agent会通过jso

我不是九爷发布于：2017-07-04

阅读 1781

评论 0

收藏 0
原创
Spark 安装与实战置顶
1

折腾了几天，终于把Spark 集群安装成功了，其实比hadoop要简单很多，由于网上搜索到的博客大部分都还停留在需要依赖mesos的版本，走了不少弯路。1. 安装 JDK 1.7yum search openjdk-devel sudo yum install java-1.7.0-openjdk-devel.x86_64 /usr/sbin/al

我不是九爷发布于：2017-07-04

阅读 756

评论 0

收藏 0
原创
Spark官方文档: Spark Configuration（Spark配置）置顶
1

Spark官方文档: Spark Configuration（Spark配置）Spark主要提供三种位置配置系统：环境变量：用来启动Spark workers，可以设置在你的驱动程序或者conf/spark-env.sh 脚本中；java系统性能：可以控制内部的配置参数，两种设置方法：编程的方式（程序中在创建SparkContext之前，使用System.setProperty（“xx”，“xxx

我不是九爷发布于：2017-07-03

阅读 2524

评论 0

收藏 1
原创
阿里云监控 Linux Agent安装置顶
1

阿里云监控 Linux Agent安装安装直接复制以下命令后在服务器上使用 root 权限运行即可。64位sudo bash -c "wget -e 'http_proxy=hzcmsproxy.aliyun.com:3128' -O /tmp/cloudmonitor.tar.gz 'http://cms-downl

我不是九爷发布于：2017-07-03

阅读 1709

评论 0

收藏 0
原创
rpmdb open failed 的解决办法置顶
1

今天用yum安装软件竟然报错：错误：rpmdb: BDB0113 Thread/process 18550/140359256418112 failed: BDB1507 Thread died in Berkeley DB library 错误：db5 错误(-30973)&n

我不是九爷发布于：2017-07-01

阅读 10000+

评论 0

收藏 0
原创
Linux查看文件编码格式及文件编码转换置顶
1

Linux查看文件编码格式及文件编码转换在Linux 中专门提供了一种工具convmv进行文件名编码的转换，可以将文件名从GBK转换成UTF-8编码 ,或者从UTF-8转换到GBK。首先看一下你的系统上是否安装了convmv,如果没安装的话用:yum -y install convmv安装。下面看一下convmv的具体用法： convmv -f 源编码 -t

我不是九爷发布于：2017-06-30

阅读 1870

评论 0

收藏 0
原创
centos 7.2 Laravel访问网站页面空白置顶
1

Laravel访问网站页面空白（2527）（0）配置好了Laravel之后进行网站访问，发现是空白页面，第一次使用Laravel很迷茫。使用fiddler查看的时候出现500错误，网上查了下是因为根目录下的storage目录没有777权限，如图：解决方法：使用chmod -R 777 storage/更改该目录的权限再次访问网站就正常显示

我不是九爷发布于：2017-06-28

阅读 830

评论 0

收藏 0
转载
服务器遇到大流量***的处理过程置顶
1

案例描述早上接到IDC的电话，说我们的一个网段IP不停的向外发包，应该是被***了，具体哪个IP不知道，让我们检查一下。按理分析及解决办法首先我们要先确定是哪台机器的网卡在向外发包，还好我们这边有zabbix监控，我就一台一台的检查，发现有一台的流量跑满了，问题应该出现在这台机器上面。我登录到机器里面，查看了一下网卡的流量，我的天啊，居然跑了这个多流量。这台机器主要是运行了一个tomcat WEB服

我不是九爷发布于：2017-06-28

阅读 653

评论 0

收藏 0
原创
阿里云centos7.2 搭建SVN（linux windows）客户端置顶
1

阿里云centos7.2 搭建SVN（linux windows）客户端摘要： Subversion(SVN) 是一个开源的版本控制系統，被广泛用于协同开发。本文教你怎样快速搭建和使用SVN版本控制系统，并进行代码的提交、修改和恢复版本。简介Subversion(SVN) 是一个开源的版本控制系統, 也就是说 Subversion 管理着随时间改变的数据。这些数据放置在一个中

我不是九爷发布于：2017-06-09

阅读 5532

评论 0

收藏 2
原创
阿里云CentOS 7.2 MySQL服务启动失败的解决思路置顶
1

阿里云 CentOS 7.2 MySQL服务启动失败的解决思路前言：昨天刚刚搭建好的MySQL让老大看了一下，经过测试已经完成任务。但是今天早晨来的时候发现服务器被关了，此时我的心情崩溃的，但是我非常冷静的解决了MySQL问题。如下： [root@spark01 ~]# journalctl -xe但，可惜的时，这些信息并不能提供服务启动失败的真正原因。这

我不是九爷发布于：2017-06-06

阅读 4764

评论 4

收藏 1
原创
阿里云 OSS 置顶
1

原文：https://help.aliyun.com/ 阿里云 OSS 阿里云 OSS（Object Storage Service）为您提供基于网络的数据存取服务。使用 OSS，您可以通过网络随时存储和调用包括文本、图片、音频和视频等在内的各种结构化或非结构化数据文件。在使用阿里云 OSS 之前，您需要了解 OSS 的几个基本概念。阿里云 OSS 将数据文件以对象（objec

我不是九爷发布于：2017-05-26

阅读 1221

评论 0

收藏 0
原创
Linux安装Perl
0

安装Perl 一个命令基本上就搞定了，如果环境能够联网的话。 # yum install perl* 如果不能联网，可以下载最新的源码包进行编译安装。 # wget http://www.cpan.org/src/5.0/perl-5.24.1.tar.gz # tar -xzf perl-5.24.1.tar.gz # cd perl-5.24.1 # ./Configure -des -Dprefix=$HOME/localperl # make # make test # make install 查看安装成功的Perl版本： [root@controller ~]# perl -vThis is perl 5, version 16, subversion 3 (v5.16.3) built for x86_64-linux-thread-multi (with 34 registered patches, see perl -V for more detail) Copyright 1987-2012, Larry Wall Perl may be

我不是九爷发布于：2019-06-06

阅读 2110

评论 0

收藏 0
原创
阿里云磁盘空间爆满之nfs挂载
1

简介：NFS(Network File System)即网络文件系统，是FreeBSD支持的文件系统中的一种，它允许网络中的计算机之间通过TCP/IP网络共享资源。在NFS的应用中，本地NFS的客户端应用可以透明地读写位于远端NFS服务器上的文件，就像访问本地文件一样。

我不是九爷发布于：2018-09-12

阅读 1672

评论 0

收藏 0
原创
CentOS7.4 用 gogs 搭建git仓库
1

Gogs(Go Git Service) 是一款极易搭建的自助 Git 服务。使用 Go 语言开发使得 Gogs 能够通过独立的二进制分发，并且支持 Go 语言支持的所有平台，包括 Linux、Mac OS X、Windows 以及 ARM 平台。

我不是九爷发布于：2018-09-10

阅读 2967

评论 0

收藏 0
原创
Nginx最全优化
1

Nginx作为一个非常流行和成熟的Web Server和Reserve Proxy Server，网上有大量的性能优化教程，但是不同的业务场景千差万别，什么配置是最适合自己的，需要大量的测试和实践以及不断的优化改进。最近用户调用量突破百万大关之后，就遇到了一些问题，虽然不算太复杂，但也折腾了挺长时间才搞定，积累了不少经验。碰到的这个问题其实已经有一段时间了，有客户给我们反馈调用超时，但是我们自己从系统监控上看都是正常的，只有几十毫秒肯定不会超时，怀疑是不是网络的原因，但是出现几次后，就隐隐感觉这个问题可能不是偶发性的，应该还有深层次的原因。因为我们服务面向企业客户的，虽然每家客户

我不是九爷发布于：2018-07-17

阅读 2082

评论 0

收藏 0
原创
搭建Spark集群服务器
1

tidb1.0开始支持spark，有个组件tiSpark，不过目前只支持spark2.1版本。所以为了启用tiSpark，还需搭建spark集群。在官网下载地址http://spark.apache.org/downloads.html上，我找到了with hadoop的版本。如下图：下载地址：https://d3kbcqa49mib13.cloudfront.net/spark-2.1.1-bi

我不是九爷发布于：2018-01-24

阅读 10000+

评论 0

收藏 0
原创
ALI OSS RequestTimeTooSkewed
1

php版阿里oss sdk，请求时抛RequestTimeTooSkewed错误，说时间差距太大，搜了一下发现是服务器的时间设置问题。我们在安装完Centos Linux操作系统之后，点击系统的时间发现与现在所使用的时间不一致，相差有8小时，而在安装系统的时候我们选择的时区是上海，但是CentOS Linux默认的bios时间是utc时间(UTC是协调世界时(Universal Tim

我不是九爷发布于：2017-09-08

阅读 505

评论 0

收藏 0
原创
2017金砖会议之spark
2

前言2017年金砖国家工商论坛组委会2日召开新闻发布会，介绍有关情况。论坛预期取得四方面成果：一是增强工商界加强互利合作的信心，二是增进工商界之间的交流合作，三是提出有价值的政策建议，四是拓展工商界参与全球经济治理的深度和广度。 spark简介Spark（注意不要同Apache Spark混淆）的设计初衷是，可以简单容易地创建REST API或Web应用程序。它是一个灵活、简洁的框架，大小只有1M

我不是九爷发布于：2017-09-04

阅读 879

评论 1

收藏 1
原创
贞观之治之jumpserver
2

前言所谓贞观之治，可以表明在中华位文明五千年历史长河中留下了浓墨重彩的一笔。而jumpserver这款开源的堡垒机仿佛在上演历史剧，穿越唐朝与唐太宗一起贞观......个人理解之所以称为开源即免费。堡垒机的理念是方便管理安全性。而这款jumpserver堡垒机也具备以上特性。这就好比几年前linux没有兴起的时候大家玩windows2008的域一样添加用户管理员，有子账户。但也是有区别

我不是九爷发布于：2017-09-01

阅读 751

评论 2

收藏 0
原创
搭建Kafka开发环境
1

搭建Kafka开发环境我们搭建了kafka的服务器，并可以使用Kafka的命令行工具创建topic，发送和接收消息。下面我们来搭建kafka的开发环境。添加依赖搭建开发环境需要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包加入到项目的classpath中，这种比较简单了。不过我们使用另一种更加流行的方式：使用maven管理jar包依赖。创建好maven项目后，在pom.

我不是九爷发布于：2017-07-14

阅读 1160

评论 0

收藏 0
原创
Flink 环境部署
1

Flink 原理与实现：架构和拓扑概览架构要了解一个系统，一般都是从架构开始。我们关心的问题是：系统部署成功后各个节点都启动了哪些服务，各个服务之间又是怎么交互和协调的。下方是 Flink 集群启动后架构图。当 Flink 集群启动后，首先会启动一个 JobManger 和一个或多个的 TaskManager。由 Client 提交任务给 JobManager，JobManager 再

我不是九爷发布于：2017-07-14

阅读 5732

评论 0

收藏 0
原创
部署安装 Spark
1

前言Spark简介Spark是整个BDAS的核心组件，是一个大数据分布式编程框架，不仅实现了MapReduce的算子map 函数和reduce函数及计算模型，还提供更为丰富的算子，如filter、join、groupByKey等。是一个用来实现快速而同用的集群计算的平台。Spark将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供A

我不是九爷发布于：2017-07-07

阅读 1191

评论 0

收藏 0
原创
阿里云 DataV 产品简介
1

产品简介相比于传统图表与数据仪表盘，如今的数据可视化致力于用更生动、友好的形式，即时呈现隐藏在瞬息万变且庞杂数据背后的业务洞察。无论在零售、物流、电力、水利、环保、还是交通领域，通过交互式实时数据可视化视屏墙来帮助业务人员发现、诊断业务问题，越来越成为大数据解决方案中不可或缺的一环。创造一个您的可视化应用您可能会面临如下的问题对于数据可视化的设计无从下手，团队内的设计师对于复杂数据的展现经验不足对

我不是九爷发布于：2017-07-06

阅读 9181

评论 1

收藏 0
原创
CentOS7下安装MySQL5.7安装与配置（YUM）
1

CentOS7下安装MySQL5.7安装与配置（YUM）安装环境：CentOS7 64位 MINI版，安装MySQL5.71、配置YUM源在MySQL官网中下载YUM源rpm安装包：http://dev.mysql.com/downloads/repo/yum/ # 下载mysql源安装包shell> wget http://dev.mysql

我不是九爷发布于：2017-06-30

阅读 631

评论 0

收藏 1
原创
阿里云centos7.2 搭建 laravel 框架走过的坑
1

阿里云centos7.2 搭建 laravel 框架走过的坑前言公司正在处于发展阶段最近开发的伙伴和运维的伙伴一直在忙碌着开发人员一直在写laravel架构的代码以及新项目的拓展，时间很赶所以作为linux运维的我也不能怠慢。首先搭建lnmp架构 nginx php 选择的yum /wget的安装方法，mysql选择编译安装。准备：1.PHP 7版本 2.opens

我不是九爷发布于：2017-06-21

阅读 2538

评论 0

收藏 0

首页
上一页
1
2
下一页
共33条记录

我不是九爷

分享到朋友圈

绝冠当时，举世无双。

入住博客：2017-03-24 4年

七日热门: 【女神节有奖征文】一瓶鲜橙多，一次大冒险，成就一对IT界金童玉女; 【女神节有奖征文】暗恋日记; 【女神节有奖征文】我和我的女神···; 话说 wait、notify 、 notifyAll; 企业信用评分卡建模模型实战（应用场景-企业债融资并购上市）

最新文章: 拷贝本地文件到docker容器; MySQL主从复制的工作原理; 基于docker（纯净centos系统）打包centos7+python3的镜像; docker修改默认指定路径; CentOS8安装Kubernetes1.20.2集群

最新评论: CentOS8安装Kubernetes1.20.2集群

咖啡：好久没来写文章了~; linux安装nfs

咖啡：https://blog.51cto.com/51ctoblog/2542462 可以一起参加这个活动呀; Linux 误删文件恢复方法（debugfs）

咖啡：不错呦~; Nginx接入层限流降级方案

wx5ab76de3dbb7f：方便私下讨论吗; ELK自动部署脚本

梁明月网络工程师：文章很好，希望自动化相关文章不断更新，更详细点更好！

热门文章: CentOS8安装Kubernetes1.20.2集群; docker修改默认指定路径; Linux占用内存排查; Elasticsearch(ES)创建索引; Docker设置固定ip地址

最近来访

写文章