mb5ff98083d7c62的博客_原创

按发布时间
按阅读量
时间轴

全部2181篇
2021年732篇 11月25篇 10月148篇 09月89篇 08月172篇 07月71篇 06月11篇 05月19篇 04月16篇 03月147篇 02月15篇 01月19篇 2020年121篇 12月10篇 11月5篇 10月6篇 09月4篇 08月4篇 07月12篇 06月9篇 05月6篇 04月30篇 03月8篇 02月4篇 01月23篇 2019年175篇 12月3篇 11月19篇 10月9篇 09月36篇 08月17篇 07月22篇 06月9篇 05月16篇 04月17篇 03月11篇 02月3篇 01月13篇 2018年179篇 12月12篇 11月16篇 10月15篇 09月37篇 08月16篇 07月10篇 06月9篇 05月6篇 04月19篇 03月31篇 02月3篇 01月5篇 2017年194篇 12月4篇 11月9篇 10月7篇 09月10篇 08月34篇 07月16篇 06月14篇 05月27篇 04月31篇 03月10篇 02月19篇 01月13篇 2016年235篇 12月30篇 11月29篇 10月23篇 09月10篇 08月22篇 07月24篇 06月46篇 05月7篇 04月10篇 03月21篇 02月7篇 01月6篇 2015年105篇 12月6篇 11月12篇 10月5篇 09月6篇 08月9篇 07月13篇 06月16篇 05月10篇 04月6篇 03月10篇 02月5篇 01月7篇 2014年60篇 12月5篇 11月7篇 10月3篇 09月3篇 08月19篇 07月6篇 06月2篇 05月3篇 04月6篇 03月3篇 02月2篇 01月1篇 2013年99篇 12月1篇 11月1篇 10月7篇 09月12篇 08月11篇 07月10篇 06月25篇 05月22篇 04月5篇 03月2篇 01月3篇 2012年67篇 12月3篇 11月18篇 10月4篇 09月2篇 08月1篇 07月5篇 06月11篇 05月10篇 04月5篇 03月4篇 02月4篇 2011年65篇 12月3篇 11月1篇 10月1篇 09月4篇 08月25篇 07月4篇 06月2篇 05月2篇 04月2篇 03月7篇 02月12篇 01月2篇 2010年44篇 12月4篇 11月1篇 10月6篇 09月13篇 08月4篇 07月3篇 06月7篇 05月1篇 04月2篇 02月2篇 01月1篇 2009年38篇 12月2篇 11月2篇 10月3篇 09月2篇 07月1篇 06月1篇 05月2篇 04月24篇 02月1篇 2008年16篇 12月2篇 11月1篇 09月1篇 08月3篇 07月1篇 06月2篇 05月1篇 04月1篇 03月1篇 02月1篇 01月2篇 2007年39篇 12月23篇 11月3篇 10月6篇 09月1篇 08月1篇 07月3篇 05月1篇 03月1篇 2006年2篇 11月1篇 05月1篇 2005年10篇 12月1篇 11月1篇 10月1篇 08月3篇 07月1篇 05月1篇 03月2篇
推荐/精选
原创

全部原创转载翻译

Spark2.2.0实战：自动获取Json文件元数据信息，注册两个临时表，条件查询后，合并相同记录数

java

原创 2021-03-10 10:39:57 243 阅读

Spark2.x入门：SparkStreaming工作原理(官网翻译)

官网翻译大体意思如下： SparkStreaming是核心SparkApi的扩展，支持可伸缩、高吞吐量、容错的实时数据流处理。数据可以从许多来源获取，如Kafka、Flume、Kinesis或TCP sockets，可以使用复杂的算法处理数据，这些算法用高级函数表示，如map、reduce、join和window。最后，处理后的数据可以推送到文件系统、数据库和活动仪表板。实际上，您可以将Sp

java

原创 2021-03-10 10:39:30 286 阅读

Spark2.2.0实战：RDD转DataFrame两种方式（下）

Spark SQL支持两种不同的方法将现有的RDDs转换为数据集。上一篇文章通过实例讲解通过映射方式装换，这里实例讲解第二种方式；第二种方法：通过编程接口，该接口允许您构造一个模式，然后将其应用于现有的RDD。虽然此方法更详细，但它允许您在列及其类型直到运行时才知道时构造数据集。数据准备studentData.txt1001,20,zhangsan1002,17,lisi1003,24,wangw

java

原创 2021-03-10 10:39:01 176 阅读

Spark2.2.0实战：RDD转DataFrame两种方式（上）

Spark SQL支持两种不同的方法将现有的RDDs转换为数据集。第一个方法：使用反射来推断包含特定对象类型的RDD的模式。这种基于反射的方法使代码更加简洁，并且当您在编写Spark应用程序时已经了解了模式时，它可以很好地工作。第一种方法代码实例java版本实现：数据准备studentDatatxt1001,20,zhangsan1002,17,lisi1003,24,wangwu

java

原创 2021-03-10 10:38:13 393 阅读

SparkStreaming第一个WordCount程序（java/scala实现）

程序从windows一个socket端的9999端口接收以换行符分隔的多行文本，每两秒一个时间窗口，打印字数统计。Socket数据发送命令window发送命令 nc -l -p 9999linux 发送命令 nc -lk 9999Java版本：package com.unicom.ljs.spark220.study.streaming;import org.apache.spark.Spa

java

原创 2021-03-10 10:37:45 242 阅读

Hive进阶：Hive通过外部表操作Hbase数据

概述：HBase：查询效率比较高，常为实时业务提供服务，但是其查询方式比较单一，只能通过row方式get单条数据，或者通过scan加过滤器的方式扫描数据表获取数据。Hive: hive用来存储结构化数据，常用来搭建数据仓库作为离线分析的数据存储，支持HQL操作，但是对于复杂HQL都会转化成mapreduce任务，执行比较慢。有时候我们数据存在HBase中，但是需要通过sql语

java

原创 2021-03-10 10:37:18 2639 阅读

Spark2.x入门：SparkStreaming消费Kafka实例

软件软件： spark版本是apache spark2.2.0 kafka版本是kafka0.10.0 采用Direct Approach的方式来融合Spark Streaming和Kafka。没有采用Receiver-Based的方式。后续我会专门整理一篇文章分析两种融合方式不同。1.kafka数据准备：创建kafka的topic命令：/usr/hdp/2.6.3.

java

原创 2021-03-10 10:36:50 825 阅读

Flink1.8进阶：Flink1.8批量Sink到HBase

实现背景：消费Kafka数据写入HBase时，单条处理效率太低。需要批量插入hbase,这里自定义时间窗口countWindowAll 实现100条hbase插入一次Hbase前面我就不写了直接上核心代码/*每10秒一个处理窗口*/DataStream<List<Put>> putList = filterData.countWindowAll(Constants

java

原创 2021-03-10 10:36:20 2156 阅读

HBase1.x实战：BulkLoad批量导入数据代码实例

1.概述： HBase包含几种将数据加载到表中的方法。最直接的方法是使用MapReduce作业中的TableOutputFormat类，或者使用客户端api;然而，这些并不总是最有效的方法。 BulkLoad将文本文件或者其他数据库上传到HDFS中。将数据转换为HFile，这个步骤需要MapReduce，将Rowkey作为OutputKey，将一个Put或者Delete作为Output

java

原创 2021-03-10 10:35:53 701 阅读

HBase1.x实战：协处理器Java开发实例--ObserverCoprocessor

概述： HBase日常开发中可能需要根据查询条件对固定表部分列建立二级索引存到另外一张表，或要求在插入A表的同时，需要同步部分列到B表中，我们就可以通过协处理实现这个需求：实例：A表：表名：student主键：rowID列族：info，列：info:name,info:age,info:score,info:adress,info:phoneNumberB表: 表名：index_stud

java

原创 2021-03-10 10:35:07 351 阅读

Kafka入门：常用开发、运维命令(kafka0.10.x)

概述：下面是开发和项目运维实战过程中总结的一些kafka常用的命令，已在kafka0.10.x环境进行了测试验证。常用命令：1.查看帮助/usr/hdp/2.6.3.0-235/kafka/bin/kafka-topics.sh --help2.查看当前集群所有topic./kafka-topics.sh --zookeeper salver31.hadoop.unicom:2181

java

原创 2021-03-10 10:34:17 562 阅读

HBase1.x进阶：Region的拆分详解（实现、拆分方式、触发条件）

第一部门：Region拆分的实现（官网翻译） client端向hbase写数据，首先从zookeeper中获取元数据存储所在的regionserver,查找对应的region，在region中寻找列族，先向memstore中写入数据，开始都会先写入memstore(默认128MB)中（如果开启了WAL日志，则先写入WAL日志），随着数据写入增加,触发溢写操作（flush），溢写到磁盘文件生成

java

原创 2021-03-10 10:33:46 2036 阅读

HBase1.x入门：史上最全hbase shell命令

HBase shell常用命令查询服务器状态hbase(main):002:0> status1 active master, 1 backup masters, 4 servers, 0 dead, 33.0000 average load查看HBase版本信息hbase(main):006:0* version1.2.5, rd7b05f79dee10e0ada614765bb354b9

java

原创 2021-03-10 10:31:36 446 阅读

HBase1.x实战：强制删除drop不掉的表（已生产实践）

生产上运维HBase的过程中经常遇到drop表失败的情况，一般我们通过删除hdfs存储目录、zookeeper数据的的方式进行强制删除。大体步骤如下：这里以表“testTable12”为例删除testTable12表在HDFS上的所有数据[hbase@master98 ~]$ hadoop fs -rm -r -f /apps/hbase/data/data/default/testT

java

原创 2021-03-10 10:29:27 1324 阅读

Flink1.8入门：入门实例--流处理SocketWordCount（界面提交+参数传递）

概述：这里主要演示flink源码实例中“WordCount”程序的流窗口版本。此程序连接到socket服务器并从socket读取字符串。最简单的尝试方法是打开一个文本服务器(在端口9999)，使用netcat工具详解界面提交和参数传递，代码很简单可直接从github中获取： https://github.com/apache/flink/blob/master

java

原创 2021-03-10 10:29:04 986 阅读

HBase1.x进阶：误删数据(未删除表),如何快速抢救？

以前常用的关系数据库mysql、oracle 误删除后，都可通过各种方式进行数据的恢复，而HBase中如果我们误删除了表中的一行或者一行中的几列数据能不能恢复呢？答案是肯定的，HBase可设置KEEP_DELETED_CELLS 为 True 的目的在于防止数据被物理删除：先来说下HBase的两个属性:KEEP_DELETED_CELLS和TTL 1.创建表时指定列族的TTL[time to li

java

原创 2021-03-10 10:28:27 596 阅读

HBase1.x精通：HBase大合并、小合并（原理、触发条件、影响、优化）

HBase是基于一种LSM-Tree（Log-Structured Merge Tree）存储模型设计的，client端向HBase的各个Regionserver写入数据时，首先会写入预写日志WAL文件，这个文件一般是放在HDFS上被所有Regionserver节点共享，然后才写入MemStore内存，MemStore默认大小是128MB（跟block大小一致，不建议修改），如果MemStore达

java

原创 2021-03-10 10:27:48 6289 阅读 1收藏

Scala入门：Tuple拉链操作、JavaMap与ScalaMap隐式转换

uple拉链操作实际就是将两个Array合并成一个Tuple，通过Array的zip()方法实现，这里需要注意，两个数组的长度要一致，不然会丢数据：代码实例：package com.hadoop.ljs.spark.study/** * @author: Created By lujisen * @company ChinaUnicom Software JiNan * @date:

java

原创 2021-03-10 10:27:18 488 阅读

HBase1.x进阶：数据表(不只数据)误删除，快速恢复(已生产实践)

作为Hadoop集群维护人员，经常误操作直接将HBase表数据误删除，生产数据肯定是不能直接删除的，下面我详细给大家演示下，如何快速恢复误删除的表：为方便大家理解，我先讲一下HBase在hdfs上的目录结构，先看下面这张图：一共9个目录和2个文件：目录：1.hbase-snapshot如果hbase开启了快照，用户对一个数据表建立快照table_snapshot1,则hbase会在这个目录下新建一

java

原创 2021-03-10 10:26:56 755 阅读

Scala进阶：扩大内部类作用域的两种方式：伴生对象、类型投影

内部类初始用户，内部类的作用域属于：外部类对象，不同外部类对象中的内部类对象类型不同会报错type mismatch。实例代码：注意：定义了一个外部类Person 和一个内部类Studentpackage com.hadoop.ljs.spark.studyimport scala.collection.mutable.ArrayBuffer/** * @author: Crea

java

原创 2021-03-10 10:26:13 215 阅读

Phoenix4.10实战：大表异步索引创建实战

概述： Phoenix使用HBase作为后端存储，对于HBase来说，我们通常使用字典序的RowKey来快速访问数据，除此之外，也可以使用自定义的Filter来搜索数据，但是它是基于全表扫描的。而Phoenix提供的二级索引是可以避开全表扫描，是在HBase中快速查找或批量检索数据的另一个选择。为什么使用异步索引？一般我们可以使用CREATE INDEX来创建一个索引，这是一种同步的方

java

原创 2021-03-10 10:25:50 524 阅读

Spark2.2.0精通：Spark系统架构、任务提交流程

在讲解Spark系统架构之前，先给大家普及一些比较重要的概念：术语描述ApplicationSpark的应用程序，包含一个Driver、多个ExecutorSparkContxtspark应用程序入口，负责调度运算资源，协调worker上的executorDriver程序运行sark应用程序的main函数，并创建sparkContextExecutor运行在Worker上的一个进行，负责运行Ta

java

原创 2021-03-10 10:25:28 343 阅读

Scala入门：面向对象编程之Trait 详解（一）

本章节主要讲解Trait基础知识，后面文章继续讲解Trait的高级知识点。Trait概述： 1.Scala中Trait 为重用代码的一个基本单位，首先Trait可以作为接口使用，这时候Trait跟Java的接口Interface类类似，另外Trait还可以定义抽象方法，这里又跟Java的抽象类的抽象方法一样。 2.类可以作为使用extrends关键字集成Trait,这里与java的im

java

原创 2021-03-10 10:25:02 331 阅读

Spark2.x入门：集群(Standalone)安装、配置、启动脚本详解

Spark2.x集群安装文章网上已经有很多，这里整合了多篇文章安装步骤，并详细讲解了Master、Worker的启动命令、spark-env.sh文件的详细配置等，由于Spark2.x集群安装需要用的JDK、Scala等组建的支撑，由于安装比较简单，我这里不在讲解，只简单列一下我这里用到的软件版本：版本信息：操作系统：CentOS Linux release 7.2.1511 (Core)JDK

java

原创 2021-03-10 10:24:30 760 阅读

HBase1.x优化：数据本地化率？

生产上遇到一个比较有意思的问题，我这里简单给大家讲解一下：现象：由于同事反应生产上在HBase Shell中，通过 get ‘表’，‘rowkey’ 获取数据的时候，经常会出现，连续多次执行同一条get命令，前面N-1次可能没问题，到了第N次就卡住了，时间一长就报超时的错误。我看了下后台日志也没有太明显的错误，其他方法都试了也没解决掉这个问题，后来好好想了下，这个集群最近一

java

原创 2021-03-10 10:24:00 2982 阅读

HBase1.x进阶：一文读懂HBase为何依赖Zookeeper?(必看)

java

原创 2021-03-10 10:23:30 824 阅读

Scala入门：面向对象编程之Trait 详解（四）

Trait的构造机制有java背景的人，很清楚java是如何定义构造方法以及继承的。在scala里面，继承和java有些相似。但是构造方法的定义，就不大一样了，应该说是差别还是很大的。在java里面，定义构造方法，就是定义一个没有返回值类型的与类同名的方法。 Trait也有自身的构造机制，但是它跟类不一样，不能定义接收参数的构造函数，只有默认的构造函数，在Trait中，不包含在任何方

java

原创 2021-03-10 10:23:00 218 阅读

Scala入门：面向对象编程之Trait 详解（三）

2.实现Trait的调用链如果多个Ttrait都含有同一个方法，Scala的类继承多个Trait后，支持调用所有父Trait的同一方法，只需要在方法最后调用super方法即可。定义Trait为BaseChecker,两个子Trait分别为 DataChecker校验字段非空, LengthChecker校验字段长度是否合法字段类Field 分别顺序继承两个校验类package co

java

原创 2021-03-10 10:22:31 158 阅读

Scala入门：面向对象编程之Trait 详解（二）

1.为类的特定实例混入特定Trait 为类的某个实例对象混入Trait，而类的其他实例对象没有继承对应的Tarit。这里先新建Trait类 BaseSayHello，SayHello（继承BaseSayHello），测试类Student4指定继承自BaseSayHello,代码实例：package com.hadoop.ljs.spark.study.TraitTes

java

原创 2021-03-10 10:22:09 187 阅读

HBase1.x精通:详解HBase读缓存BlockCache(二、源码剖析）

引言：上篇文章“HBase1.x精通:详解HBase读缓存BlockCache(一）”主要讲解了HBase块缓存的机制和三种策略，我们生产环境当前用的版本是HBase1.2.5，它默认的读缓存策略是LruBlockCache，下面我就结合HBase1.2.5源码深入剖析LruBlockCache的实现。1.BlockCache初始化当每个HRegionserver线程通过函数run

java

原创 2021-03-10 10:21:36 623 阅读 1收藏

欢迎

首页
1
2
3
4
5
6
共160条记录

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

mb5ff98083d7c62的博客