文件读取读取本地文件，读取csv文件，读取网络文件package com.yy.scala
import scala.io.Source
/**
* 文件读取
*/
object FileApp extends App {
val file = Source.fromFile("D:\\data\\hello.txt")
//按行读取
for(line <- file.
转载
2023-05-27 11:07:24
175阅读
1、在桌面创建文件 ip.txtip1 127.0.0.1ip2 127.0.0.2ip3 127.0.0.32、代码import scala.io.Sourceobject Parser{ println("scala读取ip.txt文件") private val lines = Source.fromFile("C:\\Users\\com\\Deskto...
原创
2022-03-30 16:45:58
586阅读
1、在桌面创建文件 ip.txtip1 127.0.0.1ip2 127.0.0.2ip3 127.0.0.32、代码import scala.io.Sourceobject Parser{ println("scala读取ip.txt文件") private val lines = Source.fromFile("C:\\Users\\com\\Deskto...
原创
2021-08-26 09:32:01
1138阅读
Scala 中读取文件1.本Scala语句直接在Spark-shell中编写，所以不用初始化SparkContext变量。 2.案例需求： 求出某文件中包含error或者warning的行 3.代码如下： /* 1.以下程序在scala中即可运行 2.因为spark-shell在初始化的时候，已经自定义了一个sc */ val inputRDD ...
原创
2021-07-08 14:23:32
411阅读
Scala 中读取文件1.本Scala语句直接在Spark-shell中编写，所以不用初始化SparkContext变量。 2.案例需求： 求出某文件中包含error或者warning的行 3.代码如下： /* 1.以下程序在scala中即可运行 2.因为spark-shell在初始化的时候，已经自定义了一个sc */ val inputRDD ...
原创
2022-01-28 13:49:30
168阅读
今天主要简单写一下kafka的读写,我写了java,scala两个版本的,写法比较老,但都能用,已经测试过了,直接上代码吧;java版本:package com.cn.kafka;import java.util.Arrays;import java.util.HashMap;import java.util.Map;import java.util.Properties;i...
原创
2021-08-16 15:21:09
345阅读
今天主要简单写一下kafka的读写,我写了java,scala两个版本的,写法比较老,但都能用,已经测试过了,直接上代码吧;
java版本:
package com.cn.kafka;
import java.util.Arrays;
import java.util.HashMap;
import java.util.Map;
import java.util.Properties;
imp
原创
2021-08-16 15:21:50
448阅读
scalikejdbc的简介：ScalikeJDBC是一款给Scala开发者使用的简介访问类库，它是基于SQL的，使用者只需要关注SQL逻辑的编写，所有的数据库操作都交给ScalikeJDBC。这个类库内置包含了JDBCAPI，并且给用户提供了简单易用并且非常灵活的API。并且，QueryDSl（通用查询查询框架）使你的代码类型安全，半年过去可重复使用。我们可以在生产环境大胆地使用这款DB访问类库
转载
2019-05-01 09:48:00
112阅读
关注 “Java艺术” 我们一起成长！ 在《如果可以，我想并行消费
Kafka拉取的数据库 Binlog》这篇文章中，笔者介绍如何实现并行消费 Binlog，具体实现就是让同一张表的 Binlog放到同一个线程去消费，用局部顺序消费换取消费速度，避免消息堆积。但在某些场景下，使用这种方式还是出现了问题，出现在关联表更新数据同步的先后顺序上。在此分享下我们的解
转载
2024-03-07 20:58:01
74阅读
应用程序使用 KafkaConsumer向 Kafka 订阅主题，并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。如果不先理解 这些概念，就难以理解如何使用消费者 API。所以我们接下来先解释这些重要的概念，然 后再举几个例子，横示如何使用消费者 API 实现不同的应用程序。消费者和消费者群组假设我们有一个应用程序需要从-个 Kafk
转载
2023-11-11 07:28:09
97阅读
Kafka版本选择 我们这次分析的Kafka的版本是0.10.1版本，现在最新的Kafak版本2.5.x了。但是我们分析的Kafka的核心源码流程没多大变化。选择分析老版本的一个原因是：我个人的习惯一般去分析一个技术的源码都不挑最新的版本，都会挑老一点的版本，正常情况下老一点的版本代码结构会更清晰，因为像这种开源的项目，很多人都会去提交一些patch，但是提交patch的开发人员水平参差
转载
2024-04-15 12:18:28
118阅读
本文目的研究了一下Kafka Produce/Consumer 的API，发现Consumer API的使用并没有那么的straight forward。折腾了2天后，终于摸到了一些门道，这里记录下怎样使用High Level Consumer API来接收并处理一个Topic中的消息。本文的例子用Scala编写，如果要改成Java的其实很容易。环境Kafka为0.8.2.0（CDH版本） Sc
转载
2023-08-23 22:44:15
112阅读
得到的结果如下：
原创
2022-08-10 17:36:31
387阅读
Class： Object: Conf:
原创
2022-08-10 17:41:44
225阅读
大家好，我是tin，这是我的第22篇原创文章kafka是一个高吞吐、低延时的消息中间件。采用Java和scala语言编写，它有着非常多的优秀设计。要想学习讨论kafka的优秀理念，源码阅读必不可少。今天我们开始搭建kafka环境。目录一、JDK二、scala三、gradle四、kafka源码1. 拉取源码库2. 安装scala插件3. 启动kafka broker五、结语一、J
转载
2024-03-06 08:12:32
104阅读
在windows下，使用idea 阅读kafka2.x源代码 1.前提必读 kafka ReadMehttps://github.com/apache/kafka/blob/trunk/README.mdApache KafkaSee our web site for details on the project.You need to have Gradl
转载
2024-03-27 10:15:59
44阅读
先上代码package com.daidai.connectors;
import com.daidai.sink.domain.User;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream
转载
2023-09-02 22:12:11
102阅读
1.使用Binlog和Kafka在实时打开的Binlog日志中将mysql数据同步到Elasticsearch(1)2.使用Binlog和Kafka实时将mysql数据同步到Elasticsearch(2)-安装并运行Kafka3.使用Binlog和Kafka实时将mysql数据同步到Elasticsearch(3)– Binlog将生产日志消息记录到Kafka4.使用Binlog和Kafka实时
转载
2024-06-02 11:24:58
55阅读
spark streaming读取kafka示例，其中
Spark Streaming优雅的关闭策略优化部分参考：
http://qindongliang.iteye.com/blog/2404100
如何管理Spark Streaming消费Kafka的偏移量部分参考：
http://qindongliang.iteye.com/blog/2401194
Spark向
转载
2024-05-12 18:43:09
33阅读
KafkaConnector使用方法引言Flink通过Kafka Connector提供从Kafka读取数据和向Kafka写入数据的功能，并通过Checkpoint机制实现了Exactly-Once的操作语义，在保证数据读取和写入准确性的同时能够查询对应的offset信息。KafkaConsumner基本使用篇Flink通过KafkaConsumer从Kafka的一个（或多个）Topic中读取数据
转载
2024-03-08 22:39:53
459阅读
