文件读取读取本地文件，读取csv文件，读取网络文件package com.yy.scala
import scala.io.Source
/**
* 文件读取
*/
object FileApp extends App {
val file = Source.fromFile("D:\\data\\hello.txt")
//按行读取
for(line <- file.
转载
2023-05-27 11:07:24
175阅读
1、在桌面创建文件 ip.txtip1 127.0.0.1ip2 127.0.0.2ip3 127.0.0.32、代码import scala.io.Sourceobject Parser{ println("scala读取ip.txt文件") private val lines = Source.fromFile("C:\\Users\\com\\Deskto...
原创
2021-08-26 09:32:01
1138阅读
1、在桌面创建文件 ip.txtip1 127.0.0.1ip2 127.0.0.2ip3 127.0.0.32、代码import scala.io.Sourceobject Parser{ println("scala读取ip.txt文件") private val lines = Source.fromFile("C:\\Users\\com\\Deskto...
原创
2022-03-30 16:45:58
586阅读
Scala 中读取文件1.本Scala语句直接在Spark-shell中编写，所以不用初始化SparkContext变量。 2.案例需求： 求出某文件中包含error或者warning的行 3.代码如下： /* 1.以下程序在scala中即可运行 2.因为spark-shell在初始化的时候，已经自定义了一个sc */ val inputRDD ...
原创
2022-01-28 13:49:30
168阅读
Scala 中读取文件1.本Scala语句直接在Spark-shell中编写，所以不用初始化SparkContext变量。 2.案例需求： 求出某文件中包含error或者warning的行 3.代码如下： /* 1.以下程序在scala中即可运行 2.因为spark-shell在初始化的时候，已经自定义了一个sc */ val inputRDD ...
原创
2021-07-08 14:23:32
409阅读
scalikejdbc的简介：ScalikeJDBC是一款给Scala开发者使用的简介访问类库，它是基于SQL的，使用者只需要关注SQL逻辑的编写，所有的数据库操作都交给ScalikeJDBC。这个类库内置包含了JDBCAPI，并且给用户提供了简单易用并且非常灵活的API。并且，QueryDSl（通用查询查询框架）使你的代码类型安全，半年过去可重复使用。我们可以在生产环境大胆地使用这款DB访问类库
转载
2019-05-01 09:48:00
112阅读
实际工作中的场景，要在A集群部署任务，读取B集群hive的数据，存在A集群对应的表中。目
原创
2022-08-04 18:07:19
271阅读
如果有以下情景，怎么用scala实现读写文件？1、实现读取以下文件内容E:/device_level2、将
原创
2022-11-03 14:14:23
221阅读
<scala.version>2.11.12<
原创
2023-05-11 10:53:42
256阅读
import java.sql.{Connection,Driver,DriverManager,ResultSet,PreparedStatement}import org.apache.spark.{SparkConf, SparkConte
原创
2023-03-02 05:36:13
294阅读
文章目录读取数据源数据格式保存JSONcsvSequenceFile对象文件非文件系统数据源protocol buffer文件压缩文件系统Spark SQLApache Hive数据库读取数据源本地或分布式文件系统(NFS、HDFS等)Spark中的结构化数据源Cassandra、HBase、Elasticsearch、JDBC源数据格式文本文件、JSON、CSV、Sequenc...
原创
2022-12-04 01:36:15
858阅读
学习了scala的基本知识后，发现了scala是集函数式和指令式结合为一体的一种语言，代码更加简洁，但是对于用习惯了java的人来说，还真的不是一件易事~~ 今天学习scala脚本读取文本文件 列子如下： &nbs
原创
2014-06-27 18:23:34
1680阅读
文件格式Spark对文件的读取和保存方式都很简单，会根据文件的扩展名选择对应的处理方式Spark支持的一些常见格式 格式名称 结构化 备注 文本文件 否 普通的文本
原创
2023-02-21 16:31:07
399阅读
Flink CDC Oracle 完整踩坑指南1. flink-cdc同步oracle表的增量数据试用环境：**Oracle：**11.2.0.4.0（RAC 部署）**Flink：**1.12.0通过 Flink 集群方式部署使用。完整代码实现：package com.nari.cdc.job;
/**
* 同步oracle指定表 发送到kafka
*
* @author gym
*
转载
2024-02-04 02:13:36
251阅读
在公司做大数据开发已经四五年了，因此也积累了一些心得体会，便趁着这次机会大体描述下。 首先：数据开发的前提肯定是需要数据的，而数据从哪里来，大部分的数据都存储在Oracle中，而spark的计算 数据来源基本上都是hdfs。虽然oracle也可以与spark进行直接交互，但是如果oracle的表的数据量高达千万、亿 级别，每次的spark的查询都会对oracle数据库产生极大的影响，因
转载
2023-11-24 13:35:20
59阅读
为了方便大数据量的csv数据处理，可以将数据导入到hive中进行处理。具体步骤：1.检查csv数据格式，去掉一些不需要的字符不如“”等符号不需要在hive中显示的，可以使用sed去掉如：sed -i 's/"//g' *.csv2.将数据导入到hdfs中创建所需hdfs目录并将数据put到该目录中。如果权限不够使用hdfs用户。hadoop fs -mkdir /user/root/parahad
转载
2023-05-18 12:44:02
261阅读
当用Spark的DataFrame往HDFS里面写入csv的时候，会指定分隔符等等。由于写入的是csv，因此用sqoop导到其它数据库的时候就会默认全部按照字符串来处理。因此字符串的格式一定要符合导出数据库所要求的格式。之前曾尝试用DataFrame导出Parquet文件，并用sqoop命令来导出到oracle数据库，无奈总是报错parquet文件夹下缺乏.metadata文件，百度谷歌必应了半天
转载
2023-10-01 11:38:19
102阅读
