众所周知，Python连接Oracle数据库，一般都使用cx_Oracle这个包。但关键是cx_Oracle这个包，返回的结果，都是元组或者列表。如以下代码： 1 import cx_Oracle
2 import os
3
4 os.environ['NLS_LANG'] = 'SIMPLIFIED CHINESE_CHINA.UTF8'
5
6 connection = cx_
转载
2023-08-24 08:11:50
190阅读
最近给一台新电脑做python读取Oracle数据库的脚本时，遇到的问题，在这里总结一下。需要的软件/包等python这个就不用多说了，我用的是3.8版本，其他版本按照我的方法参考就行cx_Oracle这个是Oracle提供的官方Python模块cx_Oracle，我的是8.3.0版本，安装方法：pip install cx_OracleOracle Instant Client这个是重点，因为只
转载
2024-08-21 13:40:44
69阅读
1、环境2、安装oracle客户端（我下载的rpm格式）地址oracle客户端3、安装上传到服务器（1）、yuminstall-ylibaio（2）、rpm-ivhoracle-instantclient12.2-basic-12.2.0.1.0-1.x86_64.rpm（3）、安装python客户端cx_Oraclepip3installcx_Oracle(4)、配置环境变量vim/etc/pr
原创
2018-05-07 15:03:19
5360阅读
点赞
在公司做大数据开发已经四五年了，因此也积累了一些心得体会，便趁着这次机会大体描述下。 首先：数据开发的前提肯定是需要数据的，而数据从哪里来，大部分的数据都存储在Oracle中，而spark的计算 数据来源基本上都是hdfs。虽然oracle也可以与spark进行直接交互，但是如果oracle的表的数据量高达千万、亿 级别，每次的spark的查询都会对oracle数据库产生极大的影响，因
转载
2023-11-24 13:35:20
59阅读
Flink CDC Oracle 完整踩坑指南1. flink-cdc同步oracle表的增量数据试用环境：**Oracle：**11.2.0.4.0（RAC 部署）**Flink：**1.12.0通过 Flink 集群方式部署使用。完整代码实现：package com.nari.cdc.job;
/**
* 同步oracle指定表 发送到kafka
*
* @author gym
*
转载
2024-02-04 02:13:36
251阅读
在oracle中创建一个函数，本来是想返回一个index table的，没有成功。想到文本也可以传输信息，就突然来了灵感，把返回值设置文本格式。考虑到返回数据量可能会很大，varchar2类型长度吃紧，于是将返回值类型设置为clob。我是用scott用户的测试表，这个是函数定义情况：create or replace function test_query_
原创
2016-07-17 17:14:39
735阅读
一、kafka 模拟数据：【1】模拟数据实体类：public class CarDataTest {
private String lat;
private String lon;
private String location;
private String status;
private String terminaltype;
-------
转载
2024-08-13 10:31:54
208阅读
当用Spark的DataFrame往HDFS里面写入csv的时候，会指定分隔符等等。由于写入的是csv，因此用sqoop导到其它数据库的时候就会默认全部按照字符串来处理。因此字符串的格式一定要符合导出数据库所要求的格式。之前曾尝试用DataFrame导出Parquet文件，并用sqoop命令来导出到oracle数据库，无奈总是报错parquet文件夹下缺乏.metadata文件，百度谷歌必应了半天
转载
2023-10-01 11:38:19
102阅读
刚开始使用spark-sql，首先看了一部分的源码。然后开始着手程序的编写。在spark中使用jdbc：在 Spark-env.sh 文件中加入:export SPARK_CLASSPATH=任务提交时加入:spark-submit –master spark://master:7077 –jars ojdbc16.jar
一、
val rdd = sqlContext.read.format(“
转载
2023-10-06 16:40:06
429阅读
iamlaosong文将CSV文件导入到ORACLE的方法网上很多，比较常见的方法是用PL/SQL Developer的Text Importer和SQLLOADER，考虑到数据量大，觉得还是将文件FTP到服务器，再用SQLLOADER速度会比较快。Oracle 的SQLLOADER可以将外部数据加载到数据库表中。下面是SQLLOADER的基本特点： 1）能装入不同数据类型文件及多个数据文件的数据
转载
2023-09-06 12:18:19
100阅读
controller： byte[] blob = commonService.getPersonImage(bean.getIdCard()); String base = new String(blob)); service： TableBean bean = getSqlSessionTe
原创
2022-03-30 09:48:25
473阅读
12.1 新建一个数据库实体类Demo1package com.eduask.util;import java.sql.Connection;import java.sql.DriverManager;//jdbcpublic class Demo1 {private static String url;private static Stri
原创
2022-08-04 16:59:08
23阅读
刚开始使用spark-sql，首先看了一部分的源码。然后开始着手程序的编写。 在spark中使用jdbc： 在 Spark-env.sh 文件中加入: export SPARK_CLASSPATH= 任务提交时加入: spark-submit –master spark://master:7077 –jars ojdbc16.jar一、 val rdd = sqlContext.rea
转载
2023-10-26 08:00:56
126阅读
背景oracle数据同步项目。在同步过程中偶发插入或者更新数据后数据立即会进行删除。导致同步失败；基本技术架构oracle触发器进行数据的增删改查时将数据变更情况写入一张日志表flume采集日志表。使用sql插件kafka信息中间件flink进行流处理，使用侧输出流问题数据同步的逻辑是：1.在kafka中获取到数据后使用测输出流进行分发 2.使用duutils进行数据连接管理 但是不是使用连接池来
转载
2024-01-21 08:06:18
76阅读
Spark作为一个分布式计算框架，可以很好的适用于Hadoop。那么Spark是否可以与关系型数据库较好的进行兼容呢？以Spark作为计算，以关系型数据库（例如Oracle）作为存储？ 答案当然是可以，笔者经过不断地测试和优化，终于将Spark与Oracle进行了兼容匹配与读写优化。1、环境准备 在本次测试环境中，用6台机器搭建了CDH的Hadoop平台，Spark2.2版本搭配Yarn
转载
2023-09-29 21:10:52
233阅读
摘要:用户提出一个需求,即ORACLE中的一个表存储了照片信息,字段类型为BLOB,要求能导出成文件形式. 本想写个C#程序来做,后来想起ORACLE有很多包,功能很好很强大,于是网上参考了些文章完成了. 主要是用了ORACLE的两个包:UTL_FILE和DBMS_LOB.实现过程:第一步：以管理员用户登陆设置可操作目录 --CREATE DIRECTORY privilege is g
转载
2023-11-08 12:01:15
236阅读
