一、环境Windows 7 x64 python 3.7.1 pymysql 0.9.3 mysql5.6.43 二、pymysql的简单使用1、准备数据库demo_temp create database demo_temp; 2、连接数据库 import py
转载
2024-10-11 20:43:46
761阅读
# PyMySQL批量写入数据
在Python开发中，PyMySQL是一个常用的MySQL数据库连接工具，能够方便地执行数据库操作。在实际开发中，有时候需要批量写入大量数据，这时候就需要使用PyMySQL的批量写入功能。
## PyMySQL简介
PyMySQL是一个纯Python MySQL驱动，支持Python3.x和Python2.x版本。它使用原生的Python编写，性能良好，易于安
原创
2024-05-23 05:20:22
152阅读
前言最近准备对数据质量进行监控，选定的工具是开源的Apache Griffin，由于文档稀缺，加上griffin本身使用的组件众多，期间采坑不少，我们将打好的包measure-0.6.0-SNAPSHOT.jar放到集群中，通过livy调用spark命令执行任务，过程还是相对繁琐的。本文就spark任务结果写入elasticsearch遇到异常做个小结。异常Exception in thread
转载
2024-09-29 08:35:10
108阅读
环境说明：PyMySQL==1.0.2python3.8模型 CREATE TABLE `test` ( `id` int(11) NOT NULL COMMENT "", `name` varchar(20) NULL DEFAULT "" COMMENT "", `num` int(11) NULL DEFAULT "0" COMMENT "" )单条写入和多条写入单条写入inse
原创
2022-10-15 07:24:48
329阅读
Doris版本：0.15.0-rc04 文章目录任务流程异常说明Stream Load介绍简单说明支持数据格式前置条件启动批量删除方式相关代码示例 任务流程异常说明当MySQL端批量进行Delete或Update操作，产生大量Binlog，进入到Flink实时同步任务中，Flink实时同步任务通过拼装INSERT INTO语句，批量执行数据同步，这时，就有可能会导致Doris的数据版本超过了最大的
转载
2024-03-27 06:56:14
246阅读
Flink Doris Connector设计方案该方案首先感谢社区Spark Doris Connector的作者从Doris角度看，将其数据引入Flink，可以使用Flink一系列丰富的生态产品，拓宽了产品的想象力，也使得Doris和其他数据源的联合查询成为可能从我们业务架构出发和业务需求，我们选择了Flink作为我们架构的一部分，用于数据的ETL及实时计算框架，社区目前支持Sp
转载
2024-02-29 09:17:26
201阅读
在Python中，通过pymysql模块，编写简短的脚本，即方便快捷地控制MySQL数据库一、连接数据库 使用的函数：pymysql.connect 语法：db=pymysql.connect(host='loc
转载
2023-10-13 15:20:18
241阅读
编程界的小学生一枚，主要使用语言为python，平时要和数据打交道，还有erp系统相关以及web开发等等，有时间就会分享下工作中遇到的那点事，包括那些让我焦虑的问题，包括我自己总结的小技巧，那些程序优化重构的实现，还有可能包括程序性能优化，以及源码的阅读等等···在荆棘的道路上逆风前行本文基于python, pandas, pymysql实现了向数据库中批量插入数据的脚本，一方面提供给被网上很多瞎
转载
2023-08-23 21:27:00
417阅读
python数据批量写入ScrolledText的优化方法如下所示：for i in data[::-1]:
self.maintenance_text.insert(tk.END, str(i['payload']) + '\n\n')
self.maintenance_text.see(tk.END)改为：str_data = '\n\n'.join([str(i) for i in data
转载
2023-08-19 22:39:00
128阅读
一、mysql内置方法1）视图的概念和用法1、什么是视图
视图就是通过查询得到一张虚拟表，然后保存下来，下次用的直接使用即可
2、为什么要用视图
如果要频繁使用一张虚拟表，可以不用重复查询
3、如何用视图
创建视图：
create view teacher2course as
select * from teacher inner joi
转载
2024-07-29 19:20:38
105阅读
在现代开发中，特别是使用 Python 与 MySQL 的结合，我们往往需要高效地进行批量数据写入。在这篇文章中，我将详细讲解如何使用 `pymysql` 进行快速的批量数据插入，并结合实用的结构对整个过程做一个清晰的整理。
## 环境预检
首先，我们需要确认开发环境是否符合我们的需求。我们可以通过四象限图对环境进行兼容性分析。以下是一个典型的环境预检分析：
```mermaid
quadr
遇到的问题1、pymysql.err.ProgrammingError: execute() first2、File "D:\xxx\python3.8\lib\site-packages\pymysql\connections.py", line 729, in _read_bytesself._sock.settimeout(self._read_timeout)AttributeError:
转载
2024-03-11 07:21:33
125阅读
目录 mysql语句注释navicat 的基本使用特色（个人总结）与数据服务器建立连接创建&打开数据库、表创建打开修改操作表结构修改表结构查询修改操作表数据基本语句对应的操作模型 *****从数据库建立模型模型页面基本操作用模型设计数据库并导出结构、数据导入导出导出导入附属小功能刷新小按钮查看操作对应sql语句执行时间查看手动筛选数据练习数据准备使用SQL语句导入表结构与数据如何验证答
近来有一个项目Feature需要有批量写入数据的场景，正巧整理资料发现自己以前也类似实现的项目，在重构的同时把相关资料做了一个简单的梳理，方便大家参考。循环写入（简单粗暴，毕业设计就这样干的）（不推荐）Bulk Copy写入（>1000K 记录一次性写入推荐）表值参数方式写入（mssql 2008新特性）（强烈推荐） 在SQL Server 2008未提
转载
2024-02-28 09:58:54
13阅读
这是上一篇文章的优化版本，相较于一条一条的执行sql语句，本文中，将excel中所有的数据先写到list列表中在通过函数 cursor.executemany(sql, list）import pymysql
import xlrd
'''
连接数据库
args：db_name（数据库名称）
returns:db
'''
def mysql_link(de_n
转载
2023-11-11 21:42:13
237阅读
# Doris 写入 Hive：一种高效的数据集成方案
在现代数据分析过程中，各种数据库和数据仓库之间的数据集成变得日益重要。Apache Doris 是一个高性能、易于使用的分布式数据库，能够支持高并发的实时数据分析。同时，Apache Hive 是一个广泛使用的数据仓库工具，主要用于在 Hadoop 上进行批量数据处理。本文将介绍如何将数据从 Doris 写入 Hive，并提供相应的代码示例
写流程数据导入方式1. Broker Load说明Broker Load是异步方式，支持的数据源取决于Broker进程支持的数据源。适用场景（1）源数据在Broker可以访问的存储系统中。（2）数据量在几十到百GB级别 。原理用户在提交导入任务后，FE会生成相应的导入执行计划（plan），BE会执行导入计划将输入导入Doris中，并根据BE的个数和文件的大小，将Plan分给多个BE执行，每个BE导
# 使用 PySpark 将数据写入 Doris 的步骤指南
在大数据处理的过程中，使用 PySpark 将数据写入 Doris（也称为 Apache Doris）是一种常见的需求。以下将为你详细介绍整个流程，帮助你顺利实现这一目标。
## 整体流程
| 步骤 | 描述 |
|---------
# Hive写入Doris
## 简介
Doris是一个分布式实时分析数据库，支持高效的数据写入和查询。Hive是一个数据仓库基础架构，可以对大规模数据进行处理和分析。本文将介绍如何使用Hive将数据写入Doris，并提供相应的代码示例。
## 前提条件
在开始之前，需要确保以下条件已满足：
1. 已经安装和配置好Hive和Doris集群；
2. Hive和Doris的元数据信息已同步。
原创
2023-12-14 07:22:01
406阅读
背景大家在使用jmeter的工作中，可能经常会遇到想把一些结果写到execl表格中。因为，很多人都习惯用execl表格写测试用例，就想着读取表格中的数据，然后再把运行的结果写到表格中。诉求很简单，但是，使用jmeter的人都会告诉你，要实现这样的诉求，去写java代码。但是，对于java小白，不懂java代码的人来说，这就是自己的拦路虎，一时半会搞不定。 那么还有没有其他办法
