保存到本地直接下载：
转载
2014-12-25 10:53:00
163阅读
2评论
在命令行下mysql的数据导出有个很好用命令mysqldump,它的参数有一大把,可以这样查看: mysqldump最常用的: mysqldump -u root -proot db_cetv table1 table2 > foo.sql这样就可以将数据库db_cetv的表table1,table2以sql形式导入foo.sql中,其中-uroot参数表示访问数据库的用户名是root,如果
转载
2024-04-26 19:29:00
124阅读
大数据量的Excel导入和导出涉及到的技术poi：使用SXSSFWorkbook，对数据进行分页且批量写入到磁盘(可以是任何outputsteam)，减少数据在内存中的存储easyExcel：从磁盘上读取Excel文件，通过监听器的方式，可以读取表头，以及一行一行的数据，当满足一定条件(如1000行)，在进行业务逻辑的处理并入库，返回错误数据，并将错误数据回写到Excel中，供用户下载，让用户知道
转载
2023-11-25 12:44:47
141阅读
##1. 导出Sql文件在导出时合理使用几个参数，可以大大加快导入的速度。-e 使用包括几个VALUES列表的多行INSERT语法; --max_allowed_packet=XXX 客户端/服务器之间通信的缓存区的最大大小; --net_buffer_length=XXX TCP/IP和套接字通信缓冲区大小,创建长度达net_buffer_length的行注意：max_allowed_pac
转载
2023-08-31 16:54:14
88阅读
mysqldatabase数据不是很大，500多M的文本而已####################################################################################注意：如果发现MYSQL unknown command '/'这样的提示，则设置一下服务器的字符集，如：mysql -uroot -ppasspass --defaul
原创
2013-12-18 16:04:39
644阅读
# 大数据的MySQL导出导入
## 什么是大数据？
大数据是指规模巨大、类型繁多的数据集合。这些数据量大到传统数据处理工具无法处理，需要使用新技术和工具来管理、处理和分析。大数据技术包括数据存储、数据处理、数据分析等方面的技术。
## MySQL数据库导出导入
MySQL是一种常用的关系型数据库管理系统，可以用来存储和管理结构化数据。在大数据领域，MySQL也扮演着重要的角色。有时候我们
原创
2024-06-06 05:10:24
20阅读
【实验背景】项目中需要对数据库中一张表进行重新设计，主要是之前未分区，考虑到数据量大了以后要设计成分区表，同时要对数据库中其他表做好备份恢复的工作。 【实验环境】Mysql版本：mysql-5.6.19操作系统：Ubuntu 12.04内存：32GCPU：24核 Intel(R) Xeon(R) CPU E5-2620 0 @ 2.00GHz数据：单表1.6亿条记录，大小为2
转载
2024-03-12 20:08:10
24阅读
文章目录0、概述1、mysqldump导出数据+mysql导入数据1.1、使用mysqldump导出数据1.1.1、使用--tables导出指定表1.1.2、使用--tab选项将表定义文件和数据文件分开导出1.1.3、使用--fields-terminated-by选项定义数据分隔符1.1.4、使用--databases选项导出整个库或多个库1.1.5、使用--all-databases选项导出
转载
2023-09-20 18:58:55
245阅读
# MySQL 大数据量导入导出：方法与实践
在数据驱动的时代，数据库的高效管理与数据迁移显得尤为重要。特别是当涉及到大量数据时，如何快速、可靠地在 MySQL 数据库中导入与导出数据成为开发者需要解决的一个关键问题。本文将介绍几种 MySQL 大数据量导入导出的常用方法，并附上代码示例，便于实践应用。
## 为什么需要导入导出
*导入和导出操作可以用于多种场景，例如：*
1. **数据备
原创
2024-08-02 07:39:20
126阅读
Hive作为大数据环境下的数据仓库工具，支持基于hadoop以sql的方式执行mapreduce的任务，非常适合对大量的数据进行全量的查询分析。 本文主要讲述下hive载cli中如何导入导出数据： 导入数据 第一种方式，直接从本地文件系统导入数据 我的本机有一个test1.txt文件，这个文件中有三
转载
2016-08-23 22:26:00
278阅读
2评论
描述:在实际工作中,有时候我们需要导出大量数据到execl里面，可以参考分页方式导出，将每一页的数据放进php输出流里面 代码如下 <?php ini_set('memory_limit', '2048M'); header('Content-Description: File Transfer')
原创
2022-11-22 10:42:59
102阅读
首先需要去官网https://github.com/PHPOffice/PHPExcel/下载PHPExcel，下载后只需要Classes目录下的文件即可。 链接: https://pan.baidu.com/s/1L3huK-3esd6pvM8tUe0zlg 密码: tn57 hui前端图标（ht
原创
2021-05-26 17:59:36
522阅读
set_time_limit(0); ini_set ('memory_limit', '256M'); $db = $this->load->database('default',true); $sql = "SELECT
转载
精选
2014-04-03 14:19:33
1104阅读
1.背景 最近在应对一个数据查询导出模块，总体要求就是依据给定的SQL语句，输出其查询结果为csv或者xlsx文件。其中查询数据量可能会有大数据量，成百上千万都可能。2.探讨 针对上述数据导出这个问题，提取出几个关键词：1、SQL是由作业人员临时写的。2、数据量大。3、输出csv或xlsx
转载
2023-07-18 22:12:14
179阅读
一、背景在工作中经常会将List导出Excel，但是有时数据量很大，需要一次性导出。为防止各个系统重复造轮子，本文通过注解方式来实现Excel的普通、分片生成。二、直接上代码1、导入依赖 <dependency>
<groupId>org.apache.poi</groupId>
&l
转载
2023-06-15 19:21:55
156阅读
一. 简介 导出是后台管理系统的常用功能，当数据量特别大的时候会内存溢出和卡顿页面，曾经自己封装过一个导出，POI百万级大数据量EXCEL导出 采用了分批查询数据来避免内存溢出和使用SXSSFWorkbook方式缓存数据到文件上以解决下载大文件EXCEL卡死页面的问题。不过一是存在
转载
2023-09-24 09:19:33
233阅读
pg_dump -n schema名称 -h 172.14.172.11 -p 5432 数据库名称 | gzip > /data/cp.sql...
原创
2022-03-17 11:20:38
786阅读
Mysql loaddata的使用 数据库中，最常见的写入数据方式是通过SQLINSERT来写入，另外就是通过备份文件恢复数据库，这种备份文件在MySQL中是SQL脚本，实际上执行的还是在批量INSERT语句。 在实际
转载
2023-08-22 22:42:12
87阅读
实际项目中经常会遇到excel导入、导出操作，数据量过大会导致内存溢出，自己封装了一个导入导出的工具类，包括用户模式、事件驱动模式两种导入导出，数据量较小是可以使用用户模式，数据量比较大使用事件驱动模式，实测事件驱动模式下导入导出百万数据量毫无压力。下面介绍下事件驱动模式导入导出的用法：一、事件驱动模式导入1、定义导入实体类，对应excel表格每一行数据，需要与表格字段顺序一致（使用lombok插
转载
2023-06-29 20:26:21
259阅读
为了实验大数据的导出，我们这里先自已创建一张大表，表结构如下:
CREATE TABLE `tb_users` (
`id` int(11) unsigned NOT NULL AUTO_INCREMENT COMMENT '用户ID',
`name` varchar(32) DEFAULT '' COMMENT '用户名',
`age` tinyint(3) DEFAULT '0'
转载
2017-02-11 15:36:00
88阅读
2评论
