使用Python读取大容量的数据并存入数据库中一、读数据二、连接数据库1.在数据库中建立一个新的表2.将数据写入到数据库中3.检查数据是否正确 一、读数据我使用的是第三方包openpyxl进行数据的读取，读取的文件是xlsx格式的，如下：from openpyxl import workbook
main_book = openpyxl.load_workbook(r'D:\final.xlsx
转载
2023-07-18 12:48:37
58阅读
文章目录一、架构设计二、工作流程1.ES写数据过程2.ES搜索数据过程3.ES读数据过程三、写数据底层原理四、倒排索引五、ES为什么查询效率很高1.倒排索引2.单词词典3.单词索引4.位图BitMap 一、架构设计ElasticSearch 设计的理念就是分布式搜索引擎，底层其实还是基于 lucene 的。核心思想就是在多台机器上启动多个 ES 进程实例，组成了一个 ES 集群。ES 中存储数据
转载
2023-09-01 14:13:13
72阅读
1. 概要在过去五年间，负责过从数百万DAU到几千万DAU的成熟型数据算法团队，也曾负责从零开始的到几百万DAU增长型团队，积累了一些数据建设的想法思考以及数据团队管理经验。以前数据团队-启明星的好几个小伙伴，现在也陆续走上了数据团队负责人的管理岗位，时不时还会和我讨论数据团队的建设、管理遇到的问题和疑惑，讨论过程沉淀了不少的总结和思索。于是乎写下这篇文章，旨在介绍在公司内大数据团队的定位作用，以
转载
2024-05-06 21:23:21
23阅读
大数据系列文章：? 目录 ? 文章目录 一、DataFrame SQL 数据操作二、DataFrame API 数据操作 DataFrame 数据操作有两种操作数据的方式，一种是使用 DataFrame所支持的 SQL 语法进行数据操作，另一种使用 DataFrame 提供的相关 API 对数据
DataFrame 也提供了特定的 API 让我们操作 DataFrame 中的数据，也被称为 DSL（D
原创
2022-12-28 11:42:35
135阅读
一般在数据库中，我们保存的都只是 int 、 varchar 类型的数据，一是因为现代的关系型数据库对于这些内容会有很多的优化，二是大部分的索引也无法施加在内容过多的字段上，比如说 text 类型的字段就很不适合创建索引。所以，我们在使用数据库时，很少会向数据库中存储很大的内容字段。但是，MySQL 其实也为我们准备了这种类型的存储，只是我们平常用得不多而已。今天我们就来学习了解一下使用 PDO
转载
2021-06-09 09:02:00
78阅读
2评论
目录1 MapReduce之任务日志查看2 停止Hadoop集群中的任务3 MapReduce程序扩展 1 MapReduce之任务日志查看如果想要查看mapreduce任务执行过程产生的日志信息怎么办呢？ 是不是在提交任务的时候直接在这个控制台上就能看到了？先不要着急，我们先在代码中增加一些日志信息，在实际工作中做调试的时候这个也是很有必要的 在自定义mapper类的map函数中增加一个输出，将
原创
2021-04-10 09:43:30
325阅读
目录1. Flink四大基石2. Flink-Window操作2.1 为什么需要Window2.2 Window的分类2.2.1 按照time和count分类2.2.2 按照slide和size分类2.2.3 总结2.3.2 WindowAssigner2.3.3 evictor--了解2.3.4 trigger--了解
原创
2021-09-09 22:17:58
162阅读
目录1 环境准备2 HBaseAPI2.1 获取 Configuration 对象2.2 判断表是否存在2.3 创建表2.4 删除表2.5 向表中插入数据2.6 删除多行数据2.7 获取所有数据2.8 获取某一行数据2.9 获取某一行指定“列族:列”的数据3 HBase过滤器过滤数据 1 环境准备新建项
原创
2021-03-13 23:04:01
188阅读
# 操作大数据Excel文件的Java技术介绍
在实际的开发中，我们经常会遇到需要操作大数据Excel文件的情况。比如需要读取Excel文件中的数据进行分析，或者需要将数据写入Excel文件中进行导出。在Java领域，有许多开源的工具可以帮助我们实现这些操作。本文将介绍如何使用Java技术来操作大数据Excel文件，并给出具体的代码示例。
## Excel操作工具介绍
在Java中，有许多优
原创
2024-05-31 03:19:20
17阅读
PDO操作大数据对象一般在数据库中，我们保存的都只是 int 、 varchar 类型的数据，一是因为..
原创
2020-11-26 18:02:00
32阅读
这次分享的是尚硅谷大数据教程视频的第五份——HiveHive是基于Hadoop的一个数据仓库工具，将繁琐的MapReduce程序变成了简单方便的SQL语句实现，深受广大软件开发工程师喜爱。Hive同时也是进入互联网行业的大数据开发工程师必备技术之一。在本课程中，你将学习到，Hive架构原理、安装配置、hiveserver2、数据类型、数据定义、数据操作、查询、自定义UDF函数、窗口函数、压缩和存储
转载
2023-10-23 16:39:29
43阅读
1 建表
create table student(id int,name string ,age int) row format delimitedfields terminated by ',';
2 创建一个student.txt
添加数据
1,zhangsan,10
2,lisi,20
3,wnagwu,25
3 上传
hdfs dfs -put student.txt /user
转载
2019-01-15 21:37:00
99阅读
2评论
linux解压到指定目录命令：tar -zxvf [文件名] -C /home centos7查看所有服务：sudo systemctl list-unit-files Hadoop集群启动和关闭命令(node01)：hadoop.sh starthadoop.sh stop WebUI:node0 ...
转载
2021-10-07 19:12:00
98阅读
2评论
HBase是一种基于Hadoop的分布式、可扩展的列式存储系统，广泛应用于大数据实验和实时数据处理。在本博文中，我将详细介绍如何进行HBase操作，包括环境准备、分步指南、配置详解、验证测试、排错指南及扩展应用的各个方面。
### 环境准备
在进行大数据实验的HBase操作之前，需要确保环境的准备工作完成。以下是前置依赖的安装步骤。
```bash
# 安装Hadoop
sudo apt-g
堆的介绍Q: 什么是堆?A: 这里的“堆”是指一种特殊的二叉树，不要和Java、C/C++等编程语言里的“堆”混淆，后者指的是程序员用new能得到的计算机内存的可用部分A: 堆是有如下特点的二叉树： 1) 是一棵完全二叉树 2) 通常由数组实现。前面介绍了如何用数组表示树 3) 堆中的每个节点都满足堆的条件，即每个节点的关键字都大于（或等于）这个节
转载
2024-10-09 10:43:03
30阅读
1.9 HDFS 的 API 操作1.9.1. 导入 Maven 依赖 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cl...
原创
2022-03-04 16:44:03
58阅读
1.9 HDFS 的 API 操作1.9.1. 导入 Maven 依赖 <repositories> <repository> <id>cloudera</id> <url>https://repository.cloudera.com/artifactory/cl...
原创
2021-08-18 10:56:24
113阅读
不久将要参加个什么大数据比赛。 于是将相关的内容练习了几遍。 其中各自的关键及相关的理解均写成了笔记
原创
2022-07-06 10:38:33
55阅读
# MySQL操作大数量数据卡死问题及解决方法
## 引言
MySQL是一种广泛使用的开源关系型数据库管理系统，拥有高性能、稳定可靠等特点，被广泛应用于各类应用程序中。然而，在处理大量数据的情况下，有时会出现数据库操作卡死的情况，这给开发者带来了很大的困扰。本文将介绍MySQL操作大数量数据卡死的原因，并提供相应的解决方法。
## 问题原因
MySQL操作大数量数据卡死的原因主要有以下几点
原创
2023-07-22 20:07:18
425阅读
