Tkinter 是使用 python 进行窗口视窗设计的模块。Tkinter模块("Tk 接口")是Python的标准Tk GUI工具包的接口。作为 python 特定的GUI界面，是一个图像的窗口，tkinter是python 自带的，可以编辑的GUI界面，我们可以用GUI 实现很多直观的功能，比如想开发一个计算器，如果只是一个程序
转载
2023-10-09 16:36:40
97阅读
步骤：启动metastore启动hiveserver2使用beeline进行连接测试，查看地址等是否能够成功连接（确认无误可以跳过）使用
python连接
hive（粗暴的文件配置以及完整
操作见文末）一.启动hiveserver21.配置mode为http，端口为10001（默认）<property>
<name>
hive.server2.transport.mode<
转载
2023-06-20 18:47:03
87阅读
背景工作需要从hive表里读取某些字段作为请求参数，调用接口返回数据并写入hive表。之前的做法是用python调用pyspark或者Scala开发spark。这次想尝试不同的方法，用python脚本的方式来实现。主要用到了subprocess模块。知识首先要了解python脚本操作Linux系统的一些模块和方法--subprocess模块。Python2.4版本引入了subprocess模块用来
转载
2023-07-28 07:38:40
63阅读
python读取hive方案对比引言最近接到一项任务–开发python工具，方便从HDFS读取文件和Hive表数据。当前网上的方案大多是通过第三方python包实现，只需导入指定pypi包即可完成，这种方案虽然在功能上具有可行性，但是当数据量级增大时，读取数据效率低下，无法满足业务场景需要，为此需调研其他方案实现python读取Hive表功能。方案分析方案一(pyhive)：目前实验场景下常见的方
转载
2023-08-14 23:47:52
317阅读
由于版本的不同，Python 连接 Hive 的方式也就不一样。在网上搜索关键字 python hive 的时候可以找到一些解决方案。大部分是这32313133353236313431303231363533e4b893e5b19e31333361326339样的，首先把hive 根目录下的$HIVE_HOME/lib/py拷贝到 python 的库中，也就是 site-package 中，或者干
转载
2023-11-16 23:14:21
80阅读
C/C++中的重载运算符机制十分的好用，java虽然不能直接重载运算符，但是可以通过实现comparator接口等方式实现类之间的比较，那么python又是如何重载运算符的呢？前言重载运算符如果使用得当，那么API会变得更加好用，而且代码会变得更加容易阅读，但是一旦被滥用（比如把加法运算符重载用作减法），那么就会让阅读代码的人感到困惑不解了，另外还可能导致缺陷和意料之外的性能瓶颈。python对运
转载
2023-11-06 18:44:01
18阅读
由于hive查询结果是不能直接保存到mysql的，通常用python驱动hiveserver2，也利用python将结果保存到mysql。需要的包网上百度，搜到的包不外乎下面3个，这里用第二个。1、pyhs2,已没有更新维护https://github.com/BradRuderman/pyhs22、pyhivehttps://github.com/dropbox/PyHive3、i...
原创
2021-07-27 15:34:09
3243阅读
由于hive查询结果是不能直接保存到mysql的，通常用python驱动hiveserver2，也利用python将结果保存到mysql。需要的包网上百度，搜到的包不外乎下面3个，这里用第二个。1、pyhs2,已没有更新维护https://github.com/BradRuderman/pyhs22、pyhivehttps://github.com/dropbox/PyHive3、i...
原创
2021-07-12 11:47:56
637阅读
功能点： 1、调用自定义类，实现对excel格式的调整内嵌定时功能，实现定时执行可对标题等进行颜色标注可实现自定一列宽可实现数据居左、居右、据中对齐方式并将生成的excel通过邮件发送# -*- coding:utf-8 -*-
"""
定时任务
多线程，每日执行
"""
from pyhive import hive
import pandas as pd
import smtplib
from
转载
2023-12-24 10:56:44
113阅读
Hive操作 1、建库 create database mydb;create database if no exists mydb;create database if no exists mydb location "/aa/bb"; 2、查询数据库查询库列表：show databases;查询
转载
2020-07-21 14:39:00
161阅读
hive 分区表 修改分区列名Hive 分区表 修改分区列名引言在Hive中，分区表是一种常见的数据组织方式，可以提高查询效率。分区表按照某个或多个列的值进行分区，使得数据可以按照特定的条件进行过滤和查询。然而，有时候我们可能需要修改分区列的名称，本文将介绍如何实现这一操作。分区表修改分区列名的流程我们可以按照以下步骤来修改分区表的分区列名：步骤动作1创建新的分区表2导入数据到新的分区表3删除原有
原创
2024-06-12 14:47:56
40阅读
指令目录查看所有数据库查询表格内全部数据use进入数据库从本地中加载数据到表里hive读取本地的data文件先从本地文件上传到hdfs中创建表格指定分割符创建表时指定换行创建表分割数据把查询的结果插入到指定表中把查询的结果插入到指定的本地下把查询的结果放到分布式目录删除指定表删除数据库内部表和外部表创建一个外部表创建一个分区表把分区设置为非严格模式分区加载数据分区查询添加多一个分区追加分区文件不
转载
2023-07-18 12:23:06
91阅读
python连接hive需要将python代码放到linux上运行 在window上至今测试不通连接hive from pyhive import hive
conn=hive.Connection(
host=‘192.168..’,
port=10000,
database=‘test’)
cursor=conn.cursor()
cursor.execute(‘select *
转载
2023-06-27 14:06:31
224阅读
方法一：使用pyhive库 如上图所示我们需要四个外部包 中间遇到很多报错。我都一一解决了 1.Connection Issue: thrift.transport.TTransport.TTransportException: TSocket read 0 bytes 2.安装sasl 遇到Mic
转载
2019-02-11 14:31:00
932阅读
2评论
# Python操作Hive数据库教程
## 概述
本教程将教会你如何使用Python来操作Hive数据库。Hive是一个基于Hadoop的数据仓库工具，它允许我们以类似于SQL的方式查询和分析大规模的数据集。通过Python与Hive的集成，我们可以使用Python编写程序来操作Hive数据库，执行查询、插入数据等操作。
## 整体流程
下面是整个过程的流程图，展示了从连接到Hive数据库，
原创
2023-10-07 13:39:55
335阅读
python 借助pysh2包 连接hiveserver2操作hive数据库时，报如下错误提示信息：python连接hive数据库时运行报错如下：thrift.transport.TTransport.TTransportException: TSocket read 0 bytes或者Required field 'sessionHandle' is unset! Struct:TEx
转载
2024-06-11 10:22:35
104阅读
一、Hive基本使用——数据类型1、基本数据类型tinyint, smallint, int, bigint, boolean, float, double, string, binary, timestamp, decimal, char, varchar, date2、集合类型array: array类型是由一系列相同数据类型的元素组成，这些元素可以通过下标来访问，例array[i]map: ...
原创
2018-06-02 14:14:24
925阅读
一、Hive基本使用——数据类型1、基本数据类型tinyint, smallint, int, bigint, boolean, float, double, string, binary, timestamp, deci
原创
2022-04-22 15:51:22
1244阅读
笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）一、Hive Common Join 如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join. 整个过程包含Map、Shuffle、Reduce阶段。Map阶段读取源
转载
2023-09-01 15:15:39
104阅读
目录注：只是为了以后忘了，好翻。。。。。。。做个总结一) hive 操作1) hive -e2) hive -f3) 查看在hive中输入的所有历史命令4) hive运行日志修改二) hive参数配置三) hive数据类型基本数据类型集合数据类型1）复杂类型解释2）建表语句：3) 造数据 ：text.txt4）load数据5) 访问方式hive类型转换四) DDL操作库操作
转载
2023-09-18 16:36:39
13阅读
