51CTO首页
内容精选
博客
学堂
精培
企业培训
CTO训练营
开源基础软件社区
元宇宙大会
AISummit人工智能大会
移动端
公众号矩阵
博客
免费课程 课程排行 直播课 软考学堂
精品班 厂商认证 IT技术 2022年软考 PMP项目管理
在线学习 企业服务
CTO训练营 技术经理研习营 LeaTech峰会
文章 资源 问答 开源课堂 专栏 直播
51CTO
开源基础软件社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
开源基础软件社区订阅号
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙技术社区视频号
超实用, Hive日常操作必会，学会事半功倍。

超实用, Hive日常操作必会，学会事半功倍。

Hive 表基本操作 1.创建表1 CREATE TABLE if NOT EXISTS table_name 2 ( 3 column_name1 string comment '字段名的释义', 4 column_name2 int comment '字段名的释义', 5 column_name3 int comment '字段名的释义', 6 column_name4

数据
字段
hive
原创 点赞0 阅读36 收藏0 评论0 6 天前
位运算算法

位运算算法

今天主要想分享的是自己在面试过程中遇见的一道面试题，是一道简单的算法题。在面试的过程中，我使用了 hash 表来解决的（时间复杂度和空间复杂度都是O(n)），但是面试官不满意，当时也实在没想到别的解法。后来在慢慢的使用位运算的过程中，发现通过位运算，可以让时间复杂度为O(n),空间复杂度为O(1)的解法。那么先看下题目吧。 一、面试题目给定一个非空整数数组，除了某个元素只出现一次以外，其

python
位运算
公众号
原创 点赞0 阅读37 收藏0 评论0 6 天前
一文搞懂 Python 私有属性 & 私有方法

一文搞懂 Python 私有属性 & 私有方法

1. 场景定义 私有属性是指在 Python 的面向对象开发过程中，对象的某些属性只想在对象的内部被使用，但不想在外部被访问到这些属性。即：私有属性是对象不愿意公开的属性。 私有方法是指在 Python 的面向对象开发过程中，对象的某些方法或者称为函数只想在对象的内部被使用，但不想在外部被访问到这些方法或函数。即：私有方法是对象不愿意公开的方法或函数。 2. 语法定义

私有方法
私有属性
python
原创 点赞0 阅读31 收藏0 评论0 6 天前
Hive 函数 + Shell编程的具体实践与运用

Hive 函数 + Shell编程的具体实践与运用

Hive Shell参数1.Hive命令行(1). 命令：hive -i filename含义：从文件初始化HQLfilename为test001.sql的内容如下   hive -i test001.sql命令执行结果如下   (2). 命令：hive -e 'sql语句'含义：从命令行执行指定的HQL指令具体执行示例如下： 

hive
配置文件
hadoop
原创 点赞0 阅读26 收藏0 评论0 6 天前
Hive Sql实现高难度的 sql 需求

Hive Sql实现高难度的 sql 需求

题目:(1).前置条件：有以下数据集I，表查询结果如下图所示，设置该表为表：test_user_scan。   (2).题目要求：使用 hive sql 查询出每个用户相邻两次浏览时间之差小于三分钟的次数。预期结果:   解题思路:(1). 子查询G 作为 left join 的主表，主要是为了获取所有的user_id查询结果如下：use

子查询
unix
python
原创 点赞0 阅读31 收藏0 评论0 6 天前
这道 SQL 题，你有不一样的解法吗？

这道 SQL 题，你有不一样的解法吗？

题目:(1).前置条件：有以下数据集C，表查询结果如下图所示，设置该表为表：test_month_amount。   (2).题目要求：数据集C 中 Amount 字段是每个人同一月份，不同状态的金额总和，现要求使用 sql 实现对相同月份的数据均分Amount。预期结果:   解题思路:(1). 子查询B: 按照NAME和MON进行分组

python
公众号
sql
原创 点赞0 阅读31 收藏0 评论0 6 天前
Python强大的内置模块collections

Python强大的内置模块collections

1. 模块说明collections 是 Python 的一个内置模块，所谓内置模块的意思是指 Python 内部封装好的模块，无需安装即可直接使用。collections 包含了一些特殊的容器，针对 Python 内置的容器，例如：list、dict、set、tuple，提供了另一种选择；namedtuple：可以创建包含名称的 tuple；deque：类似于 list 的容器，可以快速的在队列

python
迭代
子类
原创 点赞0 阅读32 收藏0 评论0 6 天前
Java的MybatisPlus

Java的MybatisPlus

Part1：MybatisPlus是什么MyBatis-Plus (opens new window)（简称 MP）是一个 MyBatis (opens new window)的增强工具，在 MyBatis 的基础上只做增强不做改变，为简化开发、提高效率而生。 Part2：MybatisPlus框架结构（下图来源于官网）    Part3：Myba

sql
python
类对象
原创 点赞0 阅读29 收藏0 评论0 6 天前
300行代码，教你用Python写个飞机大战

300行代码，教你用Python写个飞机大战

春节这些天，闲赋在家，甚是无聊，便萌发了研究经典小游戏：飞机大战的念头，想必大家可能玩过微信的这款小游戏，给我的感觉是这款游戏怎么可以做得这么好呢，操作简单，容易上手，简直是“老少皆宜”啊~既然这款游戏这么棒，能否自己动手用 Python 来实现呢？事实证明是可以的。先来看下飞机大战游戏最终实现的动态效果图。 一. 动态效果图如下  二. 思路框架plane_spri

父类
python
飞机大战
原创 点赞0 阅读50 收藏0 评论0 6 天前
这道sql题，有点棘手

这道sql题，有点棘手

题目: (1).前置条件：有以下数据集c和e，表查询结果如下图所示。数据集c表为：test_medicine_buy数据集e表为：test_medicine_soldtest_medicine_buy表数据：   test_medicine_sold表数据：   (2).题目要求：如上图的数据集c和e，某医院系统卖给患者阿莫西林

数据集
python
子查询
原创 点赞0 阅读38 收藏0 评论0 6 天前
Mysql 索引知识详解

Mysql 索引知识详解

本文目录结构： 引言 一、背景 二、Mysql索引  1.概念说明  2.常见索引模型    哈希表   有序数组   二叉搜索树  3.InnoDB索引模型    索引分类    (1).聚簇索引     主键索引     (2).非聚簇索引     联合索引     前缀索引     普通索引     唯一索引     全文索引     (3).索引原理     聚簇索引     非聚簇索引

主键
数据
聚簇索引
python
原创 点赞0 阅读64 收藏0 评论0 2022-01-16
Python + Tornado 框架分享

Python + Tornado 框架分享

今日分享主题内容： Python 的 Tornado 框架，属于 Python 的一个 Web 框架，是由 Python 编写的 Web 服务器兼 Web 应用框架。   Step1：Tornado 是什么 Tornado 是一个基于 Python 的 Web 服务框架和异步网络库。 最早开发于 FriendFeed 公司，通过利用非阻塞网络 I/O, Tornado 可以承载成千上万的活动连接,

tornado
python
html
原创 点赞0 阅读95 收藏0 评论0 2022-01-16
Python 常规操作 Redis

Python 常规操作 Redis

今日分享主题：Python 常规操作 redis 的内容   Part1：五种数据类型 Redis 支持5种数据类型： string（字符串） hash（哈希） list（列表） set（集合） zset(sorted set：有序集合)   1.String 字符串数据类型 String 是最常用的一种数据类型，普通的 key/value 存储都可以归为此类，即可以完全实现目前 Memcache

redis
字符串
数据类型
python
原创 点赞0 阅读119 收藏0 评论0 2022-01-16
Python + Tornado 框架分享

Python + Tornado 框架分享

今日分享主题内容： Python 的 Tornado 框架，属于 Python 的一个 Web 框架，是由 Python 编写的 Web 服务器兼 Web 应用框架。   Step1：Tornado 是什么 Tornado 是一个基于 Python 的 Web 服务框架和异步网络库。 最早开发于 FriendFeed 公司，通过利用非阻塞网络 I/O, Tornado 可以承载成千上万的活动连接,

tornado
python
html
原创 点赞0 阅读88 收藏0 评论0 2022-01-16
Mysql 索引知识详解

Mysql 索引知识详解

本文目录结构： 引言 一、背景 二、Mysql索引  1.概念说明  2.常见索引模型    哈希表   有序数组   二叉搜索树  3.InnoDB索引模型    索引分类    (1).聚簇索引     主键索引     (2).非聚簇索引     联合索引     前缀索引     普通索引     唯一索引     全文索引     (3).索引原理     聚簇索引     非聚簇索引

主键
数据
聚簇索引
python
原创 点赞0 阅读92 收藏0 评论0 2022-01-16
Python + Flask 实现Nginx Log信息统计

Python + Flask 实现Nginx Log信息统计

今日分享内容是基于：Python + Flask 实现接口接收 Disk 信息 来进一步分享如何接收 Nginx Log 的信息。   原理： 通过 Python 调用 Shell 脚本去执行 Nginx Log 的相关命令，然后进行处理再请求 Requests 库来向后端定义好的接口来推送数据并展示。   Part1：收集端 1 import os 2 import requests 3

nginx
sql
json
python
原创 点赞0 阅读85 收藏0 评论0 2022-01-16
Python + Flask 实现接口接收 CPU 信息

Python + Flask 实现接口接收 CPU 信息

今天的内容是基于 Python + Flask 实现接口接收内存信息 来进一步分享如何使用 Python + Flask 接收 CPU 的信息。原理：通过 Python 调用 Shell 脚本去执行 CPU 的相关信息，然后进行处理再请求 Requests 库来向后端定义好的接口来推送数据。Part1：收集端1 import os 2 import requests 3 import json 4

sql
python
json
原创 点赞0 阅读171 收藏0 评论0 2022-01-16
Python + Flask 实现接口接收 Disk 信息

Python + Flask 实现接口接收 Disk 信息

今天分享的内容是基于：Python + Flask 实现接口接收内存信息 来进一步分享如何使用 Python + Flask 实现接收 Disk 的信息。原理：通过 Python 调用 Shell 脚本去执行 Disk 的相关命令，然后进行处理再请求 Requests 库来向后端定义好的接口推送数据。Part1：收集端1 import os 2 import requests 3 import j

sql
sed
python
原创 点赞0 阅读48 收藏0 评论0 2022-01-16
Java XxlJob 必知必会 ＜三＞

Java XxlJob 必知必会 ＜三＞

今日分享：springBoot 框架集成 mybatis，并且通过创建一个 task 去按照日期清理 xxl-admin 里面产生的日志。Step1:  基于 xxl-job-executor-sample-springboot 示例代码修改后的目录结构​​红框里面的这个文件是程序的main入口Step2: springboot 集成 mybatis主要步骤：2.1 目录结构下的 pom.xml

spring
python
公众号
原创 点赞0 阅读53 收藏0 评论0 2021-12-23
Hive 分区表 & 数据加载

Hive 分区表 & 数据加载

1. Hive表数据的导入方式1.1 本地上传至hdfs命令：hdfs dfs -put [文件名] [hdfs绝对路径]例如：测试文件 test_001.txt 内容如下 在 hdfs 绝对路径：/user/hive/warehouse/mytest.db/ 下有一张表 test_001，建表语句如下：create table test_001(id string, name string) r

hive
hdfs
分区表
原创 点赞0 阅读78 收藏0 评论0 2021-12-23
Java XxlJob 必知必会 ＜三＞

Java XxlJob 必知必会 ＜三＞

今日分享：springBoot 框架集成 mybatis，并且通过创建一个 task 去按照日期清理 xxl-admin 里面产生的日志。Step1:  基于 xxl-job-executor-sample-springboot 示例代码修改后的目录结构​​红框里面的这个文件是程序的main入口Step2: springboot 集成 mybatis主要步骤：2.1 目录结构下的 pom.xml

spring
python
公众号
原创 点赞0 阅读50 收藏0 评论0 2021-12-23
Hive 分桶表核心知识点

Hive 分桶表核心知识点

1. Hive 分桶表操作1.1 数据分桶的定义分桶是相对分区进行更细粒度的划分。分桶将整个 hive 表数据内容按照某列属性值的 hash 值进行分区，通过分区将这些表数据划分到多个文件中进行存储。其实桶的概念就是 MapReduce 分区的概念。物理上每个桶就是目录里的一个文件，一个任务作业产生的桶（即：输出文件）数量和设置的 reduce 任务个数相等。假设有 hive 表：test_stu

数据
hive
字段
原创 点赞0 阅读78 收藏0 评论0 2021-12-23
Java AOP 的实现

Java AOP 的实现

一. 概念Spring 提供两个核心功能：IoC—控制反转（Inversion of Control）Aop—面向切面编程（Aspect Oriented Program）IoC 有助于应用对象之间的解耦。AOP 可以实现横切关注点（例如：日志、安全、缓存和事务管理）与他们所影响的对象之间的解耦。AOP 主要包含通知、切点和连接点等术语，今天主要学习内容是切点(PointCut)，切点的定义会匹配

python
公众号
连接点
原创 点赞0 阅读30 收藏0 评论0 2021-12-23
Hive 分桶表核心知识点

Hive 分桶表核心知识点

1. Hive 分桶表操作1.1 数据分桶的定义分桶是相对分区进行更细粒度的划分。分桶将整个 hive 表数据内容按照某列属性值的 hash 值进行分区，通过分区将这些表数据划分到多个文件中进行存储。其实桶的概念就是 MapReduce 分区的概念。物理上每个桶就是目录里的一个文件，一个任务作业产生的桶（即：输出文件）数量和设置的 reduce 任务个数相等。假设有 hive 表：test_stu

数据
hive
字段
原创 点赞0 阅读92 收藏0 评论0 2021-12-23
Hive 分区表 & 数据加载

Hive 分区表 & 数据加载

1. Hive表数据的导入方式1.1 本地上传至hdfs命令：hdfs dfs -put [文件名] [hdfs绝对路径]例如：测试文件 test_001.txt 内容如下 在 hdfs 绝对路径：/user/hive/warehouse/mytest.db/ 下有一张表 test_001，建表语句如下：create table test_001(id string, name string) r

hive
hdfs
分区表
原创 点赞0 阅读56 收藏0 评论0 2021-12-23
Python + Flask 实现接口接收内存信息

Python + Flask 实现接口接收内存信息

今日分享主题：通过 requests 工具包向 flask 提供的接收测试环境 linux 的内存信息接口定时推送数据并在页面展示的实验。Step1: flask端设计1.表结构：2.接收数据接口定义3.提供页面查询接口，用于页面展示使用4.将 Blueprint 注册到app上，重启服务后等着来数据Step2: 内存信息收集端的设计Step3: 页面端源码页面展示如下：备注：对于 free 数据

python
公众号
数据
原创 点赞0 阅读122 收藏0 评论0 2021-12-23
Python + Flask 实现接口接收内存信息

Python + Flask 实现接口接收内存信息

今日分享主题：通过 requests 工具包向 flask 提供的接收测试环境 linux 的内存信息接口定时推送数据并在页面展示的实验。Step1: flask端设计1.表结构：2.接收数据接口定义3.提供页面查询接口，用于页面展示使用4.将 Blueprint 注册到app上，重启服务后等着来数据Step2: 内存信息收集端的设计Step3: 页面端源码页面展示如下：备注：对于 free 数据

python
公众号
数据
原创 点赞0 阅读86 收藏0 评论0 2021-12-23
Java AOP 的实现

Java AOP 的实现

一. 概念Spring 提供两个核心功能：IoC—控制反转（Inversion of Control）Aop—面向切面编程（Aspect Oriented Program）IoC 有助于应用对象之间的解耦。AOP 可以实现横切关注点（例如：日志、安全、缓存和事务管理）与他们所影响的对象之间的解耦。AOP 主要包含通知、切点和连接点等术语，今天主要学习内容是切点(PointCut)，切点的定义会匹配

python
公众号
连接点
原创 点赞0 阅读43 收藏0 评论0 2021-12-23
Python 数据可视化神器—Pyecharts

Python 数据可视化神器—Pyecharts

今日分享主题：Python Pyecharts模块实现数据动态可视化分析前言Echarts 是百度开源的一款数据可视化 JS 工具，数据可视化类型十分丰富，但是得通过导入 js 库在 Java Web 项目上运行。作为工作中常用 Python 的选手，不能不知道这款数据可视化插件的强大。那么，能否在 Python 中也能用到 Echarts 的功能呢？寻找中惊喜地发现了 pyecharts，只需在

hive
python
数据
柱状图
sql
原创 点赞0 阅读114 收藏0 评论0 2021-12-01
Hadoop + Hive 数据仓库原理与架构

Hadoop + Hive 数据仓库原理与架构

1. Hive简介Hive是什么Hive 构建在 Hadoop 之上，提供以下功能：通过类 SQL 指令轻松访问数据的工具，从而实现数据仓库任务，例如：提取/转换/加载(ETL)，报告和数据分析。一种将结构强加于各种数据格式的机制。直接访问存储在 HDFS 或其他数据存储系统（例如：HBase）中的文件。通过Tez, Spark, MapReduce执行查询。HPL-SQL的过程语言。通过Hive

hive
sql
数据文件
元数据
结构化
原创 点赞0 阅读78 收藏0 评论0 2021-12-01
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8

Copyright © 2005-2022 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 意见反馈 了解我们 全部文章
在线客服 网站地图 热门标签
友情链接
开源基础软件社区 51CTO学堂
51CTO