51CTO首页
AI.x社区
博客
学堂
精品班
软考社区
免费课
企业培训
鸿蒙开发者社区
信创认证
公众号矩阵
移动端
视频课 免费课 排行榜 短视频 直播课 软考学堂
全部课程 软考 信创认证 华为认证 厂商认证 IT技术 PMP项目管理 免费题库
在线学习
文章 资源 问答 课堂 专栏 直播
51CTO
鸿蒙开发者社区
51CTO技术栈
51CTO官微
51CTO学堂
51CTO博客
CTO训练营
鸿蒙开发者社区订阅号
51CTO软考
51CTO学堂APP
51CTO学堂企业版APP
鸿蒙开发者社区视频号
51CTO软考题库
CKA（Kubernetes 管理员认证）精品班
按照企业k8s需求进行技能培训，帮助用户快速拿下CKA认证，K8S采用新版本进行授课，课程内容全、讲解详细 。 免费试学
软考高级：系统架构设计师精品班
根据考试大纲对知识点、高频考点进行深入讲解，传授答题技巧及判断标准，助力高效备考。 免费试学
信创认证：系统架构师精品班（高级）
信息技术应用创新人才考试评价 免费试学

hive跑得慢
7、优化SQL处理join数据倾斜 (1)空值或无意义值 这种情况很常见，比如当事实表是日志类数据时，往往会有一些项没有记录到，我们视情况会将它置为null，或者空字符串、-1等。如果缺失的项很多，在做join时这些空值就会非常集中，拖累进度。 因此，若不需要空值数据，就提前写where语句过滤掉。需要保留的话，将空值key用随机方式打散，例如将用户ID为null的记录随机改为负值： select
hive跑得慢
hive
hadoop
数据仓库
默认值
转载
桃太郎
10月前
50阅读

python在docker里跑得慢
在现代应用开发中，使用 Docker 容器化应用程序极大地提高了部署的便捷性和一致性。然而，有些开发者发现 Python 在 Docker 中的运行速度显著低于本地开发环境。这一问题可能源自多个方面，包括 Docker 配置、Python 环境和依赖包管理等。在本文中，我将详细记录解决“Python 在 Docker 里跑得慢”的过程，包括环境配置、编译过程、参数调优、定制开发、性能对比和错误集锦
Docker
Python
调优
原创
mob649e8157aaee
6月前
189阅读

docker程序跑得慢 程序放到docker运行慢
(Introduction)Building CPU-intensive images and binaries is a very slow and time-consuming process that can turn your laptop into a space heater at times. Pushing Docker images on a slow connection ta
docker程序跑得慢
linux
java
docker
python
转载
mob64ca1418e88d
2024-04-17 13:24:14
45阅读

python不看它的时候程序跑得慢
本文实例讲解的是一般的hadoop入门程序“WordCount”，就是首先写一个map程序用来将输入的字符串分割成单个的单词，然后reduce这些单个的单词，相同的单词就对其进行计数，不同的单词分别输出，结果输出每一个单词出现的频数。注意：关于数据的输入输出是通过sys.stdin(系统标准输入)和sys.stdout(系统标准输出)来控制数据的读入与输出。所有的脚本执行之前都需要修改权限，否则没
python不看它的时候程序跑得慢
winpythonhadoop
hadoop
hdfs
数据
转载
AI智行者
10月前
15阅读

MapReduce跑得慢怎么定位问题,怎么做优化
来自于某本大牛英文专著。翻译稿。 讲解在Hadoop中的性能调优。介绍如何诊断对map和reduce任务都有影响的性能问题。 6.2.4 任务一般性能问题 这部分将介绍那些对map和reduce任务都有影响的性能问题。技术37 作业竞争和调度器限制即便map任务和reduce任务都进行了调优，但整个作业仍然会因为环境原因运行缓慢。问题需要判断作
执行时间
JAVA
Hadoop
转载
岁月如歌甚好
5月前
13阅读

代码跑得慢？Python不背锅，手把手教你给代码提速30%
Python已经得到了全球程序员的喜爱，但是还是遭到一些人的诟病，原因之一就是认为它运行缓慢。其实某个特定程序（无论使用何种编程语言）的运行速度是快还是慢，在很大程度上取决于编写该程序的开发人员自身素质，以及他们编写优化而高效代码的能力。Medium上一位小哥就详细讲了讲如何让python提速30%，以此证明代码跑得慢不是python的问题，而是代码本身的问题。◆◆时序分析◆◆在开始进行任何优化之
python
缓存
bootstrap
转载
lsxxx2011
2022-08-22 07:15:10
208阅读

Java(day198)：程序跑得慢？先别怪JVM！——Java性能测试与压力测试真经传授！
大家好，我是不熬夜崽崽！大家如果觉得看了本文有帮助的话，麻烦给不熬夜崽崽点个三连（点赞、收藏、关注）支持一下哈，大家的支持就是我写作的无限动力。 ? 前言   有多少人第一次上线 Java 项目时，满心欢喜部署上线，结果一波用户上来——系统直接挂了！   性能测试这种事儿，不是等系统炸了才想起来做，而是你在开发完成、上线之前就该像医生一样给应用“做体检”。本文就是你的性能测试全科手册：教你用对
Java
性能测试
SQL
原创
崽崽233
1月前
25阅读

文本预处理跑得慢？抱抱脸团队又放福利，1GB文本语料分词只需20s！
一只小狐狸带你解
Python
github
Rust
转载
夕小瑶谈人工智能
2023-07-25 20:04:28
113阅读

hive 慢吗 hive运行慢
本章分享的目录：　　1：执行　　　　第一节：运行方式　　2：优化　　　　第二节：hive优化 第一节：hive运行方式　　（1）：命令行：cli：不是特别常用　　　　　　与hdfs交互（执行执行dfs命令）：　　　　　　　　例：dfs –ls /　　　　　　与Linux交互（！开头）：　　　　　　　　例： !pwd　　（2）：脚本运行：应用做多的　　　　　　hive  -e &
hive 慢吗
hive
数据
Hive
转载
浪人小风光
2024-06-05 06:15:54
43阅读

hive 写慢 hive reduce慢
Hive优化总结：包括SQL转化为MapReduce过程及MapReduce如何实现基本SQL操作，以及具体优化策略优化时，把hive sql当做map reduce程序来读，会有意想不到的惊喜。理解hadoop的核心能力，是hive优化的根本。这是这一年来，项目组所有成员宝贵的经验总结。长期观察hadoop处理数据的过程，有几个显著的特征:1.不怕数据多，就怕数据倾斜。2．对jobs数比较多的作
hive 写慢
hive
hive优化总结
hiveSQL原理解析
mapreduce
转载
mob64ca140088a9
2024-02-29 22:21:41
40阅读

hive 慢sql hive慢sql分析
SQL性能优化系列：Hive/MaxCompute SQL性能优化(一)：什么是数据倾斜前言前面的文章我们简单介绍了什么是数据倾斜，今天我们来讲一下如何定位是否出现了数据倾斜，以及是在什么阶段出现的数据倾斜。作业回放在Maxcompute的Logview中是可以回放作业执行的耗时的，当然也可以在下面直接看到各阶段的执行耗时，若发现某个阶段的执行时间特别长，且点击它之后，下面的实例中出现了Long-
hive 慢sql
性能优化
大数据
数据倾斜
SQL优化
转载
mob64ca1416b5a8
2024-02-04 16:57:49
74阅读

hive on yarn 提交慢 hive执行慢
访问 Hive Server 运行 SQL 慢排查手册1. 访问 Hive Server 运行 SQL 慢排查手册2. 通过 Hive Server 运行 SQL 的整体架构3. 分析 Hive Server 运行 SQL 慢的排查原则4. MYSQL 数据库5. Metastore6. Hive Server7. 客户端 1. 访问 Hive Server 运行 SQL 慢排查手册对于分布式系
hive on yarn 提交慢
hive
sql
数据库
Hive
转载
mob64ca140beea5
2023-09-20 06:26:58
201阅读

hive执行慢 yarn hive reduce慢
Hive中的数据倾斜 1. 什么是数据倾斜mapreduce中，相同key的value都给一个reduce，如果个别key的数据过多，而其他key的较少，就会出现数据倾斜。通俗的说，就是我们在处理的时候数据分布的不均，导致了数据大量集中在某一点。造成了数据的热点。 map阶段处理比较快，reduce阶段处理比较慢。其实reduce阶段不应该很慢，如果很慢，很大可能就是出现了数据倾斜。
hive执行慢 yarn
大数据
数据倾斜
数据
解决方法
转载
mob64ca140b0bc8
2023-09-20 04:47:50
156阅读

hive count速度慢 hive reduce慢
10 企业级调优10.1 Fetch抓取fetch抓取是指，Hive中对某些情况的查询可以不使用mapreduce计算。fetch的等级有三个：more（默认）、minimal（老版本）、none设置为more，在全局查找、字段查找、limit等都不走mapreduce。hive-default.xml<property> <name>hive.fetch.task
hive count速度慢
hive
大数据
mapreduce
数据
转载
GhostLover
2024-07-27 10:16:49
24阅读

hive split 特别慢 hive为什么慢
HIVE 优化浅谈hive不怕数据量大，导致运行慢的主要原因是数据倾斜。hive的运行机制这里就不再赘述，咱们直入正题，聊一下hive的优化方法。优化点一：业务逻辑优化1.去除冗余逻辑  对于复杂业务逻辑来说，在非数据倾斜的情况下，最有效的优化方式就是对业务逻辑的优化，去掉冗余的逻辑过程或无用的中间过程，能一步完成的不要分两步。尤其对于旧逻辑优化及数据迁移工作中较为常见。2.重复逻辑落临时表复杂的
hive split 特别慢
hive
big data
hadoop
Hive
转载
footballboy
2023-08-18 22:39:51
60阅读

hive load 慢
# 解决Hive Load慢的问题 在使用Hive时，我们经常会遇到Hive Load慢的问题，这可能会影响到我们的数据处理效率。本文将从几个方面介绍如何解决Hive Load慢的问题，帮助大家提升数据处理效率。 ## 1. 硬件性能优化 首先，我们可以通过优化硬件性能来提升Hive Load的速度。可以考虑增加集群的CPU、内存和存储等硬件资源，以提升数据处理的速度。另外，可以使用SSD等
Hive
数据处理
数据
原创
mob64ca12d7c9ee
2024-05-18 07:42:04
55阅读

Hive 查询慢
## 分析和解决"Hive 查询慢"的流程 为了帮助这位刚入行的小白解决"Hive 查询慢"的问题，我们可以按照以下流程进行分析和解决： ```mermaid flowchart TD A[定义问题] --> B[分析问题] B --> C[确定可能的原因] C --> D[采取措施解决] D --> E[验证解决方案] E --> F[总结和改进] ``` 下面我们将详
数据倾斜
Hive
硬件资源
原创
mob64ca12e51ecb
2023-08-30 16:34:23
211阅读

hive count 慢
## 解决Hive Count 慢的问题 在使用Hive进行数据分析时，经常会遇到Hive Count慢的问题，这会严重影响数据分析的效率。本文将介绍一些常见的优化方法，帮助您解决Hive Count慢的问题。 ### 问题分析 Hive Count慢通常是由于数据量过大或者查询语句没有充分优化导致的。当数据量过大时，Hive需要遍历整个数据集进行计数，导致查询时间过长。而如果查询语句没有充
Hive
字段
数据分析
原创
mob649e8154b5bf
2024-06-27 04:01:54
160阅读

hive慢 hive慢盘应该怎么弄
一、Fetch抓取Fetch抓取是指在某些情况下查询可以不必使用MapReduce计算。 参数设置： set hive.fetch.task.conversion=more; 例如：select * from emp；二、本地模式Hive 可以通过本地模式在单台机器上处理所有的任务。对于小数据集，可以提升执行效率。 参数设置：set hive.exec.mode.local.auto=true;三
hive慢
hive
数据倾斜
字符串
转载
编程小达人之心
2023-07-13 21:10:36
85阅读

hive insert select 所有字段 慢 hive insert into 慢
insert into太慢insert into太慢？Roger 带你找真凶 运营商客户的计费库反应其入库程序很慢,应用方通过监控程序发现主要慢在对于几个表的insert操作上。按照我们的通常理解,insert应该是极快的，为什么会很慢呢？而且反应之前挺好的。这有点让我百思不得其解。通过检查event也并没有发现什么奇怪的地方,于是我通过10046 跟踪了应用的入库程序,如下应用方反应比较慢的表的
Oracle
缓存
oracle
SQL
转载
deanyuancn
2023-09-07 15:42:14
338阅读
  • 1
  • 2
  • 3
  • 4
  • 5
精品课程领资料
免费资料>
2025软考
系统架构设计师 系统规划与管理师 软件设计师 系统集成项目管理工程师
信创认证
系统架构师 信创集成项目管理师 信创规划管理师 系统开发工程师
厂商认证
CKA/CKS架构师 红帽认证工程师 Oracle-OCP认证 Oracle-OCM认证
IT技术
数据库高级工程师 AIGC大模型实战 Linux云计算架构师 Python全栈开发
华为认证
数通HCIP认证 云计算HCIE认证 华为存储HCIE认证 HCIP安全认证
相关文章

hive查询执行慢 hive 查询慢怎么办

hive 数据运行速度慢 hive执行慢

hive select 数据慢 hive select as

hive优化 insert慢 hive not in 优化

hive 插入数据慢

hive sql WITH TABLE 慢

hive sum特别慢

hive ddl 阻塞 慢

hive 离线任务慢

hive 视图巨慢

Copyright © 2005-2025 51CTO.COM 版权所有 京ICP证060544号

关于我们
官方博客 全部文章 热门标签 班级博客
了解我们 网站地图 意见反馈
友情链接
鸿蒙开发者社区 51CTO学堂
51CTO 软考资讯