Hive教程Hive概念Hive是什么Hive不适合做什么数据单元数据类型内置运算和函数SQL用法和实例创建表浏览表和分区修改表删除表加载数据查询和插入数据简单的查询基于查询的分区连接聚合多表/文件插入动态分区插入插入到本地文件抽样全连接数组操作Map（关联数组）操作定制Map/Reduce脚本Co-Groups Hive教程Hive概念Hive是什么Hive是基于Apache Hadoop的数
转载
2023-09-20 04:59:26
39阅读
摘要智能运维AIOps平台结合大数据和机器学习功能来支持IT运维。I&O（基础设施和运维/运营）领导人应该开始部署这样的平台，以加强目前的性能监控，但计划需要5年时间来扩展到服务台和自动化系统。概述- 关键发现 在过去的三年里，IT部门分别部署了大数据和机器学习技术，以支持IT运维的监控。然而，在过去的6个月里，企业开始将他们的IT运维导向的大数据和机器学习项目结合起来，并将它们扩展到服务
转载
2024-01-29 06:36:39
80阅读
Hive 题：启动先电大数据平台的 Hive 数据仓库,启动 Hvie 客户端,通过 Hive 查看 hadoop 所有文件路径（相关数据库命令语言请全部使用小写格式）。1. [root@master ~]# hive log4j:WARN No such property [maxFileSize] in org.apache.log4j.DailyRollingFileAppender.
L
转载
2023-12-20 21:34:57
50阅读
MySQL运维篇一、日志1.错误日志2.二进制日志3.查询日志4.慢查询日志二、主从复制1.概述2.原理3.搭建4.总结三、分库分表1.介绍2.Mycat概述3.Mycat入门4.Mycat配置5.Mycat分片6.Mycat管理及监控7.总结四、读写分离1.介绍2.一主一从3.一主一从读写分离4.双主双从5.双主双从读写分离6.总结 学习地址 一、日志1.错误日志错误日志是MySQL中最重要的
转载
2023-09-28 14:47:19
65阅读
Hive运行方式：命令行方式cli：控制台模式脚本运行方式（实际生产环境中用最多）JDBC方式：hiveserver2web GUI接口 （hwi、hue等）Hive在CLI模式中 与hdfs交互 执行执行dfs命令 例：dfs –ls / 与Linux交互 ！开头 例： !pwdHive脚本运行方式：hive -e “” 直接执行引号中的语句,可以写多条，用分号分隔
hive -e “” >
转载
2023-07-13 21:41:00
43阅读
文章目录查看数据库表大小清空表查看mysql语句执行过程（查询优化相关）mysql truncate具有外键约束的表mysql 查看数据库状态和连接数Mysql导出表结构及表数据 (mysqldump用法) 查看数据库表大小SELECT TABLE_NAME,DATA_LENGTH+INDEX_LENGTH,TABLE_ROWS,concat(round((DATA_LENGTH+INDEX_L
转载
2023-12-09 13:14:56
17阅读
一、巡检表二、巡检参考2.1、centos巡检1> 身份鉴别：确保root是唯一的UID为0的账户，除root以外其他UID为0的用户都应该删除，或者为其分配新的UID;查看命令：cat /etc/passwd | awk -F: ‘($3 == 0) { print $1 }’|grep -v ‘^root$’2> 身份鉴别：密码复杂度检查，检查密码长度和密码是否使用多种字符类型编辑
转载
2024-03-11 19:46:09
136阅读
1. 业务背景 由于运营及产品需要，我们针对之前的离线画像来进行抽取，并将其转换成实时画像来提供给业务方进行接口查询服务。 数据来源为MySQL，维度数据来源于离线hive计算结果，针对本期是针对单用户的查询，所以我们会将具体的用户及相应的查询条件来组合，之后进行hbase单点查询，得到该用户的标签信息，而标签的写入通过flink写入hbase，目前有两个设想，一是将查询条件组合在rowkey上，
转载
2024-03-18 09:23:21
129阅读
转载的，个人感觉写的很实在，简单明了，精辟！
运维工作尤其是linux运维，其实最考验你的能力，因为需要学习的东西实在太多，
你既要懂网络：思科华为设备的配置；
要懂性能调优：包括lamp或者lnmp的性能调优，也包括linux操作系统调优；
要懂数据库mysql或者nosql（例如mongodb）：
要懂编程语言：Shell是最基本的，还要学习perl，pyth
转载
精选
2012-02-06 11:59:15
8652阅读
2评论
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进程。本文将您详
转载
2023-07-27 19:50:59
100阅读
整理：张宋庆（Flink 社区志愿者）校对：李庆（Flink 社区志愿者）摘要：本文由阿里巴巴高级运维工程师杨阳（时溪）分享，主要介绍阿里巴巴常见问题诊断模块与思路，内容涵盖以下几个方面：常见运维问题问题处理方式作业生命周期1.常见运维问题1.1 作业运行环境本文中介绍的作业运行环境主要是在阿里巴巴集团内，构建在 Hadoop 生态之上的 Flink 集群，包含 Yarn、HDFS、ZK 等组件；
转载
2024-05-10 20:30:53
35阅读
本示例知识点1.学习如何管理和运行Flink Jobs 2.如何部署和监视应用程序 3.体验Flink如何从作业失败中恢复（重点） 4.执行日常操作任务，例如升级和缩放命令： docker-compose 常用命令 docker-compose exec kafka kafka-console-consumer.sh --bootstrap-server localhost:9092
转载
2024-05-26 16:37:56
17阅读
一、Regular JoinsRegular Join是最通用的join类型。在这种join下，join两侧表的任何新纪录或变更都是可见的，并会影响整个join的结果。如下代码，如果左边表有一条新纪录，那么在Product.id相等的情况下，它将和右表之前和之后的所有记录进行join。SELECT * FROM Orders
INNER JOIN Product
ON Orders.product
转载
2024-06-06 06:53:50
53阅读
为了使Hadoop集群保持健康的状态，集群需要进行日常的维护，主要从基础运维，集群扩容和异常处理三个方面。1、基础运维1.1 启动 / 停止Hadoop在Hadoop_HOME/bin下执行./start-all.sh或者./stop-all.sh命令。（官方不推荐使用这两个命令）1.2 启动 / 停止 HDFS在Hadoop_HOME/bin下执行./start-dfs.sh或者./stop-d
转载
2023-09-20 10:28:42
38阅读
作为数据分析中经常进行的join 操作，传统DBMS 数据库已经将各种算法优化到了极致，而对于hadoop 使用的mapreduce 所进行的join 操作，去年开始也是有各种不同的算法论文出现，讨论各种算法的适用场景和取舍条件，本文讨论hive 中出现的几种join 优化，然后讨论其他算法实现，希望能给使用hadoop 做数据分析的开发人员提供一点帮助.Facebook 今年在yahoo 的h
##虚拟机的基础操作rht-vmctl start desktop
rht-vmctl view desktop
hostnamectl ##查询本机的信息
Powering off desktop
rht-vmctl reset desktop##行提示符[kiosk@foundation63 Desktop]$
kiosk
转载
2024-05-06 10:37:45
62阅读
本文作者：驻云科技，刁德保随着云计算的大量应用，在云端场景的运维自动化领域也被赋予了更多的工作以及与传统运维自动化不同的使用方法。“在云端的所有资源如数据库、主机、负载均衡等，一切都是api”，这个不精确的说法从侧面可以看出云端自动化增添了很多可以编程处理的事情，如通过编程调用“api”完成数据库、主机等的增、减、控制等操作，通过”api”控制负载均衡完成业务系统的主备切换，通过“api”控制vp
转载
2023-12-12 22:26:36
63阅读
北京智和信通技术有限公司基于智和网管平台的优秀可视化能力，对网络海量数据进行图形化分析展示。通过直观的图表和图形化手段清晰有效的将运维数据分析结果进行传达，帮助用户由宏观到微观更快地了解网络运维现状，做出更具时效性的决策。
随着大数据、云计算等新兴技术的发展与运用，在金融、交通、教育、政府等行业的信息化在飞速发展。与此同时，各行业的IT建设与维护管理成本也在
转载
2023-11-09 11:05:00
49阅读
Apache Flink是一个支持有边界的和无边界的数据流的有状态计算的框架。因为很多流式应用被设计成在最短的停机时间内持续运行，所以一个流式处理器必须提供卓越的失败恢复能力，同时提供工具在应用运行的时候监控和维护他们。 Flink非常关注流式处理的操作方面。下面，我们说明一下Flink的失败恢复机制并且列出他的管理和监控运行程序的特性。 一、 24/7不间断地运行你的应用机器
转载
2023-11-02 19:21:31
71阅读
部署：环境规划、代码托管、自动化部署、差异配置文件处理等。监控：某个新业务上线，是否能够有效的监控、如何知道某个接口被调用的多少次？安全：都谁可以调用本业务的接口？（黑白名单），能调用多少次？（频率限制）。备份：该业务是否可以做负载均衡？负载均衡需要考虑什么（数据同步）？日志：该业务都产生哪些日志？日志如何收集、日志如何归档、日志保留时间。根据自己的经验将运维所需的技能分为几类：部署：系统安装、软
转载
2024-03-20 21:01:27
251阅读
