目录1 高可用2 预分区3 RowKey 设计4 内存优化5 基础优化 1 高可用在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以 HBase 支持对 HMaster
原创
2021-03-13 23:12:13
149阅读
Hive Hive是一个构建在Hadoop上的数据仓库框架，设计目的是让精通SQL的分析师能够对存放在HDFS上的大规模数据集执行查询操作。 Hive把数据组织为表，通过这种方式为存储在HDFS的数据赋予结构，并将表模式等元数据存储在名为Merastore的数据库中。基于这种类似关系的数据模型，Hive把SQL查询转换为一系列在Hadoop集群上
原创
2018-08-01 09:20:37
585阅读
# Python 大数据 SVC 调参方案
在数据科学的世界中，支持向量机（SVM）作为一类强大的分类和回归算法，被广泛应用于各类问题。特别是对于大数据集，使用 SVC（支持向量分类器）时，对模型进行合理的参数调优至关重要。本文将以一个具体的问题为例，讲解如何在 Python 中使用 SVC 进行调参，并包括代码示例和可视化的旅行图与序列图。
## 问题描述
设想我们有一个大规模的客户数据集
1. 配置ambari HBase rest
在ambari中配置Knox代理HBase发现发现ambari缺少HBase Thrift Server、HBase Rest Server控制按钮，不能在Ambari页面进行这两个服务的启停
详细安装方法请参考https://blog.csdn.net/Happy_Sunshine_Boy/article/details/100511772
2. 代
原创
2021-07-07 11:20:57
1116阅读
# 如何调大MYSQL数据库超时参数
## 一、流程
下面是调大MYSQL数据库超时参数的步骤：
| 步骤 | 操作 |
| --- | --- |
| 1 | 进入MYSQL数据库 |
| 2 | 查看当前的超时参数设置 |
| 3 | 修改超时参数 |
| 4 | 重启MYSQL服务 |
| 5 | 验证修改是否成功 |
## 二、操作步骤
### 1. 进入MYSQL数据库
首先
原创
2024-06-16 04:00:29
89阅读
老李分享：大数据性能调优案例1、“空间换时间”以及“内存中处理数据”比如user_id.csv文件中有20万个不同的user_id，根据user_id去查其对应的用户最近发表的一篇帖子，取出post_id，post_title、post_time和user_id（post表中查，post表中有一列是user_id，表示帖子所属者），而帖子数目有大概两百万，那么如何处理呢？我的解决方案是：A. 先将
转载
精选
2015-12-10 17:36:38
295阅读
# 如何实现“mysql插入大数据量调优”
## 1. 概述
在处理大数据量时，需要特别注意mysql插入的性能调优，以确保系统能够高效地处理大量数据。本文将为你介绍一些优化插入大数据量的方法，帮助你更好地处理大数据量。
## 2. 流程
下面是实现“mysql插入大数据量调优”的流程表格：
| 步骤 | 操作 |
| --- | --- |
| 1 | 数据准备 |
| 2 | 设置事务
原创
2024-02-26 07:24:40
33阅读
1.hdfs性能调优1.1hdfssite.xmldfs.replication此参数用来设置文件副本数，通常设为3，不推荐修改。这个参数可用来保障HDFS数据安全，副本数越多，越浪费磁盘存储空间，但数据安全性越高。dfs.block.size此参数用来设置HDFS中数据块的大小，默认为128M，所以，存储到HDFS的数据最好都大于128M或者是128的整数倍，这是最理想的情况，对于数据量较大的集
原创
2021-11-16 15:48:03
1333阅读
点赞
What is Spark? ============= Apache Spark is a fast and general-purpose cluster computing system. It provides high-level APIs in Java, Scala, Python and R, and a
转载
2017-07-11 09:06:00
53阅读
有一个1G大小的一个文件，里面每一行是一个词，词的大小不超过16字节，内存限制大小是1M。返回频数最高的100个词1、
原创
2023-03-07 01:12:34
117阅读
在上一章中，我们学习了 Spark DataFrame 的基本概念，并了解了如何利用它们进行大数据分析。在本章中，我们将进一步学习如何处理数据中的缺失值和进行相关性分析，这些概念将帮助我们为机器学习和探索性数据分析准备数据。我们将简要介绍这些概念，以便为读者提供一些背景，但我们将重点介绍如何在 Spark DataFrame 中实现它们。我们将使用上一章中使用的相同 Iris 数据集进行本章的练习。但由于 Iris 数据集没有缺失值，我们随机从原始数据集中删除了列中的两个条目和列中的一个条目。
架构选择：简单离线场景用 “离线批处理架构”，纯实时场景用 “实时流处理架构”，复杂业务优先选 “批流融合架构”（Flink+Spark 组合）。技术选型：采集用 Flume/Kafka，存储用 HDFS/HBase/Redis，计算用 Spark（离线）+Flink（实时），应用用 Tableau/Grafana，这套组合是企业最通用、性价比最高的方案。业务驱动：所有设计和开发都围绕业务价值，避免技术炫技。分层清晰：严格按 ODS→DWD→DWS→DM 分层，每层职责单一。数据质量优先。
大数据架构思考（二）世界上第一架（也是唯一？的）不锈钢制造的战斗机：国内军迷亲切的称呼它为
原创
2022-07-08 09:24:12
84阅读
在进行“大数据实验二Hadoop”的过程中，我深入探索了Hadoop实现机制的底层逻辑，通过抓取网络通信报文及分析其结构，系统地理解了其交互过程与潜在的安全隐患。以下是我整理的这一过程中的核心内容。
## 协议背景
Hadoop作为大数据处理的核心框架，其通信过程涉及多个网络协议，尤其是HTTP和RPC（远程过程调用）。Hadoop的架构分为多个层次，包括存储层（HDFS）、计算层（MapRe
如今，随着人工智能技术的快速发展与普及，越来越多的企业和个人开始注重探索和应用AI技术。其中，智能AI聊天机器人软件成为了热门话题之一。但是面对市场上众多的聊天机器人软件，我们往往会感到茫然和困惑——智能AI聊天机器人软件哪个好呢？这篇文章就来给大家介绍一下目前比较好用的几款智能AI聊天机器人软件。推荐软件一：AI聊天助手端口：电脑介绍：AI聊天助手是一款功能丰富、易于操作的智能聊天机器人软件。它
转载
2023-10-08 14:42:47
99阅读
Flink是一个开源的流处理框架，它允许你处理和分析实时数据流。想象一下，Flink就像一个高效的工厂流水线，能够不停地处理源源不断传来的数据，比如网站的点击流、金融交易或者传感器数据，并且能够快速地给出分析结果或者做出响应。Flink的特点是它能够处理大规模数据流，并且保证数据处理的准确性和可靠性。它支持“事件时间”处理，这意味着即使数据到达的顺序乱了，Flink也能根据数据本身的时间戳正确处理
