Hhbase集群搭建
一 第一步 准备：搭建hadoop集群，搭建zookeeper
二 第二步：上传安装包
解压
1 tar -zxvf hbase-1.2.1-bin.tar.gz
重命名
2 mv hbase-1.2.1 hbase
删除不需要的文件
3 rm -rf docs
4修改conf的相关配置
hadoop的hdfs-site.xml和core-site.xml 放到h
转载
2019-02-17 14:20:00
279阅读
2评论
大数据简介: 大数据（Big Data）指的是规模巨大、复杂多变的数据集合。这些数据集合一般具有以下特点： 1、高容量：数据集合通常包含海量数据，可以是数TB或PB的级别。 2、高速度：数据集合的更新和处理速度非常快，要求系统能够在实时或近实时的时间内处理数据。 3、多样性：数据集合中包含多种类型的数据，如文本、图像、视频、音频等，这些数据可能是结构化的、半结构化的或非结构化的。 4、高价值：数据
转载
2023-11-10 11:01:31
74阅读
大数据数据库与深度学习的结合正在推动技术的前沿，尤其是在数据处理和深度学习模型的训练上。随着数据量的不断增加，如何有效地管理和利用这些数据成为一个重要课题。本文记录了在这一领域中的探索过程，包括环境准备、集成步骤、配置详解、实战应用、排错指南以及性能优化。
## 环境准备
为了有效地进行大数据数据库与深度学习的集成，我们首先需要搭建一个适合的开发环境。当前，以下技术栈是比较常见且兼容性良好的选
ADO（ActiveX Data Objects）是一种面向对象的数据访问技术，它提供了一组对象和接口，让开发人员可以方便地从
原创
2023-09-09 07:31:57
524阅读
shell编程
原创
2020-08-09 22:36:40
823阅读
点赞
2.1 基本格式
代码写在普通文本文件中，通常以 .sh为后缀名
vi hello.sh
#!/bin/bash ## 表示用哪一种shell解析器来解析执行我们的这个脚本程序
echo "hello world" ## 注释也可以写在这里
## 这是一行注释
执行脚本
sh hello.sh
或给脚本添加x权限，直接执行
chmod 755 hello.sh
./hell
转载
2018-12-07 19:10:00
104阅读
2评论
1 概念
Scala中的Actor能够实现并行编程的强大功能，它是基于事件模型的并发机制，Scala是运用消息（message）的发送、接收来实现多线程的。使用Scala能够更容易地实现多线程应用的开发。
2 传统java并发编程与scala actor编程的区别
对于Java，我们都知道它的多线程实现需要对共享资源（变量、对象等）使用synchronized 关键字进行代码块同步、
转载
2019-06-04 10:31:00
188阅读
2评论
03/ shell编程综合练习
自动化软件部署脚本
3.1 需求
1、需求描述
公司内有一个N个节点的集群，需要统一安装一些软件（jdk）
需要开发一个脚本，实现对集群中的N台节点批量自动下载、安装jdk
2、思路
1/ 编写一个启动脚本，用来发送一个软件安装脚本到每一台机器
2/ 然后启动每台机器上的软件安装脚本来执行软件下载和安装
3、expect的使用
痛点：使用scp命令远
转载
2018-12-08 18:14:00
115阅读
2评论
说起大数据生态，不得不提大数据生态系统图，而大数据行业却不断的发生着巨变，目前的这张图应该还算比较新了。
创业者们蜂拥至这个行业，这个行业正变得越来越拥挤。Hadoop似乎已经奠定了其作为整个大数据生态系统的关键部分，Spark是另一个基于内存计算的开源分布式计算框架，它试图填补Hadoop的弱项，提供更快的数据分析和良好的编程接口。 分析工具领域变得异常活
转载
2023-07-22 14:08:41
116阅读
通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、Oracle、SQL Server、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库，这些数据库支持复杂的SQL操作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。大数据时代初期，随
转载
2024-06-07 17:54:29
56阅读
大数据数据仓库是基于HIVE构建的数据仓库，分布文件系统为HDFS，资源管理为Yarn，计算引擎主要包括MapReduce/Tez/Spark等，分层架构如下：1、数据来源层：日志或者关系型数据库，并通过Flume、Sqoop、Kettle等etl工具导入到HDFS，并映射到HIVE的数据仓库表中。2、事实表是数据仓库结构中的中央表，它包含联系事实与维度表的数字度量值和键。事实数据表包含描述业务（
转载
2023-07-07 15:15:33
157阅读
<html>
<head>
<!--
>>HTML database application demo
*--------------------------------------------------------------------------------*
Author: Sdi
转载
2007-12-11 21:55:00
492阅读
2评论
文章目录Hbase数据库介绍特点表结构逻辑视图RowKey列簇时间戳cellHbase集群架构 Hbase数据库介绍HBase 是基于 Apache Hadoop 的面向列的 NoSQL 数据库，是 Google 的 BigTable 的开源实现。HBase 是一个针对半结构化数据的开源的、多版本的、可伸缩的、高可靠的、高性能的、分布式的和面向列的动态模式数据库。HBase 和传统关系数据库不同
转载
2023-08-16 17:24:22
71阅读
# Java 大数据数据库实现指南
作为一名刚入行的小白，学习如何使用Java进行大数据数据库的开发，可能会觉得有些困难。不过，没关系！本文将为你详细介绍整个实现流程，并提供必要的代码示例，让你能够逐步上手。
## 整体流程
实现大数据数据库的流程可以概括为以下几个步骤：
| 步骤 | 描述
原创
2024-10-11 05:15:56
20阅读
首先声明：数据库的大数据处理一般不在实际操作中应用，这是为了避免数据库被占用，而导致资源不能被访问，还有内存分配等方面出现。基本概念：大数据也称之为LOB(Large Objects)，LOB又分为：clob和blobclob用于存储大文本。Textblob用于存储二进制数据，例如图像、声音、二进制文等。对MySQL而言只有blob，而没有clob，mysql存储大文本采用的
转载
2023-11-15 21:51:16
45阅读
数据库知识作为面试必考题，在面试的过程中占比很好，尤其是后端开发，一定要精通，尤其是索引和事务，每个专业的面试官都会问，一定不能只停留在增删查改上。1、数据库三范式第一范式：要求每列都是最小的数据单元，不可分割。比如学生表（学号、姓名、性别、出生年月），出生年月还可以分为（出生年、出生月、出生日），那么它就不符合第一范式了。第二范式：在第一范式的基础上，要求每列都和主键相关。比如学生表（学号、姓名
转载
2024-06-17 15:33:21
71阅读
存储过程如同一门程序设计语言，同样包含了数据类型、流程控制、输入和输出和它自己的函数库。存储过程作用：(1) 存储过程通过参数传递,安全性高,可防止注入式攻击.(2) 查询的语句在存储过程里,与程序不相关,如果以后要修改程序或者数据库,都不会出现连锁反应,增加系统可扩展性.(3) 网站执行查询的时候,只需要传递简单的参数就可以了,无论是代码优化上还是查询优化上都可以做到高效.(4) 允许模块化编程
转载
2024-08-27 13:08:12
70阅读
//头文件 #include #include #include #include #include #include #include #ifdef __cplusplus extern "C" { #endif //设置退格键不回显 int set_Backkey(); //获取用户SQL语句，判断用户操作，不区分大小写 void read_user_print(MYSQL...
转载
2016-11-09 23:16:00
9111阅读
2评论
连接到数据库 mysql_init(MYSQL *pmysql); MYSQL *mysql_real_connect(MYSQL * pmysql,const char * hostname,const char *usename,const char *passwd,const char *db
转载
2016-11-08 21:08:00
3228阅读
2评论
中大型数据库指的是数据库比较大，数据变化量比较大。对应中大型数据库来说，一般都不允许数据出现丢失情况，那么我们应该把数据库的恢复模式设置成完整。比如我们有一个数据库周一大小为200GB，周二大小变为230GB，周三大小变为250GB，周四大小270GB，周五大小变为290GB，如果我们制定数据库的备份策略是每天进行完整备份，那么一个星期我们的磁盘使用量就要达到了上千G，此外每次备份这样大的文件使用
转载
2024-01-06 11:38:41
87阅读
