大数据学习路线java(Java se,javaweb)Linux(shell,高并发架构,lucene,solr)Hadoop(Hadoop,HDFS,Mapreduce,yarn,hive,hbase,sqoop,zookeeper,flum
原创
2022-09-23 22:11:32
43阅读
最近的一次培训，用户特意提到Hadoop环境下HDFS中存储的文件如何才能导入到HBase，关于这部分基于HBase Java API的写入方式，之前曾经有过技术文章共享，本文就不再说明。本文基于Hive执行HDFS批量向HBase导入数据，讲解Hive与HBase的整合问题。这方面的文章已经很多，但是由于版本差异，可操作性不大，本文采用的版本均基于以下版本说明中的版本。
原创
2022-05-04 17:43:17
333阅读
Hive元数据存储可以放到RDBMS数据库中，本文以Hive与MySQL数据库的整合为目标，详细说明Hive与MySQL的整合方法。
原创
2022-05-04 17:55:56
276阅读
Flink 中文社区
原创
2022-07-28 14:08:31
138阅读
1.什么是大数据1.1 大数据特征我们引用了大数据的4V特征Volume 大数据数据量大，数据量单位为T 或者P级Variety 数据类型多，大数据包含多种数据维度 比如 日志、视频、图片Value 价值密度低，商业价值高 比如监控视频，其中关键1-2秒可能具有极高的价值Velocity 要求处理速度块1.2 大数据的4个关键技术1.3 ETL/ELT的区别ETL 包含的过程是 Extract、T
原创
2021-02-04 19:21:25
279阅读
1.什么是大数据1.1 大数据特征我们引用了大数据的4V特征Volume 大数据数据量大，数据量单位为T 或者P级Variety 数据类型多，大数据包含多种数据维度 比如 日志、视频、图片Value 价值密度低，商业价值高 比如监控视频，其中关键1-2秒可能具有极高的价值Velocity 要求处理速度块1.2 大数据的4个关键技术1.3 ETL/ELT的区别ETL 包含的过程是 Extract、T
原创
2021-04-06 13:39:15
370阅读
什么是大数据？
原创
2022-10-20 09:00:42
94阅读
完整的AI大数据架构
在过去的十年中，随着大数据和人工智能领域的快速发展，我们看到了数据处理和分析方式的重大变革。以下是时间轴关键节点的描述：
1. **2010年**：大数据的概念首先被提出，强调数据规模的巨大；
2. **2014年**：人工智能开始逐步进入主流，尤其在深度学习领域取得了突破；
3. **2018年**：各种业内工具和平台相继推出，支持大数据与AI的结合；
4. **202
接上2篇：一小时了解数据挖掘①：解析常见的大数据应用案例 一小时了解数据挖掘②：分类算法的应用和成熟案例解析数据挖掘分类技术 从分类问题的提出至今，已经衍生出了很多具体的分类技术。下面主要简单介绍四种最常用的分类技术，不过因为原理和具体的算法实现及优化不是本书的重点，所以我们尽量用应用人员能够理解的语言来表述这些技术。 在我们学习这些算法之前必须要清楚一点，分类算法不会百分百准确
转载
2023-08-24 22:54:58
424阅读
1、HDFS读流程和写流程1.1 HDFS写数据流程① 客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。② NameNode返回是否可以上传。③ 客户端请求第一个 Block上传到哪几个DataNode服务器上。④ NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。⑤ 客户端
转载
2023-11-14 09:37:11
79阅读
MongoDB-一种非常流行的、跨平台、面向document的数据库。 Elasticsearch-专为云计算设计的分布式REST风格的搜索引擎。 Cassandra-一个开源的分布式数据库管理系统。最初是Facebook设计和开发的，部署在大量商用服务器上来处理大量的数据。高可用，无单点故障。 Redis-开源的（BSD）内存数据结构存储、内存库、缓存、消息代理。 Hazelcast-基
转载
2023-11-12 15:18:43
52阅读
Python +大数据-Python学习(三)1 .列表基本语法列表名称 = [数据1, 数据2, 数据3, 数据4, ...]
列表的作用是一次性存储多个数据，程序员可以对这些数据进行的操作有：增、删、改、查。
# 列表的定义
name_list=['Daidai','Jack','Rose','Tom']
print(name_list) #['Daidai', 'Jack', 'Rose'
转载
2023-09-20 22:55:44
179阅读
背景魔镜是数据产品研发部基于大数据平台开发的一套可视化数据智能平台。传统机器学习建模流程对非数据科学专业人员来说，整体门槛较高，其中主要体现在几个方面：1. 机器学习概念较为抽象比如训练集、验证集、测试集、特征、维度、标签泄露、欠拟合、过拟合、学习曲线、验证曲线、ROC曲线、混淆矩阵等等，除了需要了解概念外，需要了解具体的使用场景、使用方法。2. 机器学习建模流程复杂数据准备、数据预处理、统计分析
转载
2024-03-09 22:14:51
116阅读
近日，万达网络科技集团在新加坡2016Strata+HadoopWorld大数据峰会上，联合Cloudera发布了一站式“大数据+区块链”解决开源方案ProjectHercules大力神项目。据了解，ProjectHercules项目实现了基于各种数据中心或云环境的大数据+区块链基础架构服务，为行业用户提供集成的大数据处理、分析支持以及区块链应用的构建与管理。万达网络科技集团相关负责人表示，如今，
完整的AI大数据架构组件
在当今的数字化时代，AI大数据架构成为构建智能应用的基石。随着数据量的爆炸式增长，如何高效、灵活地处理和分析这些数据显得越来越重要。为了构建一个完整的AI大数据架构，我们必须理解其组成部分以及每个组件的作用和相互关系。以下，我们将逐步解析构建这一架构的过程，包括技术原理、架构解析、源码分析和案例分析。
### 背景描述
随着人工智能技术的普及，许多企业和组织都在尝试
干货走起，闲话不多说，以下就是小编整理的大数据学习思路第一阶段：linux系统本阶段为大数据学习入门基础课程，帮大家进入大数据领取打好Linux基础，以便更好的学习Hadoop、habse、NoSQL、saprk、storm等众多技术要点。另：目前企业中无疑例外是使用Linux来搭建或部署项目的在这里还是要推荐下我自己建的大数据学习交流群:529867072，群里都是学大数据开发的，如果你正在学习
原创
2019-05-11 11:25:02
508阅读
文章目录前言一、数组的定义和访问1.1 容器概述1.2 数组概念1.3 数组的定义1.4 数组的初始化1.5 数组的访问二、数组原理内存图2.1 内存概述2.2 Java虚拟机的内存划分2.3 数组在内存中的存储一个数组内存图两个数组内存图两个变量指向一个数组三、数组操作的常见问题3.1 数组越界异常3.2 数组空指针异常四、数组练习4.1 数组遍历4.2 数组获取最值4.3 数组翻转五、IDE
转载
2023-09-11 14:53:32
27阅读
前言先引用一下马云大大的话：很多人还没搞清楚什么是PC互联网，移动互联网来了，我们还没搞清楚移
原创
2023-01-27 09:03:45
108阅读
目录水仙花数的程序编写求列表中的最大值和最小值斐波那契数列的程序编写用自己的代码实现Strip（）的功能编写程序对列表中的元素去重统计列表中每个元素出现的个数九九乘法表选出两个列表中对应下标值最大的元素组成新的列表冒泡排序将列表中的元素依次打印出来函数调用args接单个值，kwargs用来接键值对random的用法定义一个函数，输入名字列表，输入随机数量，提取相应数量的名字，当次提取的名字不能有重
转载
2023-08-09 15:23:12
76阅读
引论在算法竞赛中我们经常遇到大数问题，例如求一个很大的斐波那契数。住在这种情况下我们用常规解法肯定是存不下的，而我们自己写一个大数的算法又过于麻烦且易于出错，在这种情况下使用java中自带的大数类是我们最好的选择。（TLE就换方法咯）介绍java中用于操作大数的类主要有两个，一个是BigInteger，代表大整数类用于对大整数进行操作，另一个是BigDecimal，代表高精度类，用于对比较大或精度
转载
2023-09-11 14:53:53
59阅读
