51CTO博客>热门标签>大数据技术

大数据技术

全部文章近期文章热门文章标签简介

【大数据技术】内容共 240 条

原创【大数据技术】大数据发展简介

数据库出现要说大数据的真正起源，必须得提到数据库。无论是移动互联网还是PC因特网，或者是计算机本身，背后都是一群又一群程序员写的程序，而一切程序说到底都还是对数据的处理。如果把数据处理比作一个王国的话，...

大数据

大数据技术发展

阅读 10000+ 评论 2 点赞 15

霭带后生 317 天前
原创 大数据技术之大数据概论

目录 1 大数据概念 2 大数据特点（4V） 3 大数据应用场景 4 大数据发展前景 5 大数据部门间业务流程分析 5.1 大数据部门组织结构 6 大数据部门内组织结构 1 大数据概念 大数据概念大...

大数据

数据

组织结构

5g

结构化

阅读 10000+ 评论 0 点赞 0

程序员老陆 505 天前
原创 大数据技术发展(一)：大数据技术的起源

大家好，这里是抖码课堂，抖码课堂专注提升互联网技术人的软硬实力。今天我们来聊聊大数据技术的起源，这里我先告诉大家，大数据技术实际上是起源于搜索引擎技术的，所以我们需要先简单了解下搜索引擎的工作原理。网...

大数据

Hadoop

阅读 1230 评论 1 点赞 0

抖码 725 天前
原创【大数据概念】大数据技术体系分类

按照大数据应用层次划分，可以把大数据相关技术分为数据收集、数据存储、资源管理、计算框架、数据分析和数据展示这六类，各类代表性组件如下图：...

大数据

技术体系分类

阅读 2993 评论 1 点赞 7

霭带后生 318 天前
转载 大数据技术体系

数据获取不一定能产生价值，数据加工一定能产生附加值。随着大数据概念越来越普及的今天，好像很多人已经认可了数据的价值，或者说数据也是一种生产要素。随着数据量的爆炸式增长，传统的技术已经不能满足于当前的业...

大数据技术体系

阅读 407 评论 2 点赞 0

mb6063e426e828c 492 天前
原创 大数据技术体系

大数据技术体系 1.大数据技术体系 2.大数据开发语言 1.Java2.Python3.Scala 3.大数据分布式计算（一） 1.分布式计算分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整...

数据

分布式计算

大数据

阅读 0 评论 0 点赞 0

wx62be9d88ce294 41 天前
转载 大数据技术综述

Big Data（大数据技术）是近来的一个技术热点，但从名字就能判断它并不是什么新词。毕竟，大是一个相对概念。历史上，数据库、数据仓库、数据集市等信息管理领域的技术，很大程度上也是为了解决大规模数据的问题。被...

大数据

阅读 601 评论 0 点赞 0

kinnux2011 3441 天前
转载 大数据之数据脱敏技术

背景与目标在数据仓库建设过程中，数据安全扮演着重要角色，因为隐私或敏感数据的泄露，会对数据主体（客户，员工和公司）的财产、名誉、人身安全、以及合法利益造成严重损害。因此我们需要严格控制对仓库中的数据...

经验分享

阅读 388 评论 0 点赞 0

wb57e7be70e3b57 415 天前
转载为什么产生大数据技术，为什么要学习大数据技术

1.为什么产生大数据技术？首先，大数据是众多数据信息的集合，随着社会的发展，我们周围的数据信息越来越多，仅仅是通过我们人脑对这些数据信息进行分类处理，是很有限的，而大数据技术就是为了解决这个问题而产生...

数据

大数据技术

多数据

大数据

其他

阅读 77 评论 2 点赞 0

mb5ffd6f9bd73a3 336 天前
原创 大数据技术主要包含哪些技术

云计算与大数据密切相关，大数据是计算密集型操作的对象，需要消耗巨大的存储空间，云计算的主要目标是在集中管理下使用巨大的计算和存储资源，用微粒度计算能力提供大数据应用，云计算的发展为大数据的存储和处理提...

数据

大数据

云计算

大数据技术

大数据与云原生

阅读 0 评论 0 点赞 0

梯度科技 4 天前
原创常用的大数据技术

为了更好地提升解决数据安全事故的工作能力，减少安全隐患，世界各国公司对数据图片水印和数据亲属跟踪技术开展了探寻和科学研究。第一，数字水印技术，其技术完成基本原理是根据信息资源管理将数据图片水印置入数据...

大数据技术

阅读 231 评论 0 点赞 0

mob604756f4c9c3 477 天前
转载 大数据技术之HBase

第1章 HBase简介 1.1 什么是HBase 　　HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。官方网站：http://hbase.apache.org 　　-- 20...

数据

hdfs

元数据

zookeeper

海量数据

阅读 93 评论 2 点赞 0

mob604756eff415 323 天前
转载主流大数据技术总结

数据量不断增加，企业需要灵活快速地处理这些数据。处理器主频和散热遇到瓶颈，多核处理器成为主流，并行化计算应用不断增加。开源软件的成功使得大数据技术得以兴起。互联网技术的发展让大多数企业能够积累大量的数...

java

ajva

阅读 120 评论 0 点赞 0

mb5fdb099dd338a 500 天前
转载 大数据技术之 Hive

一、Hive 基本概念1）Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类 SQL 查询功能。2）Hive 本质：将 HQL 转化成 MapReduce 程序；Hive 处理的数据存储在 HDFSHive 分析数...

Hive

阅读 172 评论 0 点赞 0

mb60bdca510fcb3 428 天前
原创 大数据技术之 -- flume

文章目录1.Flume简介2.Flume角色2.1、Source2.2、Channel2.3、Sink2.4、Event3.Flume传输过程4.Flume部署及使用4.1、文件配置案例...

flume

大数据

hdfs

数据

时间戳

阅读 0 评论 0 点赞 0

wx586b5bb827ae8 37 天前
原创 大数据技术栈整理

Kettlehttp://www.kettle.net.cn/ Flumehttp://flume.apache.org/ dataXhttps://github.com/alibaba/DataX https://www.oschina.net/p/datax?hmsr=aladdin1e1 埋点 hivehttps://hive.apache.o...

hive

爬虫

python

nginx

.net

阅读 243 评论 0 点赞 0

a772304419 324 天前
转载 大数据技术与架构

戳蓝字 "大数据技术与架构" 关注我们哦！

大数据

大数据技术

阅读 174 评论 0 点赞 0

wx5c7a97e3804fd 427 天前
转载 大数据技术与架构

戳蓝字 "大数据技术与架构" 关注我们哦！

大数据

大数据技术

阅读 186 评论 0 点赞 0

蜡笔小新v 427 天前
转载 大数据技术之Flume

大数据技术之Flume 1.1 Flume定义 Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。 1.2 Flume组成架构 Flume组成架构如图1-1，图1-2所示...

数据

数据丢失

数据传输

批量删除

hdfs

阅读 77 评论 2 点赞 0

mob604756f145d3 389 天前
原创 大数据技术栈详解

相信很多学Java的同学都有想转大数据或者学大数据的想法，但是一看到网上那些大数据的技术栈，就一脸懵逼，什么Hadoop、HDFS、MapReduce、Hive、Kafka、Zookeeper、HBase、Sqoop、Flume、Spark...

spark

hadoop

hdfs

mapreduce

kafka

阅读 217 评论 0 点赞 0

lzqcode 212 天前