数据获取不一定能产生价值，数据加工一定能产生附加值。随着大数据概念越来越普及的今天，好像很多人已经认可了数据的价值，或者说数据也是一种生产要素。随着数据量的爆炸式增长，传统的技术已经不能满足于当前的业务现状，当下OLTP、OLAP、NOSQL等不同类型的应用技术纷至沓来，技术的图谱也越来越清晰的浮现在眼前，好像没有一种武功能打败天下无敌手 ，就好像英雄总有迟暮的时候；又好像总有几个豪侠（技术），还
转载
2021-04-07 12:13:04
783阅读
2评论
大数据技术体系1.大数据技术体系2.大数据开发语言1.Java2.Python3.Scala3.大数据分布式计算（一）1.分布式计算
原创
2022-07-02 00:18:17
285阅读
针对刚刚接触大数据的小伙伴，整理了一篇入门指南，帮助大家快速掌握大数据的基本概念什么是大数据？大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。主要解决，海量数据的存储和海量数据的分析计算能力。一般具有4V的特点：Volume(大量)、Velocity(高速)、Variety(
原创
2023-06-08 08:38:34
1390阅读
按照大数据应用层次划分，可以把大数据相关技术分为数据收集、数据存储、资源管理、计算框架、数据分析和数据展示这六类，各类代表性组件如下图：
原创
2021-09-28 19:52:16
3847阅读
点赞
1评论
一、大数据产业中国大数据产业 2018年，对于中国大数据产业而言，是一个具有重要标志的年份。大数据产业园大数据产业的聚集区 产业化项目的孵化区二、大数据的主要应用农业大数据工业互联网服务业应用（一）农业大数据 （1）
大数据理论和技术在农业上的应用和实践，是指运用大数据理念、技术和方法，解决农业或涉农
导言截止目前为止，在自己的技术生涯中，要说哪一种技术体系的学习路径最为曲折，那非大数据技术体系莫属了。相比特定编程语言的学习，相比类如云原生技术这类已然涵盖面很广的技术体系，个人感觉大数据技术的体系“繁杂度”高出了几个量级。具体原因并不是因为大数据技术体系的“难度”，而是因为其“广度”和“自由度”。“广度”——在多年的历史发展和众多企业的参与中，大数据技术及工具的门类极其繁多，特性差异化多且很多体
推荐
原创
2022-09-25 09:38:11
1407阅读
大数据时代：大数据无处不在！ 大数据的主要分析逻辑： 1.做全样而非抽样的分析 2.追求效率 3.追求事件的相关性并非因果 大数据的关键技术 大数据基本处理流程：数据采集、存储管理、处理分析、结果呈现等环节。主要：数据存储与管理（分布式存储）集群 数据处理与分析（分布式处理）集群技术层面： 数据采集与预处理 数据存储和管理 数据处理与分析
转载
2023-07-29 18:56:51
116阅读
大数据生态体系分为数据来源层，数据传输层，数据存储层，资源管理层，数据计算层和任务调度层，其中结构化数据库为我们熟悉的 数据库，文件日志这种半结构化的文本也囊括在内，甚至视频和ppt这种非结构化数据也是在处理范围的，kafka在所有存储工具中最为 强大，三种数据都可以处理并且拥有储存功能 ...
转载
2021-09-06 16:10:00
166阅读
2评论
转载
2020-01-30 12:55:00
165阅读
2评论
HDFS：H是hadoop 分布式文件系统 分布式文件系统。Hdfs是Hadoop分布式文件系统的简称，它是Hadoop实现的一个分布式文件系统。纱线：管理资源调度mycat：中间件MapReduce的：分布式，并行处理的编译原理 伪分布式：纱和HDFS部署在同一台机器上组件介绍：Hadoop的核心组件HDFS ---- Hadoop生态圈的基本组成部分Hado
转载
2023-09-13 16:23:22
100阅读
云计算说的是一种技术解决方案，就是利用这种技术可以解决计算、存储、数据库等一系列IT基础设施的按需构建的需求。两者并不是同一个层面的东西。大数据 大数据技术是一种新一代技术和构架，以快速的采集、处理和分析技术，从各种超大规模的数据中提取价值。大数据涉及到数据的采集、整理、存储、安全、分析、呈现和应用，大数
转载
2023-09-26 19:03:01
127阅读
原创
2021-08-31 15:05:50
157阅读
一、数据科学家数据科学（DataScience）这一概念自大数据崛起也随之成为数据领域的讨论热点，“数据科学家”成为了一个工作职位出现在各种招聘信息上。那么究竟什么是数据科学？大数据和数据科学又是什么关系？大数据在数据科学中起到怎样的作用？本文主要是想起到科普作用，使即将或正在从事数据工作的朋友对数据科学工作有一个全概貌了解，也使各有想法进入大数据领域的朋友在真正从事大数据工作之前对行业的情况有所
原创
2020-12-07 16:20:57
896阅读
大数据：是数据科学中的一个分支。至于数据科学，其被认为是数学，计算机知识和某个专业领域知识的交叉学科。计算机知识和数学的交集区域，被称为机器学习；数学和某专业领域知识的交集，属于传统研究范畴。而且大数据领域又可以划分为几个主要的方向： 数据平台 （Data Platform）: 构建、维护稳定、安全的大数据平台，按需设计大数据架构，调研大数据产品、方案、实施部署上线。数据采集（Data Coll
转载
2021-01-23 12:06:00
268阅读
2评论
大数据技术学习进阶路线随着大数据技术的不断发展，大数据的技术体系已经趋于成熟，由于大数据技术体系比较庞大，所以在学习大数据的时候首先应该根据自身的知识结构，找到一个适合的切入点。本节将介绍大数据技术学习需要经过的几个阶段，帮助想转大数据开发的同学，对大数据技术有个整体的把握。第一阶段Java语言基础：由于大数据开发，大多是基于Java语言进行的，所以Java语言开发是必需要掌握的。掌握技能如下图所
转载
2023-09-26 19:19:27
88阅读
大数据：是数据科学中的一个分支。至于数据科学，其被认为是数学，计算机知识和某个专业领域知识的交叉学科。计算机知识和数学的交集区域，被称为机器学习；数学和某专业领域知识的交集，属于传统研究范畴。而且大数据领域又可以划分为几个主要的方向： 数据平台 （Data Platform）: 构建、维护稳定、安全 ...
转载
2021-05-05 16:54:08
237阅读
2评论
本次分享内容：时序数据平台主要业务场景时序数据平台体系架构时序数据平台核心技术PART01 时序数据平台主要业务场景上图为数据的整体架构，大部分公司都是差不多的：原始数据：MySQL、服务端的Log、APP-Data、Sensor，大家知道现在穿戴设备很多，比如手表等，这样都会产生很多数据，这些数据都称为时序数据，随着时间的变化不断产生数据。数据采集层：sqoop、DataStream、SDK、G
原创
2021-03-29 15:54:28
785阅读
Java程序员高级特性 反射、泛型、注释符、自动装箱和拆箱、枚举类、可变 参数、可变返回类型、增强循环、静态导入 核心编程 &
转载
精选
2013-05-27 12:31:24
659阅读
Java 程序员 SpringJava 高级特性 反射、泛型、注释符、自动装箱和拆箱、枚举类、可变 参数、可变返回类型、增强循环、静态导入 核心编程 IO、多线程、实体类、 集合类、正则表达式、 XML 和属性文件 图形编程 AWT（Java2D/JavaSound/JMF） 、Swing、SWT、JFace 网路编程 Applet、Socket/TCP/UDP、NIO、RM
转载
2017-03-01 16:29:22
387阅读
一、大数据简介
1、基础概念
大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据技术则主要用来解决海量数据的存储和分析。2、特点分析
大数据的5V特点（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Ver
推荐
原创
2022-08-12 09:12:23
631阅读
