一、大数据概念
原创
2023-08-04 22:16:07
0阅读
大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决，海量数据的采集、存储和分析计算问题。按顺序给出数据存储单位：bit、ByteKB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit 1K=1024B
转载
2021-03-17 22:04:35
250阅读
2评论
目录一、大数据概论 1、大数据概念2、大数据特点3、大数据应用场景4、大数据发展前景5、企业数据部的业务流程分析6、大数据部门组织结构二、从Hadoop框架讨论大数据生态1、Hadoop是什么2、Hadoop发展历史3、Hadoop三大发行版本4、Hadoop优势5、Hadoop组成（重点）5.1 HDFS架构概述5.2 YARN架...
原创
2022-05-16 09:18:40
4708阅读
需求是科学技术发展的原动力。大数据问题的出现与研究已经成为了计算机科学与技术研究的新热点，并显示出日益强大的吸引力,科学大数据的出现催生了数据密集型知识发现的第四科学研究范式的出现。目前，大数据技术与应用展现出锐不可挡的强大生命力，科学界与企业界寄予无比的厚望。e良师益友网为你推荐学习教程大数据概论。 在全世界范围内，以电子方式存储的数据（简称为电子数据）总量空前巨大，在2
原创
2014-10-24 13:53:18
898阅读
1.1 大数据概论任务目的了解大数据的概念及其特征 熟悉大数据的典型应用场景 了解大数据部门的业务流程、
转载
2022-08-02 15:06:00
648阅读
&
原创
2021-07-14 10:22:55
186阅读
目录1 大数据概念2 大数据特点（4V）3 大数据应用场景4 大数据发展前景5 大数据部门间业务流程分析6 大数据部门内组织结构1 大数据概念大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1Byte = 8bit 1K = 10
原创
2021-03-25 17:46:20
10000+阅读
1.为什么产生大数据技术？ 首先，在人物方面，大数据的产生是人、机、物协同作用的结果。在数据不断发展过程中，数据的主体从以往的具有主体性的人慢慢演变为人机物三者以及三者的统一体。首先，人类的生产活动和生存活动都会产生大量的数据。其次，信息系统本身也产生大量的数据，这些数据以文件、图片、视频等形式存在 ...
转载
2021-09-09 23:39:00
105阅读
2评论
算法概述算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：上面可以看出有米饭资讯，优酷视频，抖音短视频等推荐，他们都倾向于在下班休息的碎片时间进行推送。他们有的是根据你的关注和兴趣进行提醒
原创
2021-01-11 15:04:45
219阅读
算法概述
算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：
推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：
上面可以看出有米饭资讯，优酷视频，抖音短视频等推荐，他们都倾向于在下班休息的碎片时间进行推送。他们有的是根据你的关注
原创
2021-07-26 15:07:34
227阅读
算法概述 算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：上面可以看出有米饭资讯，优酷视频，抖音短视...
原创
2022-03-09 11:37:51
243阅读
从数字化、信息化、网络化到未来的智能化时代，移动互联网、物联网、云计算、大数据、人工智能等前沿信息技术领域，逐个火了一遍。也代表了信息技术发展的大趋势，什么是大数据，大数据的技术范畴及其逻辑关系，估计很多人都是根据自己所熟悉的领域在盲人摸象(如图5)。
其实我这里讲的盲人摸象并不是贬义，毕竟一个领域的学习到精通就是从盲人摸象式开始的。大数据、数据科学都是很虚的一个概念，分析目标和采用技术都包罗万象，就好比写程序，分前端和后端，分B/S和C/S，分嵌入式、企业应用和APP等，开发语言更是有数十种，不同方向所需要的技术也是大不相同。
原创
2018-05-19 19:15:35
157阅读
文章目录一、 大数据开源框架汇总简介1.1 hadoop1.2 hdfs1.3 yarn1.4 mapreduce1.5 spark1.6 hbase1.7 zookeeper1.8 kafaka二、hive数据分析实例2.1 hive2.2 数据仓库2.2.1 数据中心整体架构2.2.2 数据仓库模型规划2.3 Hive 和普通关系数据库的异同：2.4、hive常用命令及应用实例2.5 hiv
转载
2023-07-30 12:33:03
71阅读
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。1.大数据概念2大数据特点（4V）图2-2大数据特点之大量图2-3大数据特点之高速图2-4大数据特点之多样图2-5大数据特点之低价值密度3大数据应用场景4大数据发展前景5 大数据部门业务流程分析6 大数据部门组织结构（重点）大数据部门组织结构，适用...
转载
2021-09-26 10:19:29
134阅读
随着科技的发展和社会的进步，大数据、人工智能等新兴技术开始进入了我们的生活。我们已经从信息时代跨入了大数据时代，而大数据是一个十分火热的技术，现如今大数据已经涉及到了各行各业的方方面面。但是目前而言，很多人对于大数据不是十分清楚，下面我们就给大家讲一讲大数据的架构知识。1.大数据架构的特点一般来说，大数据的架构是比较复杂的，大数据的应用开发过于偏向底层，具有学习难度大，涉及技术
转载
2023-07-11 20:48:06
155阅读
本讲座选自2015年8月27日在2015中国国际大数据大会主题论坛五──陈斌所做的题为《大数据与移动支付》的演讲。主讲者为易宝支付CTO 陈斌先生。注:所有会议记录均为现场速记整理，未经演讲者审阅，本站刊登此文出于传递更多信息之目的，并不意味赞同其观点或证实其描述。如有问题请与组委会联系。陈斌：刚才听李教授的讲演很受鼓舞，很多信用风险的问题今年都发生了。所以等下我讲的时候也会提到一些关于P2P的事
原创
2021-05-28 21:18:26
688阅读
摘要：大数据问题的分析和解决通常很复杂。大数据的量、速度和种类使得提取信息和获得业务洞察变得很困难。以下操作是一个良好的开端：依据必须处理的数据的格式、要应用的分析类型、使用的处理技术，以及目标系统需要获取、加载、处理、分析和存储数据的数据源，对大数据问题进行分类。 相关文章： 大数据架构和模式（二）——如何知道一个大数据解决方案是否适合您的组织 大数据架构和模式（三
转载
2023-08-11 16:34:56
96阅读
文章目录1、为什么会写这个分类2、涉及的技术栈3、依赖的环境 新建了一个Java大数据入门的分类，准备在这个分类下写一些文章。如果说这个分类是一个github仓库，那么这篇文章就是READEME 1、为什么会写这个分类从分类的名字可以看出，这个系列是大数据相关的。因为目前在公司负责的项目是大数据相关的，从入职到现在也一直在自学相关的知识，有一些心得，希望记录下来分享给大家。需要注意的是，在写这一
docker容器是一个开源的应用容器引擎，可以供开发者打包应用到一个可移植的容器中，然后发布到安装了docker引擎的服务器上。容器不依赖于任何语言、框架包括系统。准备docker环境安装docker
检查内核版本，3.10.0以上均可使用 yum update 确保yum仓库是最新的添加yum 仓库安装Docker启动Docker检查docker 的安装运行第一个容器docker基本操
转载
2023-07-11 10:34:28
95阅读
本文导读：本文主要讲述建筑工业化-智能建造的意义与内涵，以及基于桥梁领域（公路装配式桥梁和超大跨径桥梁），介绍如何结合BIM技术、工厂数控设备、信息化平台实现桥梁建造过程中的钢结构智能建造应用。主要内容包括钢结构BIM技术基础应用（包括深化设计、模型出量、工艺交底、三维校检、数字预拼），其次基于模型数据和数控设备实现钢结构数字加工应用（NC数字程序、自动套料、数控加工），基于平台实现可视化生产协同
