一、大数据概念
原创
2023-08-04 22:16:07
0阅读
大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据主要解决，海量数据的采集、存储和分析计算问题。按顺序给出数据存储单位：bit、ByteKB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。1Byte=8bit 1K=1024B
转载
2021-03-17 22:04:35
250阅读
2评论
目录一、大数据概论 1、大数据概念2、大数据特点3、大数据应用场景4、大数据发展前景5、企业数据部的业务流程分析6、大数据部门组织结构二、从Hadoop框架讨论大数据生态1、Hadoop是什么2、Hadoop发展历史3、Hadoop三大发行版本4、Hadoop优势5、Hadoop组成（重点）5.1 HDFS架构概述5.2 YARN架...
原创
2022-05-16 09:18:40
4708阅读
需求是科学技术发展的原动力。大数据问题的出现与研究已经成为了计算机科学与技术研究的新热点，并显示出日益强大的吸引力,科学大数据的出现催生了数据密集型知识发现的第四科学研究范式的出现。目前，大数据技术与应用展现出锐不可挡的强大生命力，科学界与企业界寄予无比的厚望。e良师益友网为你推荐学习教程大数据概论。 在全世界范围内，以电子方式存储的数据（简称为电子数据）总量空前巨大，在2
原创
2014-10-24 13:53:18
898阅读
1.1 大数据概论任务目的了解大数据的概念及其特征 熟悉大数据的典型应用场景 了解大数据部门的业务流程、
转载
2022-08-02 15:06:00
648阅读
&
原创
2021-07-14 10:22:55
186阅读
目录1 大数据概念2 大数据特点（4V）3 大数据应用场景4 大数据发展前景5 大数据部门间业务流程分析6 大数据部门内组织结构1 大数据概念大数据概念大数据（Big Data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。按顺序给出数据存储单位：bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB。 1Byte = 8bit 1K = 10
原创
2021-03-25 17:46:20
10000+阅读
1.为什么产生大数据技术？ 首先，在人物方面，大数据的产生是人、机、物协同作用的结果。在数据不断发展过程中，数据的主体从以往的具有主体性的人慢慢演变为人机物三者以及三者的统一体。首先，人类的生产活动和生存活动都会产生大量的数据。其次，信息系统本身也产生大量的数据，这些数据以文件、图片、视频等形式存在 ...
转载
2021-09-09 23:39:00
108阅读
2评论
算法概述算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：上面可以看出有米饭资讯，优酷视频，抖音短视频等推荐，他们都倾向于在下班休息的碎片时间进行推送。他们有的是根据你的关注和兴趣进行提醒
原创
2021-01-11 15:04:45
219阅读
算法概述
算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：
推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：
上面可以看出有米饭资讯，优酷视频，抖音短视频等推荐，他们都倾向于在下班休息的碎片时间进行推送。他们有的是根据你的关注
原创
2021-07-26 15:07:34
227阅读
算法概述 算法是计算机科学领域最重要的基石之一，计算机语言和开发平台日新月异，但万变不离其宗的是那些算法和理论，数据结构和算法是软件开发必备的核心基础，是内功心法。下面举例拿推荐算法和分类算法的实际场景做下举例：推荐算法的应用场景,各种app（偏资讯）的应用外的手机推荐：上面可以看出有米饭资讯，优酷视频，抖音短视...
原创
2022-03-09 11:37:51
243阅读
从数字化、信息化、网络化到未来的智能化时代，移动互联网、物联网、云计算、大数据、人工智能等前沿信息技术领域，逐个火了一遍。也代表了信息技术发展的大趋势，什么是大数据，大数据的技术范畴及其逻辑关系，估计很多人都是根据自己所熟悉的领域在盲人摸象(如图5)。
其实我这里讲的盲人摸象并不是贬义，毕竟一个领域的学习到精通就是从盲人摸象式开始的。大数据、数据科学都是很虚的一个概念，分析目标和采用技术都包罗万象，就好比写程序，分前端和后端，分B/S和C/S，分嵌入式、企业应用和APP等，开发语言更是有数十种，不同方向所需要的技术也是大不相同。
原创
2018-05-19 19:15:35
157阅读
本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hadoop部分补充。1.大数据概念2大数据特点（4V）图2-2大数据特点之大量图2-3大数据特点之高速图2-4大数据特点之多样图2-5大数据特点之低价值密度3大数据应用场景4大数据发展前景5 大数据部门业务流程分析6 大数据部门组织结构（重点）大数据部门组织结构，适用...
转载
2021-09-26 10:19:29
134阅读
本文导读：本文主要讲述建筑工业化-智能建造的意义与内涵，以及基于桥梁领域（公路装配式桥梁和超大跨径桥梁），介绍如何结合BIM技术、工厂数控设备、信息化平台实现桥梁建造过程中的钢结构智能建造应用。主要内容包括钢结构BIM技术基础应用（包括深化设计、模型出量、工艺交底、三维校检、数字预拼），其次基于模型数据和数控设备实现钢结构数字加工应用（NC数字程序、自动套料、数控加工），基于平台实现可视化生产协同
文章目录一、大数据概论1、大数据概念2、大数据特点3、大数据部门业务流程4、大数据部门组织结构（重点）二、Hadoop 概述2.1 Hadoop 概念2.2 Hadoop 的优势2.3 Hadoop 组成2.3.1 HDFS 架构概述2.3.2 YARN 架构概述2.3.3 MapReduce架构概述2.4 大数据技术生态体系2.5 推荐系统框架图 一、大数据概论1、大数据概念大数据（Big D
转载
2024-08-02 10:34:03
25阅读
赛题一：登录行为识别参赛者要根据用户登录的种种蛛丝马迹，预测交易是否有风险。估计优胜者的答案，足以让全网用户沸腾吧？毕竟，网购登录关乎每个人的账户安全。感谢大数据时代，风控技术不断升级，让我们可以在享受乐趣的同时，享受科技的保驾护航。赛题二：店铺销量预测这道赛题，要求参赛者对店铺开展贷款业务和经营状况等数据进行定量跟踪，预测店铺未来90天的销量！港真，如果真有一位大神能预测店铺未来的销量，估计店主
转载
2023-11-10 14:40:34
54阅读
数据备份是容灾的基础，是指为防止系统出现操作失误或系统故障导致数据丢失，而将全部或部分数据集合从应用主机的硬盘或阵列复制到其它的存储介质的过程。传统的数据备份主要是采用内置或外置的磁带机进行冷备份。但是这种方式只能防止操作失误等人为故障，而且其恢复时间也很长。随着技术的不断发展，数据的海量增加，不少的企业开始采用网络备份。网络备份一般通过专业的
转载
2011-10-09 10:13:15
483阅读
在如今的科技时代，大数据的应用日益广泛，各行各业都在试图利用大数据的潜力来提升业务效率。在这个过程中，参加大数据比赛成为了一个锻炼和提升数据科学技能的好途径。本文将通过具体的案例，介绍在“大数据比赛内容python”中如何运用技术手段和解决方案。
### 背景定位
在大数据比赛中，不同的业务场景需要我们快速、高效地处理和分析大量的数据。以某保险公司的客户数据分析为例，我们需要通过数据挖掘和机器
大数据工程师工作内容取决于你工作在数据流的哪一个环节。 从数据上游到数据下游，大致可以分为： 数据采集 -> 数据清洗 ->数据存储 ->数据分析统计 ->数据可视化等几个方面 工作内容当然就是使用工具组件(Spark、Flume、Kafka等)或者代码(Java、Scala等)来实现上面几个方面的功能。 一、数据采集： 业务系统的埋点代码时刻会产生一些分散的原始
转载
2024-01-25 18:52:42
39阅读
本人在7年前拿到了东北某地区的浪潮公司的大数据技术leader的职位意向，最后考虑了再三决定放弃入职去大
原创
2023-11-17 11:25:45
104阅读
