据悉，联合国大会日前通过决议，将每年2月17日定为旅游业复原力全球日，并呼吁所有国家、组织和个人在每年的2月17日举办相关活动，使公众认识到可持续旅游业的重要性。旅游业具有脆弱性，需要发展具有复原力的旅游业，以应对行业面临的各种冲击。同时，随着国内旅游行业的快速发展，旅游信息化建设渐渐成为很多旅游城市发展的一大趋势。EasyCVR视频融合平台基于云边端协同架构，能支持海量视频的轻量化接入与汇聚管理
经常有人问，大数据分析要如何开始，怎样使用大数据分析去解决实际问题？为了能很好的解决问题，需要退一步思考问题，站在具体的应用场景之中，提出整体的解决方案。大数据以及相关的概念，其根本的目标是为了解决业务问题，即应用场景，这一点我们要时刻记住！虽然大数据的应用场景是从上至下建立的，但是从下而上的解释或许更简单。数据层：毫无疑问，架构的最底层是数据，数据支撑着整个架构。数据库和存储器厂商在这一层竞争激
转载
2023-07-10 16:49:54
66阅读
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一个分布式文件系统，它是为了解决大规模数据存储和处理问题而设计的。HDFS的设计目标是能够在廉价的硬件上存储和处理大规模数据集，并且具有高容错性、高可靠性和高扩展性。HDFS的架构HDFS的架构由两个主要组件组成：NameNode和DataNode。NameNode是HDFS的中心节点，它负责管理文件
转载
2023-09-26 21:38:10
97阅读
大数据的4V特征Google分布式计算的三驾马车Google File System用来解决数据存储的问题，采用N多台廉价的电脑，使用冗余（也就是一份文件保存多份在不同的电脑之上）的方式，来取得读写速度与数据安全并存的结果。Map-Reduce说穿了就是函数式编程，把所有的操作都分成两类，map与reduce，map用来将数据分成多份，分开处理，reduce将处理后的结果进行归并，得到最终的结果。
转载
2024-08-18 09:43:13
29阅读
多图技术贴：深入浅出解析大数据平台架构
目录：什么是大数据Hadoop介绍-HDFS、MR、Hbase大数据平台应用举例-腾讯公司的大数据平台架构“就像望远镜让我们能够感受宇宙，显微镜让我们能够观测微生物一样，大数据正在改变我们的生活以及理解世界的方
转载
2023-09-27 21:50:38
66阅读
转载
2023-06-09 12:32:47
202阅读
HDFS的体系架构 整个Hadoop的体系结构主要是通过HDFS来实现对分布式存储的底层支持，并通过MR来实现对分布式并行任务处理的程序支持。NameNode和若干个DataNode组成的（在最新的Hadoop2.2版本已经实现多个NameNode的配置-这也是一些大公司通过修改hadoop源代码实现的功能，在最新
转载
2023-12-25 07:17:26
108阅读
整个大数据处理的体系，按我的理解可以分为两个部分，一个是分布式存储系统、另一个是分布式计算框架。分布式存储系统主流是HadoopDFS，其他还有Ceph和Swift。分布式计算框架主流是MapReduce，Storm和Spark。
转载
2023-09-03 16:59:14
127阅读
大数据的4V特征公司的“大数据”随着公司业务的增长，大量和流程、规则相关的非结构化数据也爆发式增长。比如：1、业务系统现在平均每天存储20万张图片，磁盘空间每天消耗100G；2、平均每天产...
转载
2021-07-20 16:11:57
213阅读
AMiner平台（https://www.aminer.cn）由清华大学计算机系研发，拥有我国完全自主知识产权。平台包含了超过2.3亿学术论文/专利和1.36亿学者的科技图谱，提供学者评价、专家发现、智能指派、学术地图等科技情报专业化服务。系统2006年上线，吸引了全球220个国家/地区1000多万独立IP访问，数据下载量230万次，年度访问量超过1100万，成为学术搜索和社会网络挖掘研究的重要数
转载
2023-07-26 19:45:58
113阅读
大数据平台架构基于HBase和Spark构建企业级数据处理平台1.1 一站式数据处理平台架构1.2 典型业务场景1.2.1 爬虫+搜索引擎1.2.2 大数据风控系统1.2.3 构建数据仓库(推荐、风控)基于HBase和Spark构建企业级数据处理平台[基于HBase和Spark构建企业级数据处理平台]：阿里云数据库 李伟(沐远) PPT 演讲稿1.1 一站式数据处理平台架构1.2 典型业...
原创
2021-06-05 14:45:23
1143阅读
以Spark作为计算框架的架构
原创
2021-08-31 16:50:39
371阅读
[图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片][图片]
翻译
2021-01-26 16:55:45
841阅读
前面提到各种大数据技术的原理与架构，大数据计算通过将可执行的代码分发到大规模的服务器集群上进行分布式计算，以处理大规模的数据，即所谓的移动计算比移动数据更划算。但是这样的计算方式必然不会很快，即使一个规模不太大的数据集上的一次简单计算，MapReduce也可能需要几分钟，Spark快一点，也至少需要 ...
转载
2021-10-13 15:14:00
285阅读
2评论
大数据分析平台的建设是十分必要了，一方面它可以汇通企业的各个业务系统，从源头打通数据资源，另一方面也可以实现从数据提取、集成到数据清洗、加工、可视化的一站式分析，帮助企业真正从数据中提取价值，提高企业的经营能力。 在搭建数据分析平台之前，要先明确业务需求场景以及用户的需求，通过大数据分析平台，想要得到哪些有价值的信息，需要接入的数据有哪些，明确基于场景业务需求的数据平台要具备的基
转载
2023-07-14 15:37:23
224阅读
大数据 1、概念 大数据：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 大数据主要解决海量数据的采集、存储和分析计算的问题。2、特点 &
转载
2023-07-13 16:21:29
268阅读
导读：大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗层、计算层、数据层四部分。本文主要介绍大数据风控平台。智能风控系统技术架构图大数据平台是智能风控系统技术架构的持久层，但又超越了传统的持久层功能，是以持久层
转载
2023-10-13 13:26:08
185阅读
当前网络与信息安全领域，正在面临多种挑战。一方面，企业和组织安全体系架构日趋复杂，各种类型的安全数据越来越多，随着内控与合规的深入，传统的分析能力明显力不从心，越来越需要分析更多的安全信息、并且要更加快速的做出判定和响应。另一方面，新型威胁的兴起，高级可持续要求有长时间的数据才能分析入侵行为和评估遭受的损失。传统的SIEM很难处理多样化的非结构数据，并且传统的应用/数据库架构局限了系统的性能，
转载
2023-07-12 10:29:56
78阅读
大数据平台的架构和企业级应用的架构是很不一样的，使用的技术也不同。经过多年的发展，业界已孕育出了一些较为成熟的架构模式， 如Lambda架构、Kappa架构及Smack架构。1、Lambda架构Lambda架构是大数据平台里最成熟、最稳定的架构，它的核心思想是：将批处理作业和实时流处理作业分离，各自独立运行，资源互相隔离。 （图片来源于网络）标准的Lambda架构有如下几个层次：（1）B
转载
2023-07-14 15:13:31
195阅读
下面是大数据体系架构图大数据分2个部分，一部分是走实时的，另外一部分是走离线的，不管那块都需要数据来分析从上图来看，数据分为结构化数据（MYSQL,ORACLE等），半结构数据（文件日志），非结构化数据（视频，PPT等）我们一般需要分析的数据 就是结构化的数据和非结构化的数据，非结构化数据可以存HDFS系统。很多专业的东西后面在开博客另讲，先大概了解数据流走向。1，数据收集系统。 &n
转载
2023-07-13 11:25:15
211阅读
