大数据是信息化发展到一定周期的产物。伴随着信息技术和人类生产生活深度融合，互联网迅速普及，全世界数据呈爆发增长、海量集聚的特征，对经济增长、社会进步、国家整治、群众生活都产生了重大影响。我国大数据发展有着特有优势综观全球，我国大数据发展有着特有优势。我国大数据发展总体上仍处于起步时期。尽管迅速发展的局势基本形成，但在数据开放分享、关键技术提升、以大数据驱动转型等领域都遭遇重重挑战。在推进施行国家大
转载
2024-09-09 09:34:06
89阅读
作者颜卫，腾讯高级后台开发工程师，专注于Kubernetes大规模集群管理和资源调度，有过万级集群的管理运维经验。目前负责腾讯云TKE大规模Kubernetes集群的大数据应用托管服务。大数据的发展历史大数据技术起源于Google在2004年前后发表的三篇论文，分布式文件系统GFS、分布式计算框架MapReduce和NoSQL数据库系统BigTable，俗称"三驾马车"。在论文发表后，Lucene
转载
2024-07-31 23:47:05
108阅读
我们在前面的文章中给大家介绍的使用大数据的医疗优势的具体内容，其实大数据的应用场景并不是局限于医疗方面，在零售方面也是可以给人们带来极大的方便的。那么在零售业方面大数据还能够给人们带来什么好处呢？我们在这篇文章中给大家详细解答一下。如果在零售方面使用了大数据，那么这样就能够了解了人们的购物意图。一般来说，零售行业大数据应用有两个层面，一个层面是零售行业可以了解客户消费喜好和趋势，进行商品的精准营
第四阶段：Hadoop部署第一步：上传压缩包并解压将hadoop包上传到第一台服务器并解压 第一台机器执行以下命令 cd /bigdata/soft/
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C /bigdata/install/第二步：查看hadoop支持的压缩方式以及本地库第一台机器执行以下命令cd /bigdata/ins
转载
2024-06-11 22:48:36
73阅读
## 大数据平台产品架构
在当今信息时代，数据的价值愈发凸显，大数据平台成为各个企业不可或缺的重要组成部分。大数据平台产品架构设计是实现高效数据管理和分析的关键，下面就介绍一种常见的大数据平台产品架构。
### 架构设计
大数据平台产品架构主要由数据采集、数据存储、数据处理和数据分析四个模块组成。其中数据采集模块负责从不同数据源采集数据，数据存储模块用于存储大量数据，数据处理模块对数据进行清
原创
2024-05-19 04:51:52
114阅读
本篇博客重点介绍如何使用Kylin来构建大数据分析平台。根据官网介绍，其实部署Kylin非常简单，称为非侵入式安装，也就是不需要去修改已有的Hadoop大数据平台。你只需要根据的环境下载适合的Kylin安装包，选择一个Hadoop节点部署即可，Kylin使用标准的Hadoop API跟各个组件进行通信，不需要对现有的Hadoop安装额外的Agent。最底层是数据来源层，我们可以通过Sqoop等工具
转载
2023-07-15 13:58:12
271阅读
CAICT 中国信通院 网络研究院 大数据平台安全伴随着大数据平台而生。随着互联网和大数据应用的普及，新闻头条上发布的数据泄露、滥用、诈骗层出不穷，引发了一系列发人深思的社会事件和问题。
转载
2023-11-17 23:11:33
41阅读
01、微服务的悖论Gianna作为高级软件工程师加入了Avidoo公司，这是一家生产力平台。在与其他团队的会议上，她提出了微服务的问题，以及团队是否开始采用。她立即得到了强烈的反应。拜伦表示：“我们尝试过采用微服务，但是它们不起作用。“这带来了可怕的混乱！”另一位同事补充说。Gianna三次眨巴眼睛，期待着某种阐述，但没有一个往下接着说。Gianna沉默了一会儿，问：“发生了什么事？
大数据（big data），是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。 大数据的4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）。 从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。大数据必然无法用单台的计算机进行处理，必须采用分布式计算架构。它的特色在于对海量数据的挖掘，但它必须依托云计
大数据平台生产环境部署指南@(Hadoop)总结一下在生产环境部署Hadoop+Spark+HBase+Hue等产品遇到的问题、提高效率的方法和相关的配置。集群规划假设现在生产环境的信息如下：服务器数量：6操作系统：Centos7Master节点数：2Zookeeper节点数：3Slave节点数：4划分各个机器的角色如下：主机名角色运行进程hadoop1MasterNamenodehadoop2M
转载
2023-10-17 12:52:53
311阅读
"大数据容器化"——大数据平台的下一次变革
转载
2021-06-13 21:46:56
206阅读
大数据-Hadoop是什么，如何部署1.是什么？2.架构2.1 HDFS(分布式文件系统)2.1.1NameNode（简称nn）2.1.2DataNode（dn）2.1.3Secondary NameNode（2NN）2.2 YARN（资源管理器/协调者）2.2.1 Resource Manager2.2.2 NodeManager2.2.3 AppllicationMaster2.3 MapR
转载
2024-10-22 07:39:09
29阅读
1.MaxComputer（原ODPS） 是一项大数据计算服务，提供PB级数仓解决方案和分析建模服务，主要服务于批量结构化数据的存储和计算。2.RDS稳定可靠、可弹性伸缩的在线数据库服务，提供了容灾、备份、恢复、监控、迁移等全套解决方案。3.ADS海量数据实时高并发在线分析云计算服务，海量数据，极速响应4.DataBridge数据集成工具，主要完成数据迁移、数据清洗以及实时高速集成5.DataH
转载
2023-07-24 22:16:29
130阅读
1、环境规划主机IP实例名PORT_NUMMAL_INST_DW_PORTMAL_PORTMAL_DW_PORT主机A主192.168.142.75EP115236524653375347备192.168.142.75EP225237524753385348主机B主192.168.142.76EP125236524653375347备192.168.142.76EP2152375247533853
转载
2024-07-15 16:41:55
17阅读
随着大数据的日益普及，很多人对大数据越来越感兴趣，有些程序开发者也跃跃欲试，但是苦于不会搭建集群环境，而常常被拦在大数据的门槛之外。通过这次疫情，我相信各位也看见了，大数据真的很重要。从患者数字地图，到疑似患者追踪，再到可视化，都体现着大数据的作用，我也相信，在未来的5-10年里，大数据会有非常非常多的应用与发展。大数据里最难的就是怎么保持数据查询的稳定性，那么集群就很重要了。先来给大家讲讲集群吧
转载
2024-03-15 11:59:02
74阅读
2018年11月30日，为期两天的数据中心联盟第七批大数据产品评测结果评审会圆满结束。本期测评，百度4款大数据产品：时序数据库TSDB数据仓库Palo（现已更名Doris，Apache孵化中）数据科学与机器学习平台Jarvis分布式事务数据库TafDB全部顺利完成测评，获得权威认证。其中，时序数据库TSDB、分布式事务数据库TafDB均是全国首批参与相关标准测评并通过的产品。作为大数据领域重要的行
一、大数据平台大数据在工作中的应用有三种：与决策相关，数据科学的领域，了解统计学、算法，这是数据科学家的范畴；与工程相关，如何实施、如何实现、解决什么业务问题，这是数据工程师的工作。数据工程师在业务和数据科学家之间搭建起实践的桥梁。本文要分享的大数据平台架构技术选型及场景运用偏向于工程方面。如图所示，大数据平台第一个要素就是数据源，我们要处理的数据源往往是在业务系统上，数据分析的时候可能不会直接对
转载
2024-04-30 22:16:05
297阅读
通过 Azure Pipelines 实现持续集成之docker容器化及自动化部署IntroAzure DevOps Pipeline 现在对于公开的项目完全免费，这对于开源项目来讲无疑是个巨大的好消息，在 Github 的 Marketplace 里有个 Azure Pipeline，就是微软的 Azure DevOps Pipeline。实现 Docker 容器化的持续集成实现的目标：push
转载
2024-07-03 22:20:11
70阅读
Dcoker概述Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架或包装系统。 Docker是dotClou
原创
2017-08-22 09:36:09
1304阅读
点赞
1评论
高颜分布式实验室海航舆情监控系统能够为海航集团内部提供监控网络舆情信息，对负面信息、重大舆情及时预警，研判具体舆情或者某一舆情专题事件的发展变化趋势，生成图标报告和各种统计数据，提高舆情工作效率和辅助领导决策。然而，随着项目的持续运行，许多问题逐渐暴露出来，为了解决这些难题，对整个项目重新规划设计，迁移到Hadoop、Spark大数据平台，引进持续化Docker容器部署和发布，开发和运营效率得到显
原创
2021-05-23 09:51:26
221阅读
