大数据：实际使用案例 让Hadoop和其他大数据技术如此引人注目的部分原因是，他们让企业找到问题的答案，而在此之前他们甚至不知道问题是什么。这可能会产生引出新产品的想法，或者帮助确定改善运营效率的方法。不过，也有一些已经明确的大数据用例，无论是互联网巨头如谷歌，Facebook和LinkedIn还是更多的传统企业。它们包括：推荐引擎：网络资源和在线零售商使用Hadoop根据用户的个人资
转载
2023-11-16 13:38:01
9阅读
互联网 -> 推荐系统 (实时推荐) 长尾理论: 冷门商品销售额甚至可能超过热门商品，推荐长尾商品给“需要”的用户。需要通过挖掘，获得用户特征（个性化推荐）。 推荐方法: 专家推荐：领域专家，人为推荐 统计推荐: 热门排行榜 基于内容推荐： 挖掘物品特征，推荐与它相似的产品 协同过滤推荐： 用户 A
转载
2020-02-29 21:07:00
178阅读
目前大数据技术被广泛应用在各个领域，它产生于互联网领域，并逐步推广到电信、医疗、金融、交通等领域，大数据技术在众多行业中产生了实用价值。
原创
2022-10-22 20:41:47
1897阅读
点赞
在当今大数据时代，Storm作为一种流行的分布式实时计算框架，被广泛应用于实时数据处理、实时分析、在线机器学习等场景。然而，在实际应用中，我也遇到了一些与Storm相关的问题。这些问题不仅影响到业务的稳定性，还可能导致客户体验受损。在这篇博文中，我将详细记录解决大数据Storm应用场景中出现问题的过程与经验。
## 问题背景
在某个实时数据处理的项目中，Storm集群的稳定性不时受到影响，导致
随着智能仓储技术的发展，大数据分析在智能仓储中的应用越来越广泛。以下是一些智能仓储大数据应用场景：一、货物跟踪与管理智能仓储可以通过RFID、条码等技术对货物进行标识和跟踪，从而实现货物的实时监控和管理。通过大数据分析，可以对货物的流向、存储、运输等信息进行分析和预测，帮助仓储管理者及时发现问题，优化仓储流程，提高仓储效率。二、运输路线优化智能仓储可以通过大数据分析，对货物的运输路线进行优化。通过
原创
2023-04-06 09:25:27
261阅读
文章目录1 HBase 简介1.1 HBase 定义1.2 HBase 数据模型1.2.1 HBase 逻辑结构1.2.2 HBase 物理存储结构1.2.3 数据模型1.3 HBase 基本架构2 HBase 快速入门2.1 HBase 安装部署2.2 HBase Shell 操作2.2.1 基本操作2.2.2 表的操作3 HBase 进阶3.1 架构原理3.2 写流程3.3 MemStore
转载
2023-08-07 14:04:59
109阅读
HBase概述HBase是一个分布式存储、数据库引擎，可以支持千万的QPS、PB级别的存储，这些都已经在生产环境验证，并且在广大的公司已经验证。特别是阿里、小米、京东、滴滴内部都有数千、上万台的HBase集群。选择一个技术的首要条件是对齐大公司，大公司会投入大量的人力去维护、改进、贡献社区。 关于NewSQL与NoSQL的关系技术总是不断向前发展的，如今都在提NewSQL，其实NewSQ
转载
2023-07-12 10:28:46
34阅读
# 大数据可视化应用场景的实现流程
在如今这个数据驱动的时代，大数据可视化应用场景正变得越来越重要。作为一名刚入行的小白，您可能会感到无从下手，但不用担心！本文将为您提供一个系统的实现流程，帮助您一步步搭建大数据可视化应用。
## 流程概述
以下是构建大数据可视化应用的流程概述：
| 步骤 | 描述 |
|------|-------------
原创
2024-09-25 08:07:40
30阅读
图解大数据应用场景~
原创
2021-08-11 15:19:38
450阅读
在大数据时代，数据存储方案的选择直接影响系统性能和业务扩展性。HBase和MongoDB作为两款流行的分布式存储系统，各自在不同场景中展现出独特优势。HBase以强一致性和高写入性能著称，MongoDB则以灵活的文档模型和易用性赢得青睐。本文将从技术特性、性能表现和实战案例三个维度，解析这两种数据库的适用场景，为实际项目选型提供参考。一、技术特性对比HBase和MongoDB在数据模型、一致性模型
业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比， 在应用场景方面， RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。 kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据
大数据采集可以细分为数据抽取、数据清洗、数据集成、数据转换等过程，将分散、零乱、不统一的数据整合到一起，以一种结构化、可分析的形态加载到数据仓库中，从而为后续的数据使用奠定坚实基础。数据采集可以分为内部采集与外部采集两个方面。（1）离线数据采集技术，首先要是基于文件的数据采集系统、日志收集系统等，代表性的工具有Facebook公司开发的Scribe、Clo
原创
2022-10-10 17:48:05
534阅读
1. 命名服务 命名服务是分布式系统中较为常见的一类场景，分布式系统中，被命名的实体通常可以是集群中的机器、提供的服务地址或者远程对象， 通过命名服务，客户端可以根据指定名字来获取资源的实体、服务地址和提供者的信息。Zookeeper可以帮助应用系统通过资源引用的方式来 实现对资源的定位和使用。Zookeeper 也可帮助应用系统通过资源引用的方 式来实现对资源的定位和使用，广义上
原创
2018-12-27 21:19:45
2525阅读
大数据的应用场景有「数据分析预测」、「精准推荐」、「大数据风控」等。你知道下图的哪个属于哪种应用场景吗？留言
转载
2022-05-11 23:16:41
617阅读
大数据算法模型在多个领域具有广泛的应用。根据不同的业务需求，选择合适的算法模型能够帮助企业挖掘数据背后的价值，优化
Storm是什么？Storm是大数据实时计算框架。实时计算最重要的一个需求就是能够实时的响应计算的结果，一般要求为秒级。实时计算一般可以分为以下两个应用场景：1.数据源是实时的不间断的，要求对用户的响应时间也是实时的。（主要用于互联网流式数据处理。活跃的流式数据非常常见，譬如一些大网站的访问PV/UV，用户访问了什么内容，搜索了什么内容等。实时的数据计算和分析可以动态实时的刷新用户的访问数据，展示
转载
2023-12-06 17:06:43
33阅读
从业务的角度看，企业级大数据平台功能可细分为查询检索、数据挖掘、统计分析、深度分析，其中深度分析分为机器学习和神经网络。 从技术的角度看，企业级大数据平台功能细分为Batch、SQL、流式处理、machine learning、Deep learning。 企业的数据一部分来自于本身的业务数据，比如
转载
2020-12-15 17:58:00
168阅读
2评论
如今硬件的性价比越来越高，网络传输速度越来越快，数据库分层的趋势逐渐显现，人们已经不再强求用一个解决方案来解决所有的存储问题，而是通过分层，让缓存与数据库负责各自擅长的业务场景。黄东旭提到，当前数据库领域面临各种问题，如在缩放、一致性、大数据分析、与云基础架构集成等方面均存在诸多问题，现有的数据库解决方案和大数据分析引擎解决方案基本处于割裂的状态，由于 Oracle、MySQL 数据库并不是面向分
转载
2023-12-10 02:19:11
166阅读
大数据 vs 传统数据：核心差异与应用场景（从技术架构、处理方式到行业实践的全方位对比）一、核心差异对比维度传统数据大数据数据规模GB~TB级TBPBEB级数据类型结构化为主（表格、关系型数据库）结构化+半结构化+非结构化（文本、图像、日志）处理速度批处理（小时/天级）实时/近实时（秒/毫秒级）技术栈单机数据库（MySQL/Oracle）分布式系统（Hadoop/Spark/Flink）存储成本高
引言HBase是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，适用于结构化的存储，底层依赖于Hado
转载
2022-01-04 10:29:00
317阅读
