在大数据的商业应用中，电子商务行业首当其冲，亚马逊、eBay、1号店等电子商务企业通过对顾客的行为进行分析，了解顾客的偏好，并将其运用到内部运营和外部广告投放与促销等市场运营中，从而提高运营效率，降低营销成本，提升销售额。 从大数据技术进入大数据管理与应用，表明其正逐步完善其
转载
2024-01-06 22:34:22
14阅读
大家经常听到一个词，叫做“画像”，结合具体对象就是：“用户画像”、“商品画像”、“产品画像”、“资产画像”……特别是大数据时代下，在实际企业中，利用大数据进行“画像”建设是企业经营的基础，建设企业竞争优势重要的工具之一，当然也是大数据在企业应用最价值重要的场景之一。去评价一家企业数据化运营程度，或者说数据驱动程度，或者说是否是用“数据说话”。也许尝试问下面几个问题可以进行评估：1、是否建设了“画像
原创
2021-04-16 13:40:29
365阅读
目录1 连续登陆用户1.1 需求1.2 分析1.3 建表1.4 方案一：自连接过滤实现1.5 方案二：窗口函数实现2 级联累加求和2.1 需求2.2 分析2.3 建表2.4 方案一：自连接分组聚合2.5 方案二：窗口函数实现3 分组TopN3.1 需求3.2 分析3.3 建表
原创
2021-09-19 17:47:19
547阅读
一、什么是kafka？Kafka是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等。主要应用场景是：日志收集系统和消息系统。举个例子，生产者生产鸡蛋，消费者消费鸡蛋，生产者生产一个鸡蛋，消费者就消费一个鸡蛋，假设消费者消费鸡蛋的时候噎住了（系统宕机了），生产者还在生产鸡蛋，那新生产的
转载
2024-04-18 21:10:33
18阅读
kafka是一个分布式的基于发布/订阅模式的消息队列，主要应用于大数据实时处理领域。2消息队列的两种模式1、点对点模式(一对一，消费者主动拉取数据，
原创
2021-04-25 22:58:17
326阅读
Kafka在大数据处理中的应用一、Kafka简介1. 基础概念2. Kafka的主要功能3. Kafka的特点二、应用场景1. 数据采集和消费2. 数据存储和持久化3. 实时数据处理和流计算4. 数据通信和协同三、技术融合1. Kafka与Hadoop生态技术的融合1) 使用Kafka作为Hadoop的数据源2) 使用Hadoop作为Kafka的消费者2. Kafka与Spark、Flink等流
转载
2024-07-05 18:44:34
65阅读
v/zookeeper-3...
原创
2023-05-11 10:22:28
173阅读
业界对于消息的传递有多种方案和产品，本文就比较有代表性的两个MQ(rabbitMQ,kafka)进行阐述和做简单的对比， 在应用场景方面， RabbitMQ,遵循AMQP协议，由内在高并发的erlanng语言开发，用在实时的对可靠性要求比较高的消息传递上。 kafka是Linkedin于2010年12月份开源的消息发布订阅系统,它主要用于处理活跃的流式数据
一、kafka基本概念
原创
2021-12-04 17:49:47
331阅读
前言现如今，经济行业进入了大数据时代，在大多数商业领域中，新客户的获取能力成为业务发展的重要指标。许多企业处于转型阶段，在以往的销售环节中，依靠电话黄页、广告，活动，网络搜索或朋友推荐的传统销售模式已触及瓶颈，很多潜在客户并没有真实的需求，在后续跟进中转化率非常低，使得企业获客成本越来越高，实际转化率并没有达到预期目标。在企业获客方面，大数据营销拓客系统结合AI智能电话机器人的营销使企业的获客效率
转载
2024-07-25 21:33:29
21阅读
随着大数据时代的到来，越来越多的企业开始关注如何构建高可靠、高性能、高扩展性的大数据架构。Kafka作为一款分布式流处理平台，广泛应用于大数据领域中的数据传输和处理。在本文中，我们将介绍如何利用Kafka实现大数据架构，并为刚入行的小白提供详细指导。
**步骤概览：**
| 步骤 | 描述 |
|------|------|
| 1. | 安装和配置Kafka集群 |
| 2. | 创
原创
2024-04-24 12:07:02
71阅读
原标题：Kafka如何做到1秒处理1500万条消息？Apache Kafka 是一款流行的分布式数据流平台，它已经广泛地被诸如 New Relic（数据智能平台）、Uber、Square（移动支付公司）等大型公司用来构建可扩展的、高吞吐量的、且高可靠的实时数据流系统。例如，在 New Relic 的生产环境中，Kafka 群集每秒能够处理超过 1500 万条消息，而且其数据聚合率接近 1Tbps。
Kafka Stream实时流案例和Flume搭配Kafka联用从一个topic的数据进入另一个topic中利用实时流实现WordCount功能利用实时流实现sum求和功能把数据从Flume传输到Kafka的一个topic中，再操作后传输到另一个topic中UserFriendsEvent_attendees 从一个topic的数据进入另一个topic中创建maven工程添加依赖包depende
转载
2024-07-30 08:34:37
31阅读
http://developer.51cto.com/art/201508/489733.htm
转载
2016-01-19 18:26:00
141阅读
数据预处理1.数据去重import pandas as pd # 导入pandas库
# 生成重复数据
data1 = ['a', 3]
data2 = ['b', 2]
data3 = ['a', 3]
data4 = ['c', 2]
df = pd.DataFrame([data1, data2, data3, data4], columns=['col1',
'col2'])
print
转载
2023-11-17 19:07:35
132阅读
首先我们来看一个典型的互联网大数据平台的架构，如下图所示：在这张架构图中，大数据平台里面向用户的在线业务处理组件用褐色标示出来，这部分是属于互联网在线应用的部分，其他蓝色的部分属于大数据相关组件，使用开源大数据产品或者自己开发相关大数据组件。你可以看到，大数据平台由上到下，可分为三个部分：数据采集、数据处理、数据输出与展示。数据采集将应用程序产生的数据和日志等同步到大数据系统中，由于数据源不同，这
转载
2024-02-15 18:02:33
30阅读
Kafka概述 和消息系统类似 消息中间件：生产者和消费者 妈妈：生产者 你：消费者 馒头：数据流、消
原创
2022-09-18 02:12:15
131阅读
目录一、Broker配置信息 二、Producer配置信息三、Consumer配置信息一、Broker配置信息属性默认值描述broker.id 必填参数，broker的唯一标识log.dirs/tmp/kafka-logsKafka数据存放的目录。可以指定多个目录，中间用逗号分隔，当新partition被创建的时会被存放到当前存放partition最少的目录。port9092B
Apache Kafka 是一種发布-订阅消息的分布式系统.能够将消息归类为不同主题.应用程序能在Kafka上发布信息,或订阅主题进而接受特定主题下发布的消息.Producer发布消息,而Consumer收集并处理消息.作为分布式系统,Kafka在集群中运行,每个节点被称为Broker.Kafka维护每个主题的分区日志.消息会发布到相应的主题中,每个分区都是一个有序的消息子集.同一个主题的多个分区
1、简介Kafka Eagle是一款用于监控和管理Apache Kafka的完全开源系统，目前托管在Github，由笔者和一些开源爱好者共同维护。它提供了完善的管理页面，很方面的去管理和可视化Kafka集群的一些信息，例如Broker详情、性能指标趋势、Topic集合、消费者信息等。功能介绍Kafka Eagle监控管理系统，提供了一个可视化页面，使用者可以拥有不同的角色，例如管理员、开发者、游客
转载
2024-02-23 14:03:10
54阅读
