大家经常听到一个词，叫做“画像”，结合具体对象就是：“用户画像”、“商品画像”、“产品画像”、“资产画像”……特别是大数据时代下，在实际企业中，利用大数据进行“画像”建设是企业经营的基础，建设企业竞争优势重要的工具之一，当然也是大数据在企业应用最价值重要的场景之一。去评价一家企业数据化运营程度，或者说数据驱动程度，或者说是否是用“数据说话”。也许尝试问下面几个问题可以进行评估：1、是否建设了“画像
原创
2021-04-16 13:40:29
365阅读
目录1 连续登陆用户1.1 需求1.2 分析1.3 建表1.4 方案一：自连接过滤实现1.5 方案二：窗口函数实现2 级联累加求和2.1 需求2.2 分析2.3 建表2.4 方案一：自连接分组聚合2.5 方案二：窗口函数实现3 分组TopN3.1 需求3.2 分析3.3 建表
原创
2021-09-19 17:47:19
547阅读
http://developer.51cto.com/art/201508/489733.htm
转载
2016-01-19 18:26:00
141阅读
数据预处理1.数据去重import pandas as pd # 导入pandas库
# 生成重复数据
data1 = ['a', 3]
data2 = ['b', 2]
data3 = ['a', 3]
data4 = ['c', 2]
df = pd.DataFrame([data1, data2, data3, data4], columns=['col1',
'col2'])
print
转载
2023-11-17 19:07:35
132阅读
分布式日志搜集ELKgithub项目地址ELK是ElasticSearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被称为Elastic Stack。其中ElasticSearch是一个基于Lucene、分布式、通过RESTful方式进行交互的接近实时搜索平台框架。类似谷歌、百度这种大数据全文搜索引擎的场景都可以使用ElasticSearch作为底层支持框架，可见Elas
转载
2024-04-24 14:33:36
156阅读
大数据应用的领域我们给大家介绍了很多，我们在上一篇文章中给大家介绍了改善医疗保健和公共卫生、提高体育运动技能、提升科学研究。我们在这篇文章中给大家介绍更多的大数据应用领域。大数据可以提升机械设备性能。大数据使机械设备更加智能化、自动化。现在很多的配备了摄像头、全球定位系统以及强大的计算机和传感器，在无人干预的条件下实现自动驾驶。而且在用户家中安装智能电表，然后登录网站就可实时查看用电情况。智能电
转载
2023-09-25 19:13:03
26阅读
3.3. UDF 开发实例3.3.1. Step 1 创建 Maven 工程 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.a...
原创
2022-03-04 16:39:50
187阅读
3.3. UDF 开发实例3.3.1. Step 1 创建 Maven 工程 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.hive/hive-exec --> <dependency> <groupId>org.a...
原创
2021-08-18 10:39:58
293阅读
简而言之，数据挖掘（Data Mining）是有组织有目的地收集数据，通过分析数据使之成为信息，从而在大量数据中寻找潜在规律以形成规则或知识的技术。在本文中，我们从数据挖掘的实例出发，并以数据挖掘中比较经典的分类算法入手，给读者介绍我们怎样利用数据挖掘的技术解决现实中出现的问题。 数据挖掘是如何解决问题的？ 本节通过几个数据挖掘实际案例来诠释如何通过数据挖掘解决商业中遇到的问题。下面关于“啤酒和
由全样而非抽样进而引申出来的，因为相较于之前的抽样分析我们为什么要追求它的精确性就是因为抽样出现的误差在全部的个体中会被放
原创
2023-08-08 01:05:42
379阅读
如今，大数据完全改变了增强现实(AR)和虚拟现实(VR)的运作方式。增强现实(AR)技术是近年来最令人兴奋的技术发展之一，无数的商业和娱乐应用希望能够被掌握增强现实(AR)技术的企业所利用。 如今，大数据完全改变了增强现实(AR)和虚拟现实(VR)的运作方式。以下是大数据如何改变增强现实，以及为什么这么重要的原因。增强现实(AR)技术是近年来最令人兴奋的技术发展之
转载
2024-07-18 21:13:23
34阅读
一：课程介绍 数据库管理人员如何管理分布式的海量数据，是云计算时代的数据库从业人员面临的核心问题之一，Hadoop提出了解决方案。 本课程从数据库管理人员与系统管理人员的职业角度出发，从动手搭建Hadoop集群环境开始，涉及Hadoop集群的配置、维护、管理、监控、运维、测试、优化等主题，并细致剖析Hive数据仓库集群和优化等主题，帮助传统的数据库管
案例1：阿里巴巴集团
阿里巴巴集团是一家全球领先的大数据平台公司，拥有各种大数据技术和解决方案。该公司使用大数据分析来提供个性化推荐、智能搜索、营销优化等服务，帮助企业提高运营效率和利润。
阿里巴巴的大数据平台可以处理数百亿条数据，包括订单、用户行为、供应链和财务等。通过分析这些数据，阿里巴巴可以为企业提供准确的市场趋势和消费者洞察，帮助企业做出更好的决策。
例如，阿里巴巴的大数据平台可以根据用户
工作了快一个月了，今天简单说一下大数据开发的整个流程。假设就以自己这个公众号为例，这样不会抽象，比较直观。1.数据源前端会对用户行为进行埋点，并上报后端服务器。埋点会记录一些信息，比如：用户 id：标记一个用户，后面可以根据这个算一段时间的 UV（独立访客），也就是 selecct count(distinct uid) from table_name where date >= t1
转载
2023-08-02 17:29:18
135阅读
python 能处理数据库中百万行级的数据吗？处理大规模数据时有那些常用的python库，他们有什么优缺点？适用范围如何？王守崑，推荐系统，数据挖掘需要澄清两点之后才可以比较全面的看这个问题：1. 百万行级不算大数据量，以目前的互联网应用来看，大数据量的起点是10亿条以上。2. 处理的具体含义，如果是数据载入和分发，用python是很高效的；如果是求一些常用的统计量和求一些基本算法的结果，pyth
转载
2023-09-13 16:12:32
71阅读
当下越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都呈现出大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，目前互联网大数据运用的九大领域：1.理解客户、满足客户服务需求 大数据的应用目前在这领域是最广为人知的。通过大数据分析更好的了解客户以及他们的爱好和行为。企业非常喜欢通过在线客服系统搜集用户社交方面的数据、浏览器的日志、各类文本和传感器的数
转载
2023-12-12 22:18:06
14阅读
java 大数的运用 上周参加了icpc的邀请赛，遇到了大数。哎，没想过会出，模板完全没用过，写个大数吧。对大数的认知： 首先大数在java中是一个独立的类，这个类可以说是对计算机数据类型（具有最大最小值）的扩充，在这个类里只要不超过内存限制，可以有无限位。 大数有BigInteger和BigDecimal两
转载
2023-07-17 16:07:18
67阅读
引子： Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用。它能够从各种日志源上收集日志，存储到一个中央存储系统（可以是NFS，分布式文件系统等）上，以便于进行集中统计分析处理。它为日志的“分布式收集，统一处理”提供了一个可扩展的，高容错的方案
原创
2022-05-04 17:47:29
161阅读
在本文中，我们将探讨“系统架构设计大数据分布式应用实例”的实现过程。这个过程包含众多架构设计决策、技术选型、配置细节等方方面面，让我们逐步详细讨论这些内容。
### 环境准备
首先，让我们明确软硬件要求。一般来说，搭建大数据分布式应用需要满足以下硬件和软件要求：
**硬件要求**
- CPU：多核处理器，建议使用8核及以上
- RAM：16GB及以上，推荐64GB以提高性能
- 存储：固态硬
java基本概念1.如果main方法被声明为private会怎样？能正常编译，但运行的时候会提示”main方法不是public的”。2.Java里的传引用和传值的区别是什么？传引用是指传递的是地址而不是值本身，传值则是传递值的一份拷贝。引用作为实参能被修改，传值则不影响原来的值3.Java的”一次编写，处处运行”是如何实现的？Java程序会被编译成字节码组成的class文件，这些字节码可以运行在任
转载
2023-09-11 09:21:14
56阅读
