近期，comSysto公司分享了该公司研发团队利用Spark平台解决Kaggle竞赛问题的经历，为Spark等平台应用于数据科学领域提供了借鉴。主办方提供了一个包含5万个匿名驾驶员线路的数据集，竞赛的目的是根据路线研发出一个驾驶类型的算法类签名，来表征驾驶员的特征。例如，驾驶员是否长距离驾驶?短距离驾驶?高速驾驶?回头路?是否从某些站点急剧加速?是否高速转弯?所有这些问题的答案形成了表征驾驶员特征
导读：在互联网步入大数据时代后，用户行为给企业的产品和服务带来了一系列的改变和重塑，其中最大的变化在于，用户
转载
2022-07-04 09:58:58
1004阅读
# Hadoop如何做用户画像
## 介绍
用户画像是通过收集和分析用户的行为数据，以了解用户的兴趣、偏好和行为特征的技术。Hadoop作为一个分布式数据处理框架，可以帮助我们对海量的用户数据进行处理和分析，从而实现用户画像的生成。
本文将介绍使用Hadoop进行用户画像生成的步骤和相关代码示例。首先，我们将讨论用户画像的定义和构建过程，然后介绍如何使用Hadoop进行数据处理和分析，最后给出
原创
2023-10-03 10:38:13
162阅读
一、spark概述1.1、定义Spark是一种基于内存的快速、通用可扩展的的大数据分析引擎。1.2、历史 1.3、spark特点1）、运行速度快：与Hadoop的MR相比，Spark基于内存的运算要快100倍以上，基于硬盘的计算也快10倍以上。使用DAG（有向无环图）执行引擎以支持循环数据流与内存计算。计算结果存放于内存中，2）、易用性好：支持使用Scala、ja
转载
2023-06-19 06:47:45
121阅读
# 项目方案：利用Spark进行数据清洗
## 1. 背景介绍
在大数据时代，数据清洗是数据处理过程中至关重要的一环。Spark作为一个高效的大数据处理框架，提供了丰富的API和功能，可以帮助我们高效地进行数据清洗工作。本项目将利用Spark来进行数据清洗，以提高数据质量和准确性。
## 2. 项目目标
本项目的主要目标是利用Spark进行数据清洗，包括数据去重、缺失值处理、异常值处理等，
原创
2024-04-29 06:07:44
182阅读
我们知道Spark2.0 ，Spark 1.6还有Spark 1.5 三者之间版本是不兼容的，尤其
原创
2023-03-15 07:30:11
78阅读
# 使用Spark进行机器学习：解决客户流失预测问题
在当今数据驱动的时代，企业越来越多地依赖于数据分析和机器学习来做出明智的决策。Apache Spark作为一个高效的大数据处理框架，为机器学习提供了强大的支持。本文章将探讨如何使用Spark MLlib进行客户流失预测。我们将通过实际示例来展示如何实现这一目标。
## 问题描述
客户流失是许多企业面临的一个重要问题。对于电信公司而言，客户
中午和一前同事一起用餐，发现还是有很多碰撞点的。交流了很多正在做的事情，对方也提供了非常多的思想值得自己很好的思考。先是和他聊了下我们现在做内容标签的进展，其实就是在做内容画像。我们一般都是在谈用户画像，其实内容也是要画像的。我之前说，内容和用户是现在互联网企业核心的两个东西，用户的行为则将内容和用户连接了起来。很多人一上来，撸起袖子就开始做用户画...
原创
2023-03-16 17:47:45
41阅读
一、数据准备主要用到两个数据文件： action.txt ， document.txt 。 下表为 action.txt ，数据格式： userid docid behaivor time ip ，即： 用户编码 文档编码 行为 日期IP地址下表为 document.txt ，数据格式： docid channelname source keyword:score ，即： 文档编码 类别（大类）
转载
2023-09-27 19:42:41
106阅读
Spark core简单wordcount案例spark文件基本流程1、创建spark环境//配置spark对象val conf = new SparkConf()//设置任务名conf.setAppName(“wordcount”)//指定spark代码运行方式，local：本地测试conf.setMaster(“local”)//spark 上下文对象 用于数据读取（后面使用sparksql的
转载
2023-10-14 21:57:23
135阅读
先来一张图，看看今天说的是什么问题。这个问题来自我的知识星球星友，个人觉得这个问题很具有代表性，所以在这里分享一下，以后这样的机会可能就不多了。1 学习是一个怎样的过程前几天我的朋友圈发过下面这张图，用来看似调侃知识多学不完，但实际的意义和我们学什么没有太大的关系，而是重点突出学习这个过程的本质：以慢为快。另外提醒大家一点，在这个知识付费的时代里，标题党横行，利用缩短周期企图速成的方法来诱惑你
原创
2021-05-18 10:06:12
569阅读
一、Streaming与Flume的联调Spark 2.2.0 对应于 Flume 1.6.0 两种模式： 1. Flume-style push-based approach： Flume推送数据給Streaming Streaming的receiver作为Flume的Avro agent Spark workers应该跑在Flume这台机器上&
转载
2024-08-14 19:18:09
86阅读
最近几天，连续有几位朋友托我寻找某些专业人才，也有几位朋友托我帮助找工作。一来一往，简历见了不少，最终，得到一个结论：大部分人不会做简历。尽管我的跳槽经历不多，但我有不少求职经历。同样的，我也有不少的招聘经验。同样的，我也帮助别人修改/优化了不少简历，最终他们都找到了不错的工作。同 样的，我投简历获得面试的机会是80%以上(这也是我跳槽经历不多，但求职经历较多的原因。)。因此，前面这番话除了吹牛之
转载
精选
2005-12-01 13:14:41
1970阅读
1评论
如何做领导
从今日起，我准备将我收获的一些心得写到博客里，以便将来提醒自己。
只所以选择这个选题是因为我对如何当领导有些想法……
看过易
原创
2007-08-04 17:58:53
1147阅读
3评论
什么是需求分析？ 通俗的讲，对用户的意图不断揭示和验叛的过程，要对经过系统可行性分析所确定的系统目标做更为详细的描述。 假如你是个建筑工程师，有个客户找你建一个鸡窝，这个时候要需要与客户沟通，来确定客户到底想要一个什么样子的鸡窝。我们应该注意三点： 1 . 准确的理解和描述客户需要的功能。 客户说，
原创
2022-12-15 09:45:04
241阅读
删数据的两个例子清理系统多余的流程相关表数据清理系统不必要的系统菜单 什么？删库跑路的时候，居然发现 delete 脚本执行不了？别慌！那是因为数据和数据之间是有关联的！以上是个玩笑；但是以下脚本，可以很顺利的清理一些垃圾数据。前提是操作人要捋清楚表和表的关联关系，做这件事情的好处，可不仅仅是给系统数据库瘦身，同时还会增强你对整个业务系统数据结构的理解，将同一业务的全部数据库表，用 select
转载
2023-10-10 21:34:43
81阅读
编制目录最简单的方法是使用内置的大纲级别格式或标题样式。如果已经使用了大纲级别或内置标题样式，请按下列步骤操作： 1.单击要插入目录的位置。 2.指向“插入“菜单上的“引用“，再单击“索引和目录“。 3.单击“目录“选项卡。 4.若要使用现有的设计，请在“格式“框中单击进行选择。 5.根据需要，选择其他与目录有关的选项。 如果目前未使用大纲级别
转载
精选
2010-04-12 14:35:42
1217阅读
小时候，我们选择跟谁一起玩儿。考上大学后，我们选择去哪所学校、学什么专业。毕业后，我们选择去哪座城市工作。人生的过程大概就是一个做选择的过程，可见选择的重要性！如何做选择也成为了一个极其重要的话题！那么如何做选择呢？我给大家7点建议：第一点：生命是宝贵的，我们必须珍惜时间。假如我们的生命毫无价值，我们不需要做任何选择，随波逐流即可。痛苦就让他痛苦吧，饥饿就让他饥饿吧，空虚就让它空虚吧。之所以我们要
原创
2023-02-23 00:02:58
283阅读
