介绍了利用决策树分类，利用随机森林预测，利用对数进行fit，和exp函数还原等。分享知识要点：lubridate包拆解时间 | POSIXlt利用决策树分类，利用随机森林预测利用对数进行fit，和exp函数还原训练集来自Kaggle华盛顿自行车共享计划中的自行车租赁数据，分析共享自行车与天气、时间等关系。数据集共11个变量，10000多行数据。https://www.kaggle.com/c/bi
转载
2023-09-07 18:58:19
107阅读
大家应该都用Python进行过数据分析吧，Pandas简直就是数据处理的第一利器。但是不知道大家有没有试过百万级以上的数据，这时候再用Pandas处理就是相当的慢了。那么对于大数据来说，应该用什么处理呢？在公司的日常工作中，其实会使用Spark来进行大数据分析偏多。企业数据的分析始于读取、过滤和合并来自多个数据源的文件和数据流[1]。Spark数据处理引擎是这方面的佼佼者，可处理各种量级的数据，其
转载
2023-11-17 22:38:00
141阅读
数据能够在国内得到快速发展，甚至是国家层面的支持，最为重要的一点就是我们纯国产大数据处理技术的突破以及跨越式发展。在互联网深刻改变我们的生活、工作方式的当下，数据就成为了最为重要的资料。尤其是数据安全问题就更为突出，前阶段的Facebook用户数据泄漏所引发产生的一系列问题，就充分的说明了数据安全问题的严重性。大数据发展的必然趋势就是将会深刻改变我们的工作和生活方式，无论是企业还是个人也都必然会成
转载
2018-10-09 13:55:23
397阅读
本篇文章主要涉及的知识点有：Hadoop及其生态系统：了解Hadoop的由来以及Hadoop生态系统。Spark的核心概念：掌握Spark的基本概念和架构。Spark基本操作：了解Spark的几种常见操作。SQL in Spark概述：了解Spark相关数据统计可以用SQL来操作。Spark与机器学习：了解Spark MLlib库种的几种机器学习算法。Part 1 Hadoop与生态系统Hadoo
第三章《数据分析实战》--第三章 python实现主要利用分组统计分析了企业某游戏的销售额下降的主要原因。这一章主要利用交叉列表（或叫作透视表）的方式来剖析企业用户数量减少的原因。假设是因为某个群体的用户锐减导致当月用户比上个月的用户数少，因此主要利用python中的pandas、matplotlib模块完成书中分析。1、读取数据、合并数据首先将工作路径设置到数据文件所在位置，具体操作见第三章第一
转载
2023-10-18 09:04:00
150阅读
1.对查询进行优化，应尽量避免全表扫描，首先应考虑在 where 及 order by 涉及的列上建立索引。2.应尽量避免在 where 子句中对字段进行 null 值判断，否则将导致引擎放弃使用索引而进行全表扫描，如：
select id from xuehi.com where num is null
可以在num上设置默认值0，确保表中num列没有null值，然后这样查询：
select i
转载
2023-07-29 18:25:19
74阅读
我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，海量数据处理的三个主要因素：大容量数据、多格式数据和速度， DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中，快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理，编辑，检索和浏览。
原创
2014-06-10 10:39:06
937阅读
我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，海量数据处理的三个主要因素：大容量数据、多格式数据和速度， DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司​研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中，快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理，编辑，检索和浏览。
原创
2014-06-13 18:30:03
863阅读
我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，海量数据处理的三个主要因素：大容量数据、多格式数据和速度， DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中，快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理，编辑，检索和浏览。
原创
2014-06-25 17:17:56
915阅读
前言在日常工作中，数据处理和分析在研发、产品和运营等多个领域起着重要的作用。在海量数据处理和分析中，SQL 是一项基础且重要的能力。一个优秀的 SQL Boy 和茶树姑的 SQL 代码除了保持简单、可读和易于维护的样式风格外，还需要具备良好的执行性能，准确且高效的计算出结果才能让你在工作中决胜于千里之外。影响 SQL 执行性能的主要因素可以总结为如下几项：计算资源量（CPU，内存，网络等）；计算数
转载
2024-04-10 12:53:09
86阅读
大数据工程实战：实时数据流处理一、配置环境1、hadoop伪分布配置2、hbase伪分布配置。创建Flume日志文件。。hbase建表。。mysql建表低版本mysql可能出现的问题二、后端项目三、前端项目四、最后结果 一、配置环境小tips： 删除hadoopcd /usr/local
sudo rm -rf hadoop删除hbasecd /usr/local
sudo rm -rf hba
转载
2023-07-20 17:49:57
59阅读
第一章 Spark 性能调优1.1 常规性能调优1.1.1 常规性能调优一：最优资源配置Spark性能调优的第一步，就是为任务分配更多的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。资源的分配在使用脚本提交Spark任务时进行指定，标准的Spark任务提交脚本如代码清单2-1所示
转载
2023-11-17 11:46:37
141阅读
终极Hadoop大数据教程包含 MapReduce、HDFS、Spark、Flink、Hive、HBase、MongoDB、Cassandra、Kafka 等的数据工程和 Hadoop 教程！课程英文名：The Ultimate Hands-On Hadoop - Tame your Big Data!此视频教程共17.0小时，中英双语字幕，画质清晰无水印，源码附件全下载地址课程编号：307 百度
转载
2023-11-17 20:37:23
232阅读
文章目录2.1 概述2.2 Hadoop项目结构2.3 Hadoop的安装与使用2.4 Hadoop集群 2.1 概述• Hadoop是Apache软件基金会旗下的一个开源分布式计算平台，为用户提供了系统底层细节透明的分布式基础架构 • Hadoop是基于Java语言开发的，具有很好的跨平台特性，并且可以部署在廉价的计算机集群中 • Hadoop的核心是分布式文件系统HDFS（Hadoop Di
转载
2023-08-13 17:57:47
200阅读
作者: Divakar等摘要：大数据解决方案的逻辑层可以帮助定义和分类各个必要的组件，大数据解决方案需要使用这些组件来满足给定业务案例的功能性和非功能性需求。这些逻辑层列出了大数据解决方案的关键组件，包括从各种数据源获取数据的位置，以及向需要洞察的流程、设备和人员提供业务洞察所需的分析。 概述 这个 “大数据架构和模式” 系列的 第 2 部分 介绍了一种评估大数据解决方案可行性的基于维度的方
转载
2023-07-08 15:59:04
171阅读
最近在整理整理java大数据处理这一系列的文章,在网上发现一个java写excel文件的方式,非常的有技巧，并且性能非常高,我在自己机器上简单的操作了一下，感觉非常的棒
这里就把这个方法和大家分享一下，一起讨论一下这种方式的成熟度.
简单说明
转载
2023-07-10 21:16:02
198阅读
目录零、本节学习目标一、Spark的概述（一）Spark的组件1、Spark Core2、Spark SQL3、Spark Streaming4、MLlib5、Graph X6、独立调度器、Yarn、Mesos（二）Spark的发展史1、发展简史2、目前最新版本二、Spark的特点（一）速度快（二）易用性（三）通用性（四）兼容性（五）代码简洁1、采用MR实现词频统计2、采用Spark实
转载
2023-08-08 10:02:29
230阅读
大数据时代：大数据无处不在！ 大数据的主要分析逻辑： 1.做全样而非抽样的分析 2.追求效率 3.追求事件的相关性并非因果 大数据的关键技术 大数据基本处理流程：数据采集、存储管理、处理分析、结果呈现等环节。主要：数据存储与管理（分布式存储）集群 数据处理与分析（分布式处理）集群技术层面： 数据采集与预处理 数据存储和管理 数据处理与分析
转载
2023-07-29 18:56:51
167阅读
目录一、概述1）Spark特点2）Spark适用场景二、Spark核心组件三、Spark专业术语详解1）Application：Spark应用程序2）Driver：驱动程序3）Cluster Manager：资源管理器4）Executor：执行器5）Worker：计算节点6）RDD：弹性分布式数据集7）窄依赖8）宽依赖9）DAG：有向无环图10）DAGScheduler：有向无环图调度器11）Ta
转载
2023-07-18 22:26:12
113阅读
DataFrame是一个以命名列方式组织的分布式数据集。本文详细讲解 Spark Dataframe的创建方式，Dataframe数据的Agg、Collect、Groupby、Join等核心操作，以及Spark SQL操作核心要点。
原创
2022-03-12 12:35:40
8963阅读
点赞
