学习方法：1、如何写博客？给自己的学习留痕迹？markdown语法：给自己的学习做笔记2、如何通过视频学习优质资源？跟紧加速播放功能！potplayer神器、百度云盘3、如何找到有价值的源码资源？github、码云、coding.net的下载4、如何学习权威知识？官网指引，谷歌翻译5、各大学习网站介绍？慕课网、51CTO（开会员）、极客学院、麦子学院（前端）、网易云课堂、哔哩哔...
原创
2021-06-11 09:22:50
315阅读
学习方法： 1、如何写博客？给自己的学习留痕迹？ markdown语法：给自己的学习做笔记 2、如何通过视频学习优质资源？ 跟紧加速播放功能！potplayer神器、百度云盘 3、如何找到有价值的源码资源？ github、码云、coding.net的下载 4、如何学习权威知识？ 官网指引，谷歌翻译 5、各大学习网站介绍？ 慕课网、51CTO（开会员）、极客学院、麦子学院（前端）、网易云课堂、哔哩哔
原创
2022-03-11 17:47:14
235阅读
1.可视化分析大数据分析的使用者有大数据分析专家，同时还有普通用户，但是他们二者对于大数据分析最基本的要求就是可视化分析，因为可视化分析能够直观的呈现大数据特点，同时能够非常容易被读者所接受。2. 数据挖掘算法 大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点3. 预测性分析 大数据分析最终要的应用领域之一就是预测性分析，从大数
转载
2024-05-08 22:20:42
37阅读
大数据领域建模概述 文章目录大数据领域建模概述一、为什么需要数据建模二、关系数据库系统和数据仓库（OLTP和OLAP）定义场景和应用的区别集中度不同三、维度模型建模方法论四、阿里巴巴数据模型实践综述 一、为什么需要数据建模目标：将数据进行有序、有结构地分类组织和存储。 如果把数据看作图书馆里的书，我们希望看到它们在书架上分门别类地放置。数据模型就是数据组织和存储方法，它强调从业务、数据存取和使用角
转载
2023-08-30 20:34:06
237阅读
我们在使用大数据的时候会涉及到很多大数据技术，掌握这些技术是使用大数据的前提。在这篇文章中我们将给大家介绍一下大数据分析和挖掘技术，希望这篇文章能够更好地帮助大家提升大数据技能，学以致用，完全运用到工作当中。首先我们给大家介绍一下大数据分析技术，其实大数据分析技术就是改进已有数据挖掘和机器学习技术。开发数据网络挖掘、特异群组挖掘、图挖掘等新型数据挖掘技术。突破基于对象的数据连接、
转载
2023-08-21 16:56:24
87阅读
加入我们一起学习进步
原创
2022-06-06 16:36:45
308阅读
1. 概述产品设计逻辑和流程可以分为3个环节：用户需求调研梳理、产品设计流程和产品原型及需求文档 数据产品的本质是更好地为用户提供信息服务。数据产品设计的关键点和起点在于深刻准确地把握用户需求，而用户需求的调研需要注意“两个重点，一个难点”：（1）重点①：对象与内容 产品提供给谁？提供什么信息？不同对象所做的决策不同，所需的“信息”内容也就不同。用户需求调研首先应该明确产品使用对象和信息内容。 （
转载
2023-11-30 10:11:58
133阅读
面对虚拟化、非结构化数据等新挑战，昆腾提出的解决思路其实很简单，也很直接，就是区分不同的数据类型和需要，然后采取不同的更有针对性的保护方式。这其实就是今天人们处理大数据的基本思路。 在云计算、大数据等新概念出现后，主存储，也就是在线存储，其性能、可靠性、可管理性、可扩展性等会得到用户更大的关注;二级存储，也就是备份数据，对它的保护和快速、可靠的访问也必须得到应有的重视。举一个简单的例子，当用户的
原创
2014-12-01 16:41:02
690阅读
数据挖掘的过程数据挖掘是一个完整的，反复人以在大数据发现什么东西是最重要的，在发掘中要和客户紧密沟通，使用各种算法，找到...
原创
2022-08-02 15:30:30
301阅读
# 处理大数据文件的思路
在日常的软件开发中，我们经常会遇到需要处理大数据文件的情况。大数据文件通常指的是文件大小超过几个GB的数据文件，对于这种大数据文件，我们需要采取一些特殊的处理方式才能高效地读取和处理数据。
## 思路
在Java中，处理大数据文件的思路通常可以分为以下几个步骤：
1. **分块读取数据**：由于大数据文件的大小超过内存限制，我们无法一次性将整个文件加载到内存中。因
原创
2024-04-22 03:28:43
43阅读
一、去重去重：用布隆过滤器，就是一个bitmap，但是有k个哈希函数，仅当一个数据的k个哈希函数找出的位置全部为1时，才表示这个数据在集合中，但是它也有一定的误判率，会把不存在的判断为存在，宁可错杀1000，不肯放过一个的这种，因此他不适合作0误判的场合，并且删除也不方便，你还不如重建一个布隆过滤器； 它很合适需要迅速判断一个元素是否在一个集合中，比如：爬取URL时，避免爬重；反垃圾邮件
转载
2023-07-27 15:35:54
76阅读
如何使用 SQL 对数据进行分析？ 文章目录如何使用 SQL 对数据进行分析？前言使用 SQL 进行数据分析的几种方式案例：挖掘购物数据中的频繁项集与关联规则使用 MADlib+PostgreSQL 完成购物数据的关联分析开发环境服务器环境使用 Docker 安装 MADlib+PostgreSQL使用 SQL 完成关联规则的调用分析使用 SQL+Python 完成购物数据的关联分析开发环境服务器
转载
2023-11-25 14:35:45
56阅读
文章目录0 前言1 实现目的2 数据集2.2 数据集概况2.3 数据字段3 实现效果3.1 地铁数据整体概况3.2 平均指标3.3 地铁2018年9月开通运营的线路3.4 客流量相关统计3.4.1 线路客流量排行3.4.2 站点客流量排行3.4.3 入站客流排行3.4.4 整体客流随时间变化趋势3.4.5 不同线路客流随时间变化3.4.6 不同线路的客流组成3.5 收入消费指标统计3.5.1 线
转载
2024-02-06 13:03:26
102阅读
TiDB是一套开源分布式HTAP（Hybrid Transactional/Analytical Processing 数据库，同时提供 MySQL 与 Spark SQL 接口。TiDB 作为一款 HTAP 数据库，在高性能的实现 OLTP 特性基础之上，也同时提供基于实时交易数据的实时业务分析需求，来看一下TiDB 的设计思路、现实应用场景，以及 TiDB 集群在部署和运营方面的最佳实践。Pi
转载
2024-01-12 09:02:32
39阅读
一个数据分析师做数据分析的时候经常会遇到一些异常的问题，例如某个指标高了或者低了，然后业务方就会很着急，需要做分析。 通常遇到这种问题，作为分析师的你需要的怎么做，千万不要被业务方的紧张感打乱了阵脚，我们可以遵循以下步骤来一步一步拆解问题，分析问题。 通常的步骤：确定分析的问题及目的->拆解问题->搭建分析框架->采集数据->数据分析->结论输出->业务决策1.
转载
2023-10-23 15:31:47
58阅读
爬虫小分队的终极大任务就是简书大数据，以前也做过一次，阅读量也还可以。前段时后爬取作者的粉丝，这部分...
原创
2022-09-01 16:36:38
106阅读
做了三个完整的大数据项目后，我整理了一下大数据的项目实践思路。这里写下总体思路。假设加油的人多，我愿意将其具体编写为一本书。就叫《大数据项目实践指南》吧？哪个出版社有兴趣的话。能够联系我。徐建明 18971024137为什么大多数企业都实施大数据项目? 1,希望进行更有效的分析，他们认识到由此须要分
转载
2018-01-22 10:12:00
319阅读
2评论
大数据实践：数据指标中心的建设思路
转载
2021-12-13 17:58:24
271阅读
本文约20000字，建议阅读25分钟本文介绍了大数据领域建模的方法。一、大数据领域建模综述1.1 为什么需要数据建模有结构地分类组织和存储是我们面临的一个挑战。数据模型强调从业务、数据存取和使用角度合理存储数据。数据模型方法，以便在性能、成本、效率之间取得最佳平衡。成本：良好的数据模型能极大地减少不必要的数据冗余，也能实现计算结果复用，极大地降低大数据系统中的存储和计算成本。效率：良好的数据模型能
转载
2023-06-07 12:24:44
8768阅读
点赞
大数据可视化其主要目的是借助图形手段，清晰、有效地进行传达与沟通信息，其中，数据的可视化表示被定义为一种以某种形式提取的信息，包括相应信息单元的各种属性和变量。数据可视化起源于图形学、 计算机图形学 、人工智能、科学可视化以及用户界面等领域的相互促进和发展，是当前计算机科学的一个重要研究方向，它利用计算机对抽象信息进行直观的表示，以利于快速检索信息和增强认知能力。数据可视化到底能干什么呢？数据可视
转载
2023-07-29 17:44:01
121阅读
