一、什么是大数据？大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。 二、大数据的数据类型：大数据包括体积庞大，高流速和可扩展的各种数据。它的数据为三种类型。结构化数据：关系数据。半结构化数据：XML数据。非结构化数据：Word, PDF, 文本，媒体日志。 三、大数据两大技术：
操作大数据 这些包括像MongoDB系统，提供
转载
2024-04-09 19:52:32
89阅读
1. 说明 本文并非介绍某个成熟算法或者工具，只是个人的一点感悟，写得可能不正确，不全面，希望能给大家带来一些启发，也欢迎各位回复讨论。2. 特征工程 大数据相关的工作可简要地归纳为：模型部分和数据部分，在模型部分，目前大家的做法主要是拿现成的模型来用，对其做内部修改或重写的很少，主要工作在选型和调参。 相对来说，对数据部分做的工作更多，在比赛中数据都是固定的，且很多时候数据已脱敏，特征工程能做
转载
2024-05-19 20:55:07
17阅读
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大
转载
2023-08-24 15:20:17
118阅读
# 大数据挖掘中的分类技术
在当今社会，大数据已经成为一种重要的资源。企业、政府和科研机构都在努力挖掘数据中的价值。大数据挖掘涵盖了许多技术和方法，其中“分类”是一个关键的技术。本文将介绍大数据挖掘中的分类，包含代码示例以及图示，帮助大家更好地理解这一概念。
## 什么是分类
分类是一种监督学习的过程，目的是根据已标记的训练数据为新的、未知的数据实例分配分类标签。常见的分类方法包括决策树、支
原创
2024-10-23 06:06:04
74阅读
按照大数据应用层次划分，可以把大数据相关技术分为数据收集、数据存储、资源管理、计算框架、数据分析和数据展示这六类，各类代表性组件如下图：
原创
2021-09-28 19:52:16
3898阅读
点赞
1评论
大数据是通过高速捕捉、发现和分析，从大容量数据中获取价值的一种新的技术架构。有四个"V"字开头的特征：Volume（体量大），Velocity（速度快），Variety（种类杂），Value（价值大）。Volume是指大数据巨大的 ... 当“大数据”铺天盖地般向我们
转载
2023-09-22 21:12:43
82阅读
【温馨提示】亲爱的朋友，阅读之前请您点击【关注】，您的支持将是我最大的动力！ 在日常使用Excel处理数据时，相信小伙伴们对于筛选功能已经是不陌生了，Excel筛选功能可以快速有效的帮助我们处理大量的数据，将我们想要的结果一一列出来，是我们分析数据的好帮手。今天小编就来分享一组筛选和高级筛选的使用技巧。先来看看本节教程要学习的目录导图 调出筛选功能的方法：选中表头行，点击【
转载
2024-01-29 22:45:49
99阅读
数据分析之决策树ID3算法什么是分类算法？ 分类算法跟之前的聚类都是让不同对象个体划分到不同的组中的。但是分类不同之处在于类别在运算之前就已经是确定的。 分类是根据训练数据集合，结合某种分类算法，比如这篇讲的ID3算法来生成最终的分类规则，这样当提供一个对象的时候我们可以根据它们的特征将其划分到某个分组中。 决策树ID3算法是分类中的经典算法，决策树的每一层节点依照某一确定程度比较高的属性向
转载
2024-01-16 15:34:50
55阅读
数据分级存储，是指数据客体存放在不同级别的存储设备（磁盘、磁盘阵列、光盘库、磁带库）中，通过分级存储管理
软件实现数据客体在存储设备之间的自动迁移。数据迁移的规则是可以人为控制的，通常是根据数据的访问频率、保留时间、容量、性能要求等因素确定的最佳存储策略。在分级数据存储结构中，磁带库等成本较低的存储资源用来存放访问频率较低的信息，而磁盘或磁盘阵列等成本高、速度快的设备，用来存储经常
转载
2024-04-09 19:52:27
174阅读
如何跟一个非相关性的人解释你是做大数据的，你是做大数据的哪一部分工作，从求职者角度，如何从jd描述中估摸大概率做哪一块，从猎头角度，如何从一份简历中看出你更匹配哪个jd1.相关技术大数据开发的技术名词无非是下面几种，Hadoop,Hive,Spark,Kafka,Sqoop,Flink,Oozie,Hbase,hue但是大数据架构根据每个厂的基础建设不同，可能会有不同的方案，但是总的流程是大致一致
转载
2021-04-07 13:47:20
796阅读
2评论
博客：大数据分类算法深度解析1. 背景大数据的快速增长带来了更多的机会和挑战。分类算法作为机器学习的基石之一，在处理大规模数据时变得尤为重要。其目标是根据已知的数据集，将新数据分配到预定义的类别中。2. 特征提取与预处理在分类算法中，特征提取是非常关键的一步。特征是从原始数据中提取的具有代表性的信息，用于描述数据的属性和特性。有效的特征提取可以帮助算法更好地理解数据，提高分类模型的性能。2.1 数
原创
精选
2024-01-15 08:39:13
1592阅读
# 使用Python进行商品大数据分类的指南
在这个数据驱动的时代，商品大数据的分类对零售和电商行业至关重要。对于刚入行的新手来说，了解流程和关键技术是非常重要的。本文将带你从零开始，实现一个商品大数据分类系统。
## 整体流程
在开始之前，我们首先要明确整个流程。如下表所示，我们将使用四个主要步骤来实施商品分类。
| 步骤 | 描述 |
|------
原创
2024-11-01 08:39:49
341阅读
目前国内外做大数据的厂商依旧分为两类：一类是现在已经有获取大数据能力的公司，他们打算利用自身优势地位冲击大数据领域，将现有安装基础及产品线口碑推广到新一轮技术浪潮当中。如IBM、微软、谷歌、亚马逊、百度、腾讯、阿里巴巴等互联网巨头以及华为、浪潮、中兴等国内领军企业，涵盖了数据采集，数据存储，数据分析，数据可视化以及数据安全等领域;另一类则是初创的大数据公司，他们依赖于大数据工具，针对市场需求，为市
转载
2023-07-10 15:43:03
294阅读
本文实例讲述了jquery实现多条件筛选特效。分享给大家供大家参考。具体如下：jquery实现的多条件搜索表单带日期选择表格表单效果源码，是一段实现了多个条件筛选搜索的特效代码，多条件拥有时间、地点、酒店位置及酒店名称等选项，同时在时间的输入表格中拥有时间选择功能，是一款非常实用的特效代码，值得大家学习。运行效果图：  
转载
2024-09-01 11:10:06
55阅读
通常数据库分为关系型数据库和非关系型数据库，关系型数据库的优势到现在也是无可替代的，比如MySQL、Oracle、SQL Server、DB2、SyBase、Informix、PostgreSQL以及比较小型的Access等等数据库，这些数据库支持复杂的SQL操作和事务机制，适合小量数据读写场景；但是到了大数据时代，人们更多的数据和物联网加入的数据已经超出了关系数据库的承载范围。大数据时代初期，随
转载
2024-06-07 17:54:29
56阅读
数据处理——筛选、高级筛选的应用Excel中筛选分为自动筛选和高级筛选两种，高级筛选是自动筛选的升级，可以设置更多更复杂的筛选条件，而且可以将筛选出的结果输出到指定位置。
高级筛选需要在工作表区域内单独指定筛选条件。高级筛选的条件区域至少包含两行，第一行是列标题，第二行是筛选条件。所有筛选条件组成高级筛选的条件区域。一、自动筛选通过表的筛选按钮进行筛选，通过使用表，可以方便地对数据表中的数据进行排
转载
2023-07-14 14:04:08
215阅读
ZD至顶网软件频道消息：在和客户的沟通中，我们经常会被问到：为什么我们酒店每年拼了命维持住一定的出租率甚至有时还有些提高，但是最终却发现酒店的收入不升反降？如果酒店已经能够达到一个比较高的出租率的话，那么收益管理到底还怎么能帮助酒店继续提高收益呢？为了能够帮助客户寻找提升收益的机会，我们尝试着让客户利用系统的数据对酒店的业务情况进行分析，却发现这些数据中连一些最基本的信息都不够完整。比如，酒店有多
转载
2024-01-16 05:20:00
64阅读
前言今天，Python已经成为每个人首选的语言，特别是当它涉及到无处不在的数据时。在数据分析、可视化、数据挖掘等方面，它从未让任何人失望。它的广大用户的唯一目的是它的外行人的语言，这使它很容易执行各种任务，这是它在过去几年获得流行的原因。作为一种开放源码的编程语言，Python还构建了大量的库，这些库非常适合CPDA数据分析师的工作，这使他们能够毫无麻烦地执行几乎任何任务。Top-5-Python
转载
2023-11-16 14:39:51
35阅读
Python 为数据分析和机器学习提供诸多工具, anaconda 是其中一个著名的科学计算发行版, 包括近200多个工具包, 常见的有 numpy, scipy, pandas, ipython, matplotlib, sklearn 等等conda 是它的一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。包管理与pip的使用类似，环境管理则允许用户方便地安装不同版本的python并
转载
2024-01-09 12:56:13
25阅读
博客：大数据分类算法深度解析1. 背景大数据的快速增长带来了更多的机会和挑战。分类算法作为机器学习的基石之一，在处理大规模数据时变得尤为重要。其目标是根据已知的数据集，将新数据分配到预定义的类别中。2. 特征提取与预处理在分类算法中，特征提取是非常关键的一步。特征是从原始数据中提取的具有代表性的信息，用于描述数据的属性和特性。有效的特征提取可以帮助算法更好地理解数据，提高分类模型的性能。2.1 数
原创
精选
2024-01-13 08:16:16
2037阅读
点赞
