在每个人的日常工作和生活中，最常用的数据分析工具是excel。实际上，对于那些专门从事数据分析的人来说，除了excel之外，数据分析工具还有许多更专业的软件。 数据存储层：Access，SQL Server，Oracle； 报表层：水晶报表，BI级工具，当然，BI工具不仅仅是简单的报表工具； 数据分析层：SPSS软件，SAS软件。 那么，
# HBase适合做数据分析吗？
## 概述
HBase是一个分布式、可扩展、面向列的NoSQL数据库，它基于Hadoop分布式文件系统（HDFS）构建。HBase是在Google的Bigtable论文的启发下，由Apache开发的一个开源项目。由于其高可用性、高扩展性和强大的存储能力，HBase在大数据领域得到了广泛应用。然而，对于数据分析任务来说，HBase是否是一个合适的选择呢？
##
关系型数据库1、使用数据库的优点1、降低存储数据的冗余度2、更高的数据一致性3、存储的书库可以共享4、可以建立数据库所遵循的标准5、便于维护数据完整性6、能够实现数据的安全性2、在数据库中建立表格1、建立一个表格create table+表名（
...//建立每一列 注意数据类型
）2、在表格中增加一列alter table +表名+add+需要增加的列+数据类型3、修改表格中的一项a
Mongodb简介MongoDB 是一个基于分布式文件存储的数据库。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。MongoDB将数据存储为一个文档，数据结构由键值(key=>value)对组成。MongoDB 文档类似于 JSON 对象。字段值可以包含其他文档，数组及文档数
转载
2023-08-30 10:01:06
84阅读
项目可分为三类：对应项目如下_1.可视化项目：项目一：2021中国大学综合排名分析+可视化2021中国大学综合排名分析+可视化2.探索性数据分析（EDA）项目：项目三：爬虫电影预测新电影的票房分析对爬取到的结果进行数据分析——回归问题，对于回归问题，其输出空间B是一个度量空间，即所谓“定量”。也就是说，回归问题的输出空间定义了一个度量 去衡量输出值与真实值之间的“误差大小”。例如：预测一瓶700毫
跨专业？内向？文科生？适合数据分析的几点特征
转载
2021-09-07 14:41:42
187阅读
0x00 前言机缘巧合，公司突然要搞一波大量数据的分析。属于客流类的分析。数据量级也还算不错，经过 gzip 压缩，接近 400 个 点位的 SQL 文件 (MySQL innoDB)，大小接近 100GB 左右，原始记录数据估测在 180 亿左右。解压后...... 差不多一个 T 吧。如果是人民币玩家，自然是直接购置几十台高配置机器，做个 mysql shard 或者直接上大数据全家桶比如
数据分析师进行数据分析工作的大前提是：要有数据。一般是用Excel和数据库等数据载体中获取。Excel功能虽然强大，但无法存储海量数据，最多只有104万行，使用公式的情况下，十几万行的数据就会导致整张表运行卡顿。 所以本文介绍的是另一个数据载体：数据库，它支持海量数据存储，且提供高效的查询速度。另外，因为内容对标的是数据分析师这个岗位，而不是数据库工程师、大数据开发等等，咱们只要了解数据库如何使用
Hbase特点1. 高速写入：高速写入，对读取需求比较小。2.大数据：分布式存储，海量数据搞得定。不用担心无限增长的数据。3. 可靠：写入的不是内存，是硬盘，高性能4. 查询简单：不需要复杂查询条件来查询数据的应用，HBase只支持基于rowkey的查询，对于HBase来说，单条记录或者小范围的查询是可以接受的。Hbase使用场景1：对象存储我们知道不少的头条类、新闻类的的新闻、网页、图片存储在H
转载
2023-09-05 11:32:47
0阅读
数据行业这几年发展迅速，出现了很多数据的工种，包括人工智能，机器学习，数据挖掘，数据分析，数据仓库，数据中台，数据流式计算等方向。 我几年前入坑的数分，由于门槛低，覆盖范围广，学习可广可深，受到天南海北万众宠爱于一身。当然，我估计大家选择数据分析的真实原因，还是认为数分技术门槛低，不太需要写代码，而自己又想进入互联网行业发展。然后在上面的原因下，给自己找出各种说服自己的理由，包括：我好像平常很喜欢
spark的主要特点概括1.运行模式多样，可运行于独立的集群模式，Hadoop，Amazon EC2等云环境中，并且可以访问HDFS，Cassandra，HBase，HIve等多种数据源2.运行速度快，使用DAG执行引擎以支持循环数据流与内存计算3.通用性，spark提供了完整而强大的技术栈4.容易使用，支持使用Scala，Java，python和r语言进行编程MapreduceMR主要分成map
索引简介 B+树适合作为数据库的基础结构，完全是因为计算机的内存-机械硬盘两层存储结构。内存可以完成快速的随机访问（随机访问即给出任意一个地址，要求返回这个地址存储的数据）但是容量较小。而硬盘的随机访问要经过机械动作（1磁头移动 2盘片转动），访问效率比内存低几个数量级，但是硬盘容量较大。典型的数据库容量大大超过可用内存大小，这就决定了在B+树中检索一条数据很可能要借助几次磁盘IO操作来完成
hbase入门-概念理解1. hbase概念 说起hbase之前，有一些概念需要了解：Hbase：是一个nosql数据库，和mongodb类似Hive：hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件（或者非结构化的数据）映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为Map
转载
2023-06-27 21:06:14
48阅读
爱数据网问答社区|来源社区精选话题 第48期什么样性格的人不适合做数据分析不善于思考的太相信假数据的不善于沟通的动手能力差的连excel都用不好的从来不复盘的数据分析是一个很难成长的职业，有的人入行很多年还用的是入行时的那套分析逻辑，为何？一直没找到自己不对的地方，今天看点文章觉得思路好，下次加进报告，明天又看一个课程说的这块不错，下次再改进一下，但你有没有想过，你的这些举动其实是在消除焦虑，怕自
原创
2021-04-13 22:32:39
244阅读
MongoDB 数据库简介、安装及使用一.MongoDB是什么及其特点1. MongoDB 的优势2.MongoDB 支持的常见数据类型3.MongoDB 索引及其作用4. MongoDB 适应的场景和不适用的场景5.MongoDB 的复制过程6.MongoDB 副本集及其特点二.MongoDB 分片集群1、MongoDB 分片集群相对副本集的优势2、MongoDB 分片集群的优势3、Mongo
Hbase和Hive在大数据架构中处在不同位置，Hbase主要解决实时数据查询问题，Hive主要解决数据处理和计算问题，一般是配合使用。一、区别：Hbase： Hadoop database 的简称，也就是基于Hadoop数据库，是一种NoSQL数据库，主要适用于海量明细数据（十亿、百亿）的随机实时查询，如日志明细、交易清单、轨迹行为等。Hive：Hive是Hadoop数据仓库，严格来说，不是数据
是否可以用来作为数据库，还是看业务，架构是技术对业务妥协的结果！ 按照发展阶段来看。 产品初期，业务需求多变，数据量很小，数据结构朝令夕改，这时候如果用mysql很有可能会在改 数据库结构上疲于奔命，如果用Redis，由于没有Scheme约束，数据结构的变更相对容易，比起 mysql能轻松不少。 产品中期，业务需求逐渐稳定，可以将核心数据导到mysql中落地，其余数据仍然放在Redis中。 产品后
转载
2023-07-08 17:33:19
72阅读
1、面试题redis都有哪些数据类型？分别在哪些场景下使用比较合适？2、面试官心里分析除非是我感觉看你简历，就是工作3年以内的比较初级的一个同学，可能对技术没有很深入的研究过，我才会问这类问题，在宝贵的面试时间里，我实在是不想多问其实问这个问题呢。。。主要就俩原因第一，看看你到底有没有全面的了解redis有哪些功能，一般怎么来用，啥场景用什么，就怕你别就会最简单的kv操作第二，看看你在实际项目里都
# MongoDB 适合做分析吗？
MongoDB 是一种流行的 NoSQL 数据库，以其灵活的文档结构和高性能而受到广泛欢迎。然而，当涉及到数据分析时，人们可能会问：MongoDB 适合做分析吗？本文将通过代码示例和类图来探讨这个问题。
## MongoDB 简介
MongoDB 是一种基于文档的 NoSQL 数据库，它将数据存储在灵活的 JSON-like 文档中。这种灵活性使得 Mon
本文将用“泰坦尼克船员获救预测”这一案例展示一下使用线性回归建模的流程。1.数据理解首先导入原始的数据并展示数据的前5行，大致了解一下数据的情况。原始数据中分别有以下几列信息：PassengerId、Survived、pclass、Name、Sex、Age、SibSp、Parch、Ticket、Fare、Cabin、Embarked。其中Survived表示是否存活也就是本次建模的目标变
