第一阶段： java基础核心
1 深入理解Java面向对象思想
2 掌握开发中常用基础API
3 熟练使用集合框架、IO流、异常
4 能够基于JDK8开发
5 熟练使用MySQL，掌握SQL语法
重要技术清单：
java 基础语法：
@分支结构if/switch、循环结构for/while/do while
@方法重载，数组的使用，命令行的参数，可变参数
@
大数据十大核心问题：1、大数据的分析模式大数据分析与传统分析的区别，特点是什么？2、分析速度分析速度是否能够跟上数据量和数据格式变化的速度，是否能达到实时分析？3、多种格式数据的分析技术声频、视频、图片、文本等等格式，如何混合分析？4、存储问题，存储和分析成本无条件存储，还是有选择性存储？如何进行选择性存储？投入产出比。随着数据量的不断增加，存储技术要不断创新。5、法律条款的更新个人隐私，国家机密
转载
精选
2015-09-16 08:42:45
423阅读
ODS的数据存储技术介于数据库和数据仓库之间，通过使用ODS克服了利用DW进行决策过于臃肿且不适合企业即时的中间层决策的问题。
先从概念上对ODS有个直观的理解，ODS定义为：操作型数据存储，对于一些准实时的业务数据库当中的数据的暂时存储，支持一些同时关联到历史数据与实时数据分析的数据暂时存储区域。
ODS是介于DB和DW之间的一种数据存储技术，和
金融大数据是大数据技术在金融行业的应用，也指在经济和金融活动之中产生的海量数据。金融大数据的应用带动了金融行业的转型，成为了行业新的驱动力和增长模式。金融大数据的行业影响金融大数据在金融行业的应用能有效的帮助金融行业实现信息化转型，使得金融行业整体更为高效。金融大数据的帮助下，金融信息将会以更多的方式呈现。借助大数据可视化技术，结构化和非结构化数据可以从大量的金融信息之中提取出最有用的数据，并且用
转载
2023-08-30 11:27:40
0阅读
1.在我们进行数据分析之前要对数据进行检测，数据质量是保证数据应用的基础，它的评估标准主要包括四个方面：完整性、一致性、准确性、及时性。评估数据是否达到预期设定的质量要求，就可以通过这四个方面来进行判断。2.完整性指的是数据信息是否存在缺失的状况，数据缺失的情况可能是整个数据记录缺失，也可能是数据中某个字段信息的记录缺失。不完整数据的价值就会大大降低，也是数据质量最为基础的一项评估标准。数据质量的
【编者注】大数据来了，受益于便宜的硬件存储、强大的计算机技术和云计算技术，企业手中获取了越来越多的数据。对大多数企业来说，数据分析不是可有可无，而是一个生存问题。但是面对大数据，我们有什么问题呢？本文作者赛仕软件研究开发(北京)有限公司总经理@刘政-SAS，在微博上分享的大数据的10个核心问题，中国统计网做个整理汇总，希望大家一起来交流讨论。大数据十大核心问题：1、大数据的分析模式大数据分析与传统
转载
2023-07-31 19:34:20
79阅读
SparkCore的深入学习RDD基本的理解RDD:弹性式分布式数据集当做集合 例如列表 list现在文
原创
2023-05-19 12:03:57
149阅读
大数据的核心就是预测。它通常被视为人工智能的一部分，或者更确切地说，被视为一种机器学习。但是这种定义是有误导性的。
原创
2023-04-19 14:08:36
471阅读
说到大数据精准营销，不得不先提个性化的用户画像，我们针对每一类数据实体，进一步分解可落地的数据维度，刻画TA的每一个特征，在聚集起来形成人群画像。今天我们来分享一下大数据精准营销的七个关键要素！01用户画像用户画像是根据用户社会属性、生活习惯和消费行为等信息而抽象出的一个标签化的用户模型。02数据细分受众在执行大数据分析的3小时内，就可以轻松完成以下的目标：精准挑选出1%的VIP顾客发送390份问
转载
2023-08-30 12:50:54
43阅读
导读：大数据平台可以分为操作数据存储（ODS）、数据仓库（DW）和数据集市（DM）三层，分别对应着数据清洗、数据管理和数据应用这三个核心功能。作者：蔡主希▲数据架构示意图01 原始数据清洗操作数据存储（Operational Data Store，ODS），又被称为贴源层，是原始数据经过ETL（Extract-Transform-Load）清洗后存储的位置。ODS通常有如下几个作用。在业务系统和数
转载
2023-06-02 13:01:39
316阅读
我们在之前的文章中提到过，大数据的核心技术就是机器学习、数据挖掘、人工智能以及其它大数据处理基础技术。在这篇文章中我们给大家详细地介绍一下这些内容，希望这篇文章能能够给大家带来帮助。首先说一下机器学习，一般数据分析师都知道，机器学习是大数据处理承上启下的关键技术，机器学习往上是深度学习、人工智能，机器学习往下是数据挖掘和统计学习。机器学习属于计算机和统计学交叉学科，核心目标是通
转载
2023-10-11 09:06:03
33阅读
一、引入 hadoop的分布式计算框架（MapReduce是离线计算框架） 二、MapReduce设计理念 移动计算，而不是移动数据。 Input HDFS先进行处理切成数据块（split） map sort reduce 输出数据（output HDFS） 三、示例 Mapping是根据我们书写的
原创
2021-07-29 16:21:59
286阅读
模型：线性判别分析方法、个人FICO模型信用分、IRB、ABCF卡模型；算法：逻辑回归算法、决策树、集成学习、Bagging、随机森林、Boosting、Adaboost、Stacking；指标：混淆矩阵、评价指标、准确率、精确率、召回率、F1分数、ROC曲线、AUC、KS、PSI、基尼系数；
简单来说，从大数据的生命周期来看，无外乎四个方面：大数据采集、大数据预处理、大数据存储、大数据分析，共同组成了大数据生命周期里最核心的技术，下面分开来说：一、大数据采集大数据采集，即对各种来源的结构化和非结构化海量数据，所进行的采集。数据库采集：流行的有Sqoop和ETL，传统的关系型数据库MySQL和Oracle 也依然充当着许多企业的数据存储方式。当然了，目前对于开源的Kettle和Talen
转载
2023-07-31 22:40:54
60阅读
大数据（big data），指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。（麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。）大数据技术：
转载
2023-07-12 14:44:15
163阅读
数据的核心是云技术和BI。关于大数据和云计算的关系人们通常会有误解，而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。如果做一个更形象的解释，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用;大数据则相当于海量数据的“数据库”。整体来看，未来的趋势是，云计算作为计算资源的底层，支撑着上层的大数据处理，而大数据的发
文章目录1.数据核心原理：从“流程”核心转变为“数据”核心2.数据价值原理：有功能是价值转变为数据是价值3.全样本原理：从抽样转变为需要全部数据样本4.关注效
原创
2022-05-25 18:16:22
715阅读
上千的机器...
原创
2023-05-17 15:53:37
132阅读
简单来说，从大数据的生命周期来看，无外乎四个方面：大数据采集、大数据预处理、大数据存储、大数据分析，共同组成了大数据生命周期里最核心的技术，下面分开来说：一、大数据采集大数据采集，即对各种...
转载
2021-07-20 11:35:56
482阅读
现代科技高速发展，一方面给人们生活带来了便利；另一方面也给人们工作、生活冲击越来越大。接下来的物联网、人工智能、大数据、云计算、智能硬件等高科技来袭，会进一步颠覆人们传统的生活方式、工作方式，所以我们有必要认识和了解它们。大数据（big data）定义：美国国家标准技术研究院（NIST）给出的定义是：大数据是数量大、获取速度快或形态多样的数据，难以用传统关系型数据分析方法进
原创
2023-08-29 11:51:31
91阅读
