我们是索信达集团旗下的金融人工智能实验室团队将不定期推送原创AI科学文章。我们的作品都是由实战经验丰富的AI科学技术人员或资深顾问精心准备,志在分享结合实际业务的理论应用和心得体会。文 | 索 信 达 Josie He引言高维数据集常见于银行业,如何挖掘其中更多的信息是数据分析师最关注的问题。传统的无监督模型比如Kmeans 聚类,在低维数据中表现得很好,却无法在高维数据中大施拳脚。
刚看到这个问题时,我在想:投影、最小二乘法、回归、SVD、PCA、图像处理、优化、机器学习、密码学……这些全都要用矩阵啊。但是我转念一想,好像矩阵确实不是必需的:这样下去,其实任何需要矩阵的地方,都可以不使用矩阵列出公式。有些常用的计算,比如“最小二乘法”的公式,是这样的:算得不一定对。但是基本意思大家都能明白:这个式子太复杂了!!而且,实际应用中,你还不能直接用这个式子,因为它的计算量太大了!为
转载 2023-06-02 23:52:14
203阅读
矩阵概念矩阵是高等代数学中的常见工具,也常见于统计分析等应用数学学科中。 在物理学中,矩阵于电路学、力学、光学和量子物理中都有应用;计算机科学中,三维动画制作也需要用到矩阵矩阵运算是数值分析领域的重要问题。将矩阵分解为简单矩阵的组合可以在理论和实际应用上简化矩阵运算。对一些应用广泛而形式特殊的矩阵,例如稀疏矩阵和准对角矩阵,有特定的快速运算算法。关于矩阵相关理论的发展和应用,请参考《矩阵
# 为什么机器学习矩阵运算 ## 概述 机器学习是一门旨在让计算机从数据中学习并自动推断规律的领域。在机器学习算法中,矩阵运算扮演着非常重要的角色。矩阵运算的使用可以将复杂的计算任务转化为简单的矩阵操作,大大提高计算效率。 本文将通过介绍整个机器学习流程,以及每一步所需的代码和注释的方式,来解释为什么机器学习要使用矩阵运算。 ## 机器学习流程 机器学习的一般流程可以分为以下几个步骤:
原创 2023-08-15 12:33:53
219阅读
# 为什么机器学习要用矩阵运算? 机器学习(Machine Learning)作为当今数据科学的一个重要领域,其核心在于通过算法与数据的交互,进而实现学习与预测。而矩阵运算在这个过程中扮演了至关重要的角色。本文将深入探讨机器学习中为何要使用矩阵运算,并通过代码示例及流程图的方式进行解析。 ## 矩阵运算的基础 矩阵是一个以行和列排列的数据集合。在机器学习中,我们常常需要处理大量的数据,而矩阵
原创 10月前
525阅读
1.原理讲解 终于明白为什么使用glPushMatrix()和glPopMatrix()的原因了。将本次需要执行的缩放、平移等操作放在glPushMatrix和glPopMatrix之间。glPushMatrix()和glPopMatrix()的配对使用可以消除上一次的变换对本次变换的影响。使本次变换是以世界坐标系的原点为参考点进行。下面对上述结论做进一步的解释:1)OpenGL中的mo
转载 2023-10-18 16:00:12
104阅读
通过百度指数我们可以了解到,人工智能日均得到5000+的搜索量,属于百度搜索的热度词汇。在自动驾驶、智能家居、物流等等领域人工智能得到了广泛的应用。那为什么人工智能会变得这样的火爆呢?人工智能的发展前景如何?人工智能为什么这么火?真实数据支撑人工智能的兴起并不只是市场行为的推动,根据相关规划规划,2022年低中国人工智能核心产业规模将达到1500亿元,并且此后十年将继续保持高速发展。今年行业融资热
## 深度学习为什么需要激活函数 在深度学习的世界中,激活函数是一个至关重要的概念。然而,对于刚入行的小白来说,理解激活函数的作用可能并不容易。本文将通过一系列步骤来解释深度学习中激活函数的必要性,以及如何在代码中实现它。 ### 一、整个流程的讲解 在深入激活函数之前,我们首先来看看深度学习模型的基本工作流程。以下是一个简单的神经网络模型的流程步骤: | 步骤 | 描
原创 9月前
169阅读
论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》1、为什么需要BN?深层神经网络中,中间某一层的输入是其之前的神经层的输出。因此,其之前的神经层的参数变化会导致其输入的分布发生较大的差异。利用随机梯度下降更新参数时,每次参数更新都会导致网络中间每一层的输入
本章我们不去介绍一些新的运动、物理学或渲染图形的方法。我要给大家介绍的是矩阵(Matrix),它给我们提供了一个新的可选方案。矩阵在 3D 系统中 3D 点的旋转,缩放以及平移(运动)中使用得非常频繁。在各种 2D 图形的变换上也很常用。您也许可以回想到 beginGradientFill 方法就是使用矩阵来设置位置,大小以及旋转比例的。本章大家将看到如何创建一个 3D 矩阵系统,用以操作 3D
存储的定义狭义的存储定义:指具体的某种设备,比如以前的软盘、CD、以及DVD和硬盘,对于企业可能还会用到磁带。广义的存储定义:指数据中心里面使用的存储设备,包含了存储硬件系统、软件系统、存储网络和存储 解决方案。 服务器通过存储网络才能访问存储硬件系统中的数据,存储软件系统对存储中的数据提供管理,将多种存储硬件和软件组合起来形成解决方案可以满足业务较高的数据管理需求。 比如数据整合的解决方案、容灾
转载 2024-02-22 12:11:49
43阅读
子网掩码(subnet mask)又叫网络掩码、地址掩码、子网络遮罩,它是一种用来指明一个IP地址的哪些位标识的是主机所在的子网,以及哪些位标识的是主机的位掩码。子网掩码不能单独存在,它必须结合IP地址一起使用。子网掩码只有一个作用,就是将某个IP地址划分成网络地址和主机地址两部分。关于网段,这要从局域网说起,局域网的拓扑最早都是总线结构,也就是说大家共用一条线路传输数据,这样网络上任何一台计算机
# 深度学习为什么需要用Linux 深度学习是一种模拟人脑神经网络的机器学习方法,近年来在图像识别、自然语言处理等领域取得了巨大成功。然而,深度学习的训练过程通常需要大量的计算资源和优化的系统环境。Linux操作系统以其稳定性、开源性和灵活性,成为深度学习的首选平台。 ## Linux的优势 1. **开源性**:Linux是开源的,这意味着你可以自由地修改和优化系统,以适应深度学习的需求。
原创 2024-07-20 10:17:31
281阅读
为什么要分层我们的应用系统开发人员,不管是移动端,还是前端,还是后端开发人员对软件分层并不陌生,像iOS MVC模式,前端的vue或者react的 mvvm模式,微软客户端wpf的mvvm模式(这也是mvvm最开始的提出方,非常伟大,微软造就了很多语法糖,和宇宙最强IDE VS),后端Java 开发的Web层、Service层、Dao层、DB层。这样分层第一个有利于人员分工,第二个每层职责清晰,利
【目的】 领会稀疏矩阵三元组存储结构及其基本算法设计。【内容】 假设n×n的稀疏矩阵A采用三元组表示,设计一个程序,实现用三元组顺序表存储稀疏矩阵及其基本运算。如下图:(见教材P186:实验题1)。 **【要求】**在主程序中调用算法,输入一个稀疏矩阵,用三元组顺序表存储起来,并能够显示该稀疏矩阵。实现三元组顺序表结构上矩阵的转置、加法和乘法运算。 ⑴从键盘输入两个稀疏矩阵的各个元素,然后建立三元
Batch Normalization也是深度学习中的一个高频词汇,这篇文章将会对其做一个简单介绍。 目录1. BN的原理2. BN的作用3. BN层的可学习参数4. infer时BN的处理5. BN的具体计算步骤以及公式6. BN和L2参数权重正则化的区别 1. BN的原理BN就是在激活函数接收输入之前对数据分布进行规范化,具体计算就是去均值归一化,将数据的分布都规范到标准正态分布中,使得激活函
Batch Normalization 1.随机梯度下降法(SGD)对于训练深度网络简单高效,但是它有个毛病,就是需要我们人为的去选择参数,比如学习率、参数初始化、权重衰减系数、Drop out比例等。这些参数的选择对训练结果至关重要,以至于我们很多时间都浪费在这些的调参上。那么使用BN之后,你可以不需要那么刻意的慢慢调整参数。 2.BN的地位:与激活函数层、卷积层、全连接层、池化层一样,BN(B
Evernote Export 一组数据的分布特征可以从那几个方面进行测度?数据的分布特征可以从三个方面进行测度和描述,一是分布的集中趋势,反映各数据向其中心值靠拢或聚集的程度;二是分布的离散程度,反映各数据远离其中心值的趋势;三是分布的形状,反映数据分布的偏态和峰态。怎样理解平均数在统计学中的地位?平均数在统计学中具有重要的地位,它是进行统计分析和统计推断的基础。从统计思想上看,平均数是一组
目录 意义 图像分割方法 评价方法:最终测量精度UMA 一、意义 概念: 把图像分解成构成它的部件和对象的过程 定位感兴趣对象在图像中的位置和范围 意义:图像分割是图像处理与理解、模式识别和人工智能等多个领域中一个十分重要且又十分困难的问题,是计算机视觉技术中关键步骤,如下图所示。图像分割应用在许多方面。应用:汽车车型自动识别系统、检查癌细胞、精密零件表面缺陷检测,处理卫星拍摄的地形地貌照片等。在
  BN是由Google于2015年提出,这是一个深度神经网络训练的技巧,它不仅可以加快了模型的收敛速度,而且更重要的是在一定程度缓解了深层网络中“梯度弥散”的问题,从而使得训练深层网络模型更加容易和稳定。所以目前BN已经成为几乎所有卷积神经网络的标配技巧了。 从字面意思看来Batch Normalization(简称BN)就是对每一批数据进行归一化,确实如此,对于训练中某一个batch的数据{
转载 2019-06-14 08:14:50
1296阅读
  • 1
  • 2
  • 3
  • 4
  • 5