作者主页(文火冰糖的硅基工坊)

 


目录

第1章 什么是范数

1.1 常见的范数与定义

1.2 范数的物理意义

1.3 代码演示的前置条件

4.2 dim =1方向上的范数



第1章 什么是范数

1.1 常见的范数与定义

范数简单的讲,就是某个向量X(x0,x1,x3.....xn)的“长度”。

为了根据向量的每个元素值计算该向量的“长度”,可以有不同的规则,即所谓的范数的阶数,这些规则,称为范数的阶数,常见的阶数有:

 [Pytorch系列-18]:Pytorch基础 - 张量的范数_张量

[Pytorch系列-18]:Pytorch基础 - 张量的范数_深度学习_02

一阶范数:使用每个向量元素的绝对值的和,来作为向量的长度。

二阶范数:使用每个向量元素的平方的和,再开根号,来作为向量的长度。

无穷阶范数:使用所有向量元素中,绝对值最大的值,作为向量的长度。

其中使用最广泛的方式就是二阶范数,原因有二:(1)二阶范畴最接近几何意义;(2)平方和开根号,可以进行求导,而一阶和无穷阶范数都时绝对值,不能求导数。

 

1.2 范数的物理意义

一范数:先求出所有样本点的误差值的和,然后使其最小时,则找到的拟合函数是最好的。

无穷范数:先找出所有样本点的误差值中的最大值,然后使其最小,找到的拟合函数是最好的。

二阶范数:所有样本点的误差值的平方和,然后使其最小时,则找到的拟合函数是最好的。

二阶范数就是最小二乘法求误差最小值的评判方法。

 

1.3 代码演示的前置条件

#环境准备
import numpy as np
import torch
 
print("Hello World")
print(torch.__version__)
print(torch.cuda.is_available())