什么是正交，相关，消元变换----[引用和转载请标明本文CU blog出处]
        先说到底什么是正交？这是一个令人头疼的事情。x,y平面上恒纵坐标夹角90度，我们称这两个轴正交----其实这个回答和"身上没有毛的，两个腿走路的，我们称这是人"是同一类解释，根本就没有正面回答，如何对正交下定义。
        事情是这样的，对于2维平面上面的一个点，我们用坐标表示一个点，也就是一个向量，向量的数组形式是(x,y)，复数形式是(x+yi)(这个表示是唯一 的。3维空间的情况类似，(x,y,z)和x+iy+jz)。x+yi在x轴的投影是x，和y无关；在y轴的投影是x，与x无关。所以x/y轴构成互相无 关的一组投影矢量，我们就说x轴和y轴正交。正交投影向量组成一个正交矩阵[x轴;y轴]，分号代表换行。但是如果我们在x/y平面再画一跟轴出来，例如 x,y轴之间夹角45度的一条线z，那么点(x,y)如果写成(x,y,z)的形式就不止一种了。(1,1)可以表示为(0.5,0.5,0.5*根号2 分之一)，或者(0.3,0.3,0.7*根号2分之一)，这样的投影结果不止一种，所以[x轴,y轴,z轴]这个投影矩阵对于2维平面是有冗余的，应该 去掉其中之一使得这个投影的形式唯一确定。
        好了，综上所述，正交的定义是：一组基础向量a1,a2,...an，它们之间的关系是，某个向量v在各个ax上面的投影分解，表达式唯一。或者表述 为，a1-an当中的任意向量，在其他向量上面的投影都是0。我们称a1-an之间的关系为互相正交。然后，这n个互相正交的向量，共同构成了一个n维的 空间。在这个空间里面，任何其他的向量都可以分解成n个正交投影的矢量和。特别的，N维空间可以用n个正交向量表示，这种n个正交向量本身，可以有无数种 形式，只要他们之间保持正交就可以了。x/y平面的正交向量集合可以是[x轴,y轴]，也可以是x/y轴绕着原点，分别旋转一个角度以后的两个轴(当然保 持90夹角不变)。

        消元有什么物理意义吗，做个具体的分析。一个2x2的矩阵A，是一个方程组Ax=b的系数矩阵。那么这2个方程表示了2维平面上的两条直线。那么我应用消 元法：方程组(x+y=2,x+2y=3)第2个行向量减去第一个行向量，得到新的方程组(x+y=2,y=1)，这个方程组和原方程组通解，不同的是 x+2y=3绕着交点(方程的解)旋转到了y=1。所以，求解方程组的过程，就是寻找同解方程的过程。消元法是"合法合理"的求解方程组的过程。那么求行 列式的过程呢，消元是否影响最后结果？只需证明一个通用变量的情况就可以了，其他的递推就行。
        说了物理意义以及思想来源。没有凭空创造出来的数学概念，高数所以高等，是因为能解决一些经典数学很难解决的问题，并且用一种一致和优雅的办法对多种不同的问题都有效果。
        再说说线性代数里面的一些纯粹数学上的特性。
->    行列式是若干个乘积的加和，那么每个分式都有一个符号，由(x坐标的逆序+y坐标的逆序)决定。如果这个加和是偶数，那么分式取正号，否则取负号。例如 2345....n1的逆序是多少呢? 无论那种方法重排达到正序的过程，中间次数都是相差2x，所以不影响符号。这里我们考虑把最后的'1'用冒泡的方式上升到第一位，所以逆序=n-1。
->    一个数m乘以一个方阵，相当于方阵的每个元素e都成了m*e。那么行列式分式的每一项都乘以了m^n，所以|m*A|=m^n|A|。例题：设A是 m*m，B是n*n，C是个分块矩阵，C=[0,A;B,0]，那么C的行列式是多少? 考虑逆序的情况，A的m个列，每个列经过n次移位以后，C'=[A,0;0,B]，移位次数=m*n，所以|C|=(-1)^(m*n)|C|= (-1)^(m*n)*|A|*|B|。
->    如果矩阵的某一行乘以m，那么|A'|=m*|A|。例题：3阶矩阵A和B，A=[a,2x,3y]，B=[b,x,y],|A|=18,|B|=2， 求|A-B|=? 解：|A-B|=|[a-b,x,2y]|=2*|[a-b,x,y]|=2*|[a,x,y]|-2*|[|b,x,y]|= (1/3)*|a,2x,3y|-2|B|=2
->    上面用到了一个很重要的行列式对于向量分解的特性，|[a-b,xxxx]|=|a,xxxx|-|b,xxxx|。|A|-|B|=|[a1-b1,a2-b2...an-bn]|这个可以通过代数余子式的特性证明。再举个例子，A是一个方阵
|x1+1,x1+2,...x1+n|
|x1+1,x1+2,...x1+n|
|....,....,.......|
|x1+1,x1+2,...x1+n|,那么A的行列式是多少? 当n大于2时，第一列+第三列=第2列*2，线性相关了，所以行列式=0。n=2时,容易算出|A|=x1-x2。
        实际当中没有所谓"连续"的东西，量子也是一份一份的传播的。那么y=f(x)是什么呢？无数个x点对应的y点的集合。不考虑不同x之间间距，或者认为间 隔无穷小，那么y=f(x)就可以写成一个向量的形式(y1,y2,y3,y4...yn)，其中的下标是x的离散取值。在离散的情况下，x只是下标序 列，本身失去了物理意义。所以，真实的世界没有严格的傅立叶变换，只有DFT,FFT,Z变换序列等等存在(计算机当中也是如此)。那么，高等数学中函数的计算(连续)实际上，就是线性代数里面的线性(离散)变换。这里数学的两个分支被量子理学统一起来了。
       考虑y=f(x)(周期为T)的傅立叶级数展开形式----它相当于，在一个T内f(x)是无穷维向量 (y1,y2,y3,...,yn...)，f(x)的傅立叶级数展开式就是f(x)在无穷维正交基(e^jnw)上面有投影，这个正交基是从低频到高频 的一些列三角函数组合。每一个投影的系数是一个长度。那么e^jnw组成的正交基就是的任何f(x)的特征向量，不同的是，不同f(x)对应不同的特征值 向量。一个N维的向量空间，N个正交矢量不是定死的，而可以是任意的向量值组合，只要保持互相两两正交就可以了。例如我想构造3维的正交基，我随手写下 (1,0,1)，那么(0,1,2)，(0,0,1)就可以是剩下的两个向量。为什么？一般的说，向量e1,e2,e3是正交基，那么 e1+e2,e2+e3,e1+e3这三个向量也可以构成正交基。
        那么如果一条绳子上有个驻波sin(t)在传播，那么绳子向量(s1,...sn)(n为无穷大)，可以投影到一个特征向量函数sin(t)上面。如果 f(x)=sin(t)+sin(2t)呢？显然，两个特征函数，依次类推，我们竟然得到傅立叶级数展开----也就是因为三角级数本身可以作为投影的基 准，可以分解任何函数。所以三角函数就是特征向量函数，频率分析的值就是特征值。说得远一点，任何数学分析最后都可以用频谱分析来代替。这也就是"信号与 系统"，"数字信号处理"，"通信原理"，"概率和随机过程"这些课程，怎么看起来都是在玩频率游戏和功率谱游戏的原因----学完以后 经常会感觉自己什么都没有学会。因为在物理层，信息的"意义"并不存在，只有传输和设计的电子/数学特性有意义。通信协议都是高层次的东西，和"通信原 理"无关。在底层只有物理意义，没有逻辑意义。