贝叶斯岭回归pycharm 贝叶斯岭回归先验分布

三、先验分布的确定

1. 主观概率（离散型）

1. 利用对立事件的比较确定主观概率，例如成功的概率比失败高一倍
2. 利用专家意见确定主观概率
3. 利用多位专家确定主观概率
4. 利用历史资料，考虑现有信息加以修正

2. 利用先验信息确定先验分布（连续型）：

1. 直方图法：

1. 将参数空间分成小区间
2. 在每个小区间上决定主观概率或依据历史数据确定其频率
3. 绘制频率直方图
4. 在直方图上做一条光滑曲线，即为先验分布

2. 选定先验密度函数形式再估计超参数

1. 根据先验信息选定$\theta$的先验密度函数$\pi(\theta)$形式
2. 对分布中的超参数给出估计值，使最接近先验信息

3. 定分度法与变分度法

1. 定分度法：长度一样，概率不同的小区间，给出每个小区间的主观概率
2. 变分度法：概率一样，长度不同的小区间，给区间进行划分

3. 利用边缘分布确定先验密度，就是极大似然法

1. 边缘分布m(x)

1. 传统用$p(x|\theta)$
2. 贝叶斯用边缘分布$m(x|\lambda)$

1. $m(x)=\begin{cases}\int_{\Theta}p(x|\theta)\pi(\theta)d\theta,当\theta为连续\\\sum_{\theta\in\Theta}p(x|\theta)\pi(\theta),当\theta为离散\end{cases}$
2. 当先验分布有未知数的时候，例如$\pi(\theta)=\pi(\theta|\lambda)$，那么被积分之后m(x)变为与$\lambda$相关的函数，可记为$m(x|\lambda)$

3. 我们所需要做的就是求使$m(x)$达到最大的$\lambda$，也就是最大似然估计（最大似然二型估计）

2. 混合分布：

1. 变量x依概率$\pi$在总体$F_1$中取值，以$1-\pi$在总体$F_2$中取值，若$F_1(x|\theta_1),F_2(x|\theta_2)$分别是两个总体的分布函数，则x的分布函数为两个分布函数的加权相加：$F(x)=\pi F_1(x|\theta_1)+(1-\pi)F_2(x|\theta_2)$
2. F(x)可以看做$F_1(x|\theta_1),F_2(x|\theta_2)$的混合分布
3. $\pi$和$1-\pi$看做一个新的随机变量$\theta$的分布
   $\pi(\theta)=\begin{cases}\theta_1,\pi\\\theta_2,1-\pi\end{cases}$
4. 从$F(x)$中抽取一个x，相当于进行两次抽样

1. 从$\pi(\theta)$中抽取一个样本$\theta$
2. 根据$\theta$判定是从哪个总体中抽取样本x

5. 混合样本：从混合分布中抽取出来的样本，大约有$n\pi(\theta_1)$个来自总体1，其余的来自总体2

3. 先验选择的ML-II（极大似然估计方法）

1. 设$\Gamma=\{\pi(\theta|\lambda),\lambda\in\Lambda\}$为所考虑的先验类，且$X=(x_1,...,x_n)$是来自$\Gamma$中某一分布的样本，若存在$\widehat{\pi}\in\Gamma(\widehat{\lambda}\in\Lambda)$满足
   $m(X|\widehat{\lambda})=sup_{\lambda\in\Lambda}\prod_{i=1}^nm(x_i|\lambda)$
   其中$\widehat{\pi}$称为II型极大似然先验，或简称为ML-II先验
2. 这里将m(x)看成似然函数，找一个$\widehat{\lambda}$使$m(x|\widehat{\lambda})$达到最大，也是一种最大化似然函数的方法

4. 先验选择的矩方法

1. 样本均值=总体均值
2. 样本方差=总体方差
3. 先计算总体的分布$p(x|\theta)$的期望$\mu(\theta)$和方差$\sigma^2(\theta)$
4. 即$\mu(\theta)=E^{x|\theta}(x),\sigma^2(\theta)=E^{x|\theta}[x-\mu(\theta)]^2$

4. 先验选择的矩方法

1. 有大数定理
   $\begin{cases}\frac1n\sum_{i=1}^nx_i=\mu用样本均值来估计总体的均值\\\frac1n\sum_{i=1}x_i^k=\alpha^k用样本的k阶原点矩来估计总体的k阶原点矩\end{cases}$
2. 矩估计：已知统计结果或取样结果估算总体均值和总体方差

5. 无信息先验分布

1. 贝叶斯假设：无信息先验分布应该取$\theta$取值范围内的均匀分布
   $pi(\theta)=\begin{cases}c,\theta\in\Theta\\0,\theta\notin\Theta\end{cases}$
2. 广义先验密度：当$\theta$的取值范围是无穷的时候，无法给出一个均匀分布，所以设置$\theta$的先验分布为

1. $\pi(\theta)\ge0 \& \int_{\Theta}\pi(\theta)d\theta=\infty$
2. 由此决定的后验密度$\pi(\theta|x)$是正常的密度函数
3. 设密度参数中有两个参数$\mu,\sigma$，且密度函数具有如下形式：
   $p(x;\mu,\sigma)=\frac1{\sigma}f(\frac{x-\mu}{\sigma}),\mu\in(-\infty,\infty),\sigma\in(0,\infty)$
   其中f(x)是完全确定的函数，它对应于$\mu=0,\sigma=1$时的密度，$\mu$称为未知参数，$\sigma$称为尺度参数，这类分布族称为位置-尺度参数族，如正态分布、指数分布、均匀分布等
   当$\sigma=1$时称为位置参数族，$\mu=0$时称为尺度参数族
4. 位置参数的无信息先验：
   位置参数族的先验分布可用贝叶斯假设为无信息先验分布。
5. 尺度参数的无信息先验：
   设总体X的密度函数具有形式：
   $p(x;\sigma)=\frac1{\sigma}p(\frac x{\sigma}),\sigma\in(0,\infty)$
   则参数$\sigma$的无信息先验分布为$\pi(\theta)=1/\sigma,\sigma>0$