回归分析
2022-05-10 21:22:36 0 举报AI智能生成
登录查看完整内容
线性基本模型 线性回归与方差分析---王松桂老师版本
作者其他创作
大纲/内容
Y=AX+b，则
推论：
定理2.1.1
证半正定思路：令span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\"Y=c{'}X\
协方差阵半正定，而且对称！
定理2.1.2
Y=AX，则（2.3节的定理说的都是这个事儿）
定理2.1.3
span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
定理2.1.4
2.1均值向量与协方差阵
定义
证明思路：①②由定理2.1.1，得span class=\"equation-text\" contenteditable=\"false\" data-index=\"1\" data-equation=\"E[\\mu^{'}A(X-\\mu)]=E(\\mu^{'}AX)-\\mu^{'}A\\mu=0\
设span class=\"equation-text\" data-index=\"0\" data-equation=\
推论：span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
定理2.2.1
2.2随机向量的二次型
(从密度函数上）+0\" contenteditable=\"false\"(非退化）
（从正态性质上）若存在列满秩矩阵，span class=\"equation-text\" contenteditable=\"false\" data-index=\"1\" data-equation=\
（从特征函数上）span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
三个等价定义
对正态向量而言，相互独立与不相关是等价的（不相关一般推不出来独立）
定理2.3.1
推论1：设span class=\"equation-text\" data-index=\"0\" data-equation=\
推论2：设span class=\"equation-text\" data-index=\"0\" data-equation=\
定理2.3.2
联合正态边际正态，反之不成立
span class=\"equation-text\" data-index=\"0\" data-equation=\
定理2.3.3
定理2.3.4
2.3正态随机变量
定理2.4.1
定理2.4.2
可加性
定理2.4.3
定理2.4.4
定理2.4.5（判别独立的另一方法）
span style=\
2.4分布
回顾
x与y正交，则g(x)与h(y)正交（非随机变换）
引理
推论：span class=\"equation-text\" data-index=\"0\" data-equation=\
定理2.5.1
定理2.5.2
2.5 关于正交
正态情形下独立
X、Y有一期望为0正交
独立不相关，正交不相关
辨析正交 独立不相关
二、随机向量
span class=\"equation-text\" contenteditable=\"false\" data-index=\"1\" data-equation=\
证明：span class=\"equation-text\" contenteditable=\"false\" data-index=\"1\" data-equation=\"\\hat{\\beta}=arcminQ(\\beta)\
2.
3.中心化和标椎化
3.1最小二乘估计
求+
定理3.2.1：
推论3.2.1：
证明思路：①假设的任一线性无偏估计②利用无偏（）得到c和a的关系③求
定理3.2.2（Gauss-Markov）：在所有线性、无偏估计中，最小二乘最优（方差最小）
1.的性质
注：RSS和SSE是一样的意思
证RSS时用到了是对称幂等的性质
证时用到了\"定理2.2.1\"＋\"trBA=trAB\"
定理3.2.3：
2.的性质
证明思路：①先令span class=\"equation-text\" data-index=\"1\" data-equation=\
证明思路：①写出对数似然函数span class=\"equation-text\" data-index=\"1\" data-equation=\
证明思路：①由定理3.2.3得，(因为）②是幂等阵，span class=\"equation-text\" data-index=\"4\" data-equation=\
证明思路：①span class=\"equation-text\" data-index=\"1\" data-equation=\
定理3.2.4：span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
3.
3.2 最小二乘估计性质
span class=\"equation-text\" data-index=\"1\" data-equation=\
证明：(利用Lagurange乘子法）①令span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
（a）证明
(b)证明所以①当且仅当时等号成立当时，代入①式，得（得到表达式）结合①式，得
3.验证确实是该约束条件下的最小二乘估计
3.3约束最小二乘估计
定理3.4.1 ①span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
1.残差诊断
（1）以拟合值为横轴，以为纵轴，其中span class=\"equation-text\" data-index=\"2\" data-equation=\
（2）合理情形：点在span class=\"equation-text\" data-index=\"0\" data-equation=\
(i).残差图呈现对勾型或抛物线型，说明因变量Y对自变量 X的依赖不仅仅是线性关系，引入二次项span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
(ii).只有偏大或偏小或中等时偏大，或呈线性趋势，说明误差方差不相等，则①对因变量做变换，使变换过后具有近似相等的方差②应用加权最小二乘估计③对因变量做Box-Cox变换
（3）不合理的两种情况
2.残差图
span class=\"equation-text\" data-index=\"0\" data-equation=\"y_{(i)}、X_{(i)}、e_{(i)}\" contenteditable=\"false\
量化的Cook统计量（原始公式）：，其中，但要计算n+1个回归计算量太大
证明思路：用到了和
，只需计算即可
难以判断强影响数据的临界值，需引入F统计量
定理3.4.2（简便公式） span class=\"equation-text\" data-index=\"0\" data-equation=\
分子：span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
分母：
影响力大小判断
3.强影响点（可以反映影响力大小）
3.4 回归诊断
Step1.给定 范围，
Step2.计算
Step3.计算span class=\"equation-text\" data-index=\"0\" data-equation=\
Step4.计算，
3.5 Box-Cox变换(对因变量y做变换，使满足线性+误差的G-M假设）
令span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
定理3.6.1 (a)(b)(c)唯一的最小方差无偏估计
注意：①证明定理时注意，只有y是随机的！ ② 和 都是 的无偏估计，对于一般的线性回归模型，广义最小二乘优于简单最小二乘
证明同span class=\"equation-text\" data-index=\"0\" data-equation=\"\\hat{\\sigma}^2\" contenteditable=\"false\
注意：①的次数什么时候为正什么时候为负 ②不一样！只有可当做一样的，都是估计出来的
事实上，通常无法确定，可采用两步估计法：先假设span class=\"equation-text\" data-index=\"1\" data-equation=\"\\sum=I\" contenteditable=\"false\
3.6广义最小二乘估计(span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
证明思路：① (拆开后） ②第一项（）=，第二项()=，第三项（交叉项）为0
定理3.7.1
所以
①与Gauss-Markov定理并不矛盾，最小二乘在线性无偏中方差最小，而这个最小的方差值本身却很大
②可以从MSE（）表达式直观地看出
③另一解释：当至少有一个特征根非常小，最小二乘估计的长度要比真正长度长的多
④意味着什么：设的非常小的特征值为span class=\"equation-text\" data-index=\"1\" data-equation=\"\\lambda\\approx0\" contenteditable=\"false\
若至少有一个特征根非常小，MSE就会很大！
考虑线性回归模型：span class=\"equation-text\" data-index=\"0\" data-equation=\
表明各特征值差别不大，随机性不强，复共线性不强
span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\"\\begin{cases}k100 \\ \\ \\ \\ \\ \\ \\ \\ 弱共线性 \\\\100\\leq k
(的特征根，已排序）
3.7 复共线性(自变量之间存在近似线性关系）
注意：①仍对称，正定，特征值为②k=0时，③（有偏估计）
典则模型：span class=\"equation-text\" data-index=\"0\" data-equation=\
估计
的关系
典则模型
证明思路：只需证明span class=\"equation-text\" data-index=\"0\" data-equation=\"MSE(\\hat{\\alpha}(k))(已中心化），求出表达式，对k求偏导，发现在0附近单调递减，所以span class=\"equation-text\" contenteditable=\"false\" data-index=\"3\" data-equation=\"MSE(\\hat{\\alpha}(k))
定理3.8.1 span class=\"equation-text\" data-index=\"0\" data-equation=\
性质
①相当于最小，对其求偏导，直接算解不出来
推导思路：令span class=\"equation-text\" data-index=\"0\" data-equation=\
②H-K统计量：
在同一张图中画出随k变化的的趋势，选逐渐趋向于平稳时的k值
③岭迹法
找k，让最小
3.8岭估计（有偏估计）
三、回归参数的估计
下：（的最小二乘估计是）
记忆技巧：可以把当成一个整体来记
下：
似然比检验
span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\"F=\\frac{(SSE_H-SSE)/m}{SSE/(n-p)}=\\frac{n-p}{m}(\\frac{SSE_H}{SSE}-1)=\\frac{n-p}{m}(\\lambda(y)^{\\frac{2}{n}}-1)\
似然比统计量
引入
考虑正态线性回归模型：span class=\"equation-text\" data-index=\"0\" data-equation=\
证明思路：①见定理3.2.4② span class=\"equation-text\" data-index=\"3\" data-equation=\
①②原假设成立时，（原假设不成立时，span class=\"equation-text\" data-index=\"2\" data-equation=\
定理4.1.1
证明：(2) ha ha ha(用到了有约束最小二乘中的拉格朗日函数对求导的结果，又叫正则方程） ha（带入了）
此时，F统计量为，要用到的估计，比较复杂
（复杂版）引理：(1) (2)
Step1.先把模型写成样本形式：span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
Step2.转换原假设：
Step3.带入原模型：span class=\"equation-text\" data-index=\"0\" data-equation=\
假设
（约简模型中参数估计没有那么复杂！）
(无需计算)
（简化版）约简模型
F计算
4.1 一般线性假设
原假设
求SSE
求
求F统计量
求拒绝域
4.2回归方程的显著性检验(检验模型够不够大，是否要再加）
还存在，不是随机变量
利用把 换成 ，从而去掉
求统计量
t_{n-p}(\\frac{\\alpha}{2})\" contenteditable=\"false\"（双边！）
4.3回归系数的显著性检验(检验模型够不够小，是否要剔除)
假设span class=\"equation-text\" data-index=\"0\" data-equation=\
注意：成立，漂移模型为原模型；不成立时，为切割模型
1.模型（又叫漂移模型）
2.计算
记漂移模型参数估计为span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
证明：，然后再拆开就行
定理4.4.1 span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
SSEspan class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
3.计算SSE
4.计算F统计量
4.4异常点检测
考虑模型：span class=\"equation-text\" data-index=\"0\" data-equation=\
a.无偏预测(和无偏估计不同）
b.最佳线性无偏预测BLUP
证明：估计偏差span class=\"equation-text\" data-index=\"0\" data-equation=\
c.估计效果>预测
点预测
上面两式相除，得
求置信区间
区间预测
4.5 因变量的预测
四、假设检验与预测
统计上称之为模型的线性性检验
回归方程：线性回归 or 非线性回归
自变量的选择：从与因变量保持线性关系的自变量集合中，选择一个最优的自变量集合
包含回归方程的选择和自变量的选择
full model : span class=\"equation-text\" data-index=\"0\" data-equation=\
selective model :
1.全模型&选模型
证明：（a）span class=\"equation-text\" data-index=\"0\" data-equation=\
注意：两种极端情况①无关，此时A=0，选择全模型②Xq与Xt完全线性，选择选模型
定理5.1.1 假设全模型正确，则 a. span class=\"equation-text\" data-index=\"0\" data-equation=\
①span class=\"equation-text\" data-index=\"1\" data-equation=\
注意：，是个数(行x列），是个矩阵（列x行）
证明：
就是说当不选的变量波动大时，用选模型
定理5.1.2 假设全模型正确，则
② 有偏
2.估计
证明：（a） (b)span class=\"equation-text\" data-index=\"1\" data-equation=\
定理5.1.3 若全模型正确，则span class=\"equation-text\" data-index=\"0\" data-equation=\
①已知span class=\"equation-text\" data-index=\"0\" data-equation=\
证明： ha ha
定理5.1.4 若全模型正确，，选择选模型
②span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
3.预测
证明：span class=\"equation-text\" data-index=\"0\" data-equation=\
相当于成了个惩罚因子，最后先降后升，
①
从预测精度出发，，MSEP愈小愈好
愈小愈好
②，其中
从极大似然原理出发
选择使AIC达到最小的自变量子集
③span class=\"equation-text\" data-index=\"0\" data-equation=\
4.评判准则
5.1 变量的选择
对p-1个自变量的线性回归，所有可能的回归有个
i 表示引入变量span class=\"equation-text\" data-index=\"0\" data-equation=\"X_i\" contenteditable=\"false\
2. 顺序
①TiTiA=A
②
③ ，对做消去变化，（与求逆不完全一样，看左上角）
消去变换
对A做消去变换，得
引入增广矩阵Z，
①②就是说如果要求选模型的，只需对其作连续的消去变换即可
应用：①正好是的最小二乘估计。 ②正好是选模型的 ③增加或去掉，都只需再对应做一次消去变换
模型选择上的应用
3. 消去变换
Step1. 确定span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
Step2. 计算Z，然后计算
Step3. 做消去变换，一个一个算，
Step4. min ，确定p，然后确定
4.步骤
5.2 计算所有可能的回归
根据 5.2 可确定最优自变量子集
性质1 若全模型误差span class=\"equation-text\" data-index=\"0\" data-equation=\
性质2 条件同性质1，若span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
性质3 条件同性质1，若span class=\"equation-text\" contenteditable=\"false\" data-index=\"0\" data-equation=\
注意：q\"
性质
5.3 计算最优子集回归
当自变量个数>40个，上述方法很麻烦，逐步回归算法是应用最普遍的不用计算所有可能子集回归的变量选择算法
若变量偏回归平方和显著——加入，然后所有新老变量逐个检验，不显著的去掉，显著的留下。
基本思想
假设已有q个自变量入选，且为前q个，记为
，做 t 检验，span class=\"equation-text\" contenteditable=\"false\" data-index=\"1\" data-equation=\
拒绝域：
①考虑是否剔除
②计算每个回归自变量的F统计量，排序，一个一个地扔
步骤
5.4 逐步回归
五、回归方程的选择
单因素方差分析
子主题
六、方差分析模型
七、
回归分析
0 条评论
回复 删除
下一页
