Chapter 6-10
2020-04-17 18:21:25 0 举报AI智能生成
登录查看完整内容
数理统计 Hogg 教材思维导图整理
作者其他创作
大纲/内容
Intro to Mathematical Statistics H.M.C
Chapter 7 Sufficiency
7.1 Measures of quality of Estimators
MVUE
Def：MVUE(Minimum Variance Unbiased Estimator)
Risk function
Decision function/Rule
Def
δ（y）是统计量Y的函数，通过δ(y)实现对θ的点估计
因为δ()决定了θ的值，所以称为decision rule;一个y对应一个decision
Loss function
某个非负函数g()，衡量θ真实值和δ(y)之间的差异性
example
squared-error loss function
absolute-error loss function
goal post loss function
理解：如果落入中心的a单位之内，则没有损失；规定之外，则损失b
Risk function（R.F.）
Loss funciton 的期望(对y)
annotation
对于所有的θ，希望选择的δ(）使得R(θ，δ)尽可能小，但通常行不通
Minimax decision function
δ0即为所取选取得decision rule，称为minimax decision function
理解
对每一个Decision Rule 先取它对每一个θ估计的最大值，再选取所有最大值中最小的Decision Rule
δ(y)给出的决策函数是对所有的θ∈Ω
Annotation
1.若不加限制，很难找到某R.F.使得其R.F. 一致的小于任何其他决策的R.F.
2.选取DR的一个原则为 minimax decision function
3.
用其它条件代替E(δ(Y))=θ
并且损失函数形如此
minimax decition function 会得到
minimum mean-squared-error estimator 最小均方误差估计量
习题7.1.6、7、8
7.2 A Sufficient Statistic for a Parameter
Sufficient statistic
1. 注意，充分统计量在更一般的情形下，不要求X1，X2...Xn同分布or独立
也就是说用联合分布代替成立即可说Y1为充分统计量
2. 直观上来看，一旦Y1=y1所确定的集合固定，即在Y1=y1下，对样本空间进行分割，留下Y1=y1的空间。任一统计量Y2不依赖于θ，即可以说Y1将θ信息充分用尽。也就是任何Xi也提取不出来θ的信息
3. 一般来说，求解任意得一个Y的pdf是十分困难
Factorization theorem（因子分解定理）
意义
判别一个统计量是否是充分统计量
无需求解Y1的pdf，计算方便许多，即在求解Y1分布困难的时候用因子分解定理
7.3 Properties of a Sufficient Statistic
充分统计量的传递性
Y1是SS，Y2 = g(Y1)是一个统计量，其中g()是一个一对一函数，则Y2也是SS
SS 与 MVUE的联系
前提
θ=E(Y2)=E[E(Y2|Y1)]=E(φ(y1)) (重期望公式)
Var(Y2)>=Var[E(Y2|Y1)]=Var(φ(Y1))
Suffiency 能产生最佳点估计
充分统计量Y1的函数φ(y1)=E(Y2|y1)仍是无偏估计量，而且其方差比Y2的方差小
Rao-Blackwell
应用
SS 与 MLE的联系
Theorem 7.3.2
先求解其SS是否存在以及其MLE，再求MLE的期望，并通过乘以系数的方式使得MLE称为某无偏估计量，那么这个无偏估计量即为MVUE、
例7.3.1
7.4 Completeness and Uniqueness
Complete Family
完备族的证明
例7.4.2
Uniqueness
Lehmann & Scheffe
给寻找MVUE的方法找到了理论依据
Complete sufficient statistics
定义
概率密度函数族充分，且本身是θ的SS
7.5 The Exponential Class of Distributions
正则指数分布族具有完备且充分统计量
Exponential Class<br>
S表示 X的support<br>
正则指数族
Regular Conditions<br>
1. X的support S 不依赖于θ<br>
2. p(θ)是θ∈Ω上的非平凡连续函数<br>
连续
K'(x)恒不为零，且H(x)在S上连续
离散
K(x)在S上非平凡
满足 Regular Conditions 的Exponential Class 称为正则指数函数族
正则指数族下的Y=ΣK(Xi)的性质
分布
结论<br>
E(Y1)= -n*q'(θ)/p'(θ)
theorem 7.5.1<br>
完备性和充分性
结论
Y=ΣK(Xi)是θ的充分统计量
Y的概率密度函数族是完备的
所以使得E(φ(Y))=θ的φ(Y)是一个MVUE
theorem 7.5.2<br>
Chapter 8 Optimal Tests of Hypotheses
8.1 Most Powerful Tests
basic conception
hypothesis
null hypothesis
alternative hypothesis
critical region
Error
Type 1 error
Type 2 error
signifiance level
power fonction
Best Critical Region
C是样本空间的一个子空间 H0 : θ = θ0；H1：θ=θ1
b) 对于样本空间的任何有着水平α子集A，其功效函数比C小
a）C的significant level of α
Neyman-Pearson Theorem
假设Ω={θ'，θ''}只有两个元素，C是样本空间的子集
这是使区域C成为检验水平α下的最优临界域的充要条件
判断 Best Critical Region
Unbiased Test
例 8.1.2
Unbiased Test 无偏检验
Pθ( X∈C )>=α，对于 所有的 θ ∈ H1
检验功效应该永远不低于其显著性水平，否则错误拒绝H0的概率α 会大于正确拒绝H0（功效函数）的概率
Corollary 8.1.1
8.2 Uniformly Most Powerful Tests
Background
Simple Hypothesis H0 vs Alternative composite hypothesis H1
Uniformly most powerful (UMP) critical region
如果 C是检验H0 vs H1中的每一个简单检验的最优临界域，则C称为H0 vs H1下的水平α的最大一致功效区域
Uniformly most powerful(UMP) Test
由最大一致功效区域定义的检验
Monotone likelihood ratio(mlr)
def
对于θ1<θ2
（这一节记得不太详细）
Chapter 9 Inferences About Normal Models
9.1 Quadratic Forms
Quadratic Forms<br>
n个变量的二次多项式称为其二次型，即在一个多项式中，未知数的个数为任意多个，但每一项的次数都为2的多项式
Example
(n-1)S^2是一个二次型
统计量为 Quadratic Forms 的函数进行检验极为快捷
正态分布的二次型定理
2. Qk/σ方 服从自由度为 r-(r1+r2+...rk-1)=rk的卡方分布
常见的二次型转换
按行均值、总体均值变换
Q = Q1+ Q2
Q = (ab-1) * S^2
Q/σ^2：服从卡方(ab-1)
Q1
Q1/σ^2服从卡方a(b-1)
每行多了一个均值约束，总共a行，自由度从ab->a(b-1)
Q2
由定理一，则 Q2/σ^2 服从卡方(a-1)
a行a个变量，但行均值的期望=总体均值，a->a-1
按列均值、总体均值变换
Q = Q3 + Q4
Q/方差：服从卡方(ab-1)
Q3
Q3/σ^2 服从卡方b(a-1)
每列多了一个均值约束，总共b列，自由度从ab->(a-1)b
Q4
有定理一，Q4与Q3独立且 Q4/σ^2 服从卡方(b-1)
按行均值、列均值、总体均值变换
Q = Q2 + Q4 + Q5
Q2/σ^2 服从卡方(a-1)
Q4/σ^2 服从卡方(b-1)
Q5
由定理一，Q5/σ^2 服从卡方(a-1)(b-1)
9.5 The Analysis of Variance
ANOVA
Analysis of Variance
因为一般构成的中枢变量都是形如类型的，所以称为ANOVA(其实应该理解为用方差进行分析)
9.2 One-Way ANOVA
One Way
单向模型(单因素)
Model
i 代表样本量
Hypothesis
H0 : μ1=μ2=···=μb=μ
H1 : At least one of those means μj are different to others
Statistic
CR
因为是要比较各组之间的差异，所以组间方差分析作为分子，组内方差作为分母
推导过程很重要P363
Two-Way ANOVA)
One Observation per Cell(每格单位观测值的双向分类)
Additive Model
所以称为Two - Way ANOVA
Row Effect
H0A : α1=···=αn= 0
Main Effect 假设
对特定列来说，每个行的格均值都一样，行水平因素为0
Column Effect
H0B : β1=···=βm= 0
Decomposition
Q = Q2 (行间平方和)+ Q4(列间平方和) +Q5(剩余平方和)
C.R.
HA（行均值检验）
基于行均值相同的假设，即用行间平方和/剩余平方和
HB（列均值检验）
基于列均值相同的假设，即用列间平方和/剩余平方和
More than one indepent Observations per Cell
Interaction Model
γij 称为个性化因子
γij = μij - { μ +(μi. - μ)+(μ.j -μ)}= μij - (μ+αi+βj)
每个格子取大于1个独立的观测值
γij称为个性化因子，代表指标族A，B之外没考虑到的因素
称为 Interactive Two-Way ANOVA
总平方和 = 各行之间差异平方和 + 各列之间差异平方和 + 交互效应平方和 + 格内平方和
检验个性化因子是否均为零，即用交互效应平方和 / 格内平方和
Summary
如果接受 H0AB 的假设时，然后就可以继续对指标A，B进行检验
实验流程
Interaction Tests —— Two-Way ANOVA —— One-Way
Chapter 10 Nonparametric and Robust Statistics
10.1 Location Model
test procedures associated with the methods are distribution-free
Basic Concept
Functional
Functions of functions
Induced estimator
Location functional
Mean functional
Median functional
例10.1.1
Median 是唯一作为位置泛函的百分位数
Location Model
Symmetry(对称性定理)
Let X with cdf F(x) pdf f(x) and distribution of X is symmetric about a. T(Fx)是位置泛函，则T(Fx)=a
10.2 Sample Median and Sign Test
Basic
Model Setting
Sign Test
H0a : θ = θ0 vs H1a：θ> θ0
H0b : θ = θ0 vs H1b：θ≠ θ0
符号统计量
S(θ0) = #{Xi > θ0} = (i=1~n)∑ I ( Xi>θ0 )
H0a为真时，我们期望一半左右的观测值大于θ0
H1a为真时，期望超过半数以上的观测值大于θ0
H1b为真时，期望小于等于c1或者大于等于(n-c1)的数落在拒绝域中
小样本下
大样本下
[S(theta0)-（n/2)]/sqrt(n)/2
Distribution Free Test（非参数检验）
并不依赖于Xi本身的分布的检验
Power function
性质
符号统计量的平移性质Translation property
For every k， Pθ[S(0)>k] = P0[S(-θ)>k]
即总体中位数为θ时，样本大于零的个数之和大于k的概率 与总体中位数为0时，样本大于-θ的个数之和大于k的概率相同
Nondecresasing
γ(θ)是单边假设检验水平α的符号检验功效函数，则γ(θ)为θ的非递减函数
γ（θ）=Pθ[S(0)>cα]，θ增大中位数增大，γ不减
Hypothesis推广
H0' :θ<=θ0
10.2.2 Estimating Equations Based on the Sign Test
Estimate Equation
L1 distance
中位数θ的估计转换成使L1距离最小的点
EE
其解即为样本中位数Q2
变式
2S(θ)-n = 0
样本中位数也是S(θ) = n/2 的解
10.2.1 Asymptotic Relative Efficiency
子主题
10.3 Signed-Rank Wilcoxon
Background（缺点）
Sign Test推断非常简单，而且所需的基础分布很少
符号检验的有效性只是t检验的0.64倍
Lamma
即Xi的rank 和Xi 的符号是独立的
Signed-Rank Wilcoxon
假设
所以 Xi服从关于θ 对称的分布
Statistics
视为符号检验的一种加权后的结果
当两个距离原点距离相同时，权重应当一致
当一个的到原点距离小时，其权重应该小
Anti-Ranks
Denote the variable with the rank equal to j as Xij .
Decision Rule
Chapter 6 Maximum Likelihood Methods
极大似然估计 MLE
似然函数
一般取对数进行运算
估计方程
对数偏导为0
极大似然估计量 MLE
一般求解估计方程即可
MLE能使得其似然函数函数值达到最大
特殊情况下，例如含有示性函数的问题，直接看L(θ，X)的图像即可
正则条件（R0-R2）
R0
pdf unique，即不同的θ，pdf不同
R1
对于不同的θ，X有着相同的support
R2
θo为Ω的内点（即不为边界点）
似然函数 与 θo之间的关系
表明：似然函数在θ0处渐近达到最大值
定理6.1.1
MLE在函数作用不变性
定理6.1.2
MLE 与 θ的关系
θhat 依概率收敛于 θ
定理6.1.3
求pdf参数的mle
不满足正则条件
满足正则条件
求P(X>x)的mle
相当于把这个概率视作在θ某函数作用下的，求g(θhat)
习题6.1.5、6.1.6
求pmf的mle
二项分布mle
习题6.1.6
Rao-Cramer 下界及有效性
正则条件(R3-R4)
R3
pdf 二次可微
R4
pdf在积分符号下二次可微
R5
pdf三次可微，且得分函数的二阶导能被M（X）控制
得分函数 Score function
得分函数的期望为0
得分函数对所有变量求和为估计方程
Fisher infromation: I(θ)
得分函数平方的期望
等价形式
得分函数再对θ求偏导的期望的相反数
易于计算
费舍信息即得分函数的方差
易于理解
Rao-Cramer 下界
限制了Y的方差的最小值
推论
条件:在上述假设下，且Y为θ的无偏估计，即E(Y)=θ
Y的方差大于等于n倍的费舍信息的倒数
有效估计量Efficient Estimator
有效估计量（efficient estimator）：当Y为θ的无偏估计量 且 Y的方差达到RC下界时，称Y为θ的有效估计量
有效性（efficiency）：RC下界与Y方差的比称为Y的有效性
有效估计量衡量了大样本下Y对θ的接近程度
定理
条件：在R0~R5成立，费舍信息有限且θhat为θo的mle（即为似然估计方程的解）
求sqrt(n)*（θhat-θo)的渐进分布
习题6.2.7、8
在上述条件下
且如果g()连续
Δ-方法
Rn 依概率趋向于0
判断方法
步骤
1.首先看Y是否为无偏估计量
2.计算Y的方差V(Y)
3.得分函数二阶偏导数的期望的相反数计算I(θ)，及Rao-Cramer下界
4.判断是否达到Rao-Cramer下界
渐进有效性asymptotically efficiency
条件
θ1nhat是θ0的估计量（不一定为mle、不一定无偏估计）
渐进有效性
e的值称为θ1nhat的渐进有效性
渐进有效估计量
如果e= 1 ，则称θ0hat为渐进有效估计量
应用：
由定理知mle是渐进有效
渐进相对有效性ARE
定义：θ1nhat、θ2nhat均为θ0的估计量
1相对于2 的渐进相对有效性
e >1，θ1nhat更好
应用：比较两个估计量的好坏，直观上来看拥有较小渐进方差的估计量较好
极大似然检验
似然比检验(LRT，Likelihood Ratio Test)
正态分布LRT（精确分布）
常规统计量
θo为θ的真值，一般在H0中定义，θhat为θ的mle
λ小于从c，则拒绝H0
θo若为真值，比值应该接近于1；H1成立则比值较小
变式统计量
理论依据
似然函数可以化为
之后可以采用此检验量
在R0~R5成立，费舍信息有限。检验统计量服从卡方1分布
Decision rule
其中卡方L为上述定义的统计量
其他分布LRT(Asymptotical Distribution渐进分布)
在R0~R5成立，费舍信息有限。统计量依分布收敛于卡方1分布
沃尔德型检验(Wald-type Test)
统计量
由于I(θhat)依概率收敛于I(θ0)，此统计量的极限分布为卡方1
得分型检验(Score-type Test)
由于涉及到Score function: l'(θ0)，所以称之为得分型统计量
多参数估计
极大似然估计量 mle
等价的求解向量方程
上述定理6.1.1依旧成立
上述定理6.1.2依旧成立
上述定理6.1.3依旧成立
费舍信息阵Fisher Infromatation Matrix
密度函数对参数向量各分量梯度协方差矩阵
对于信息阵中的每个元素Ijk来说
计算方法
由于上式成立，并且得分函数的期望为0
计算化简可以得到每个信息阵每个元素的等价形式
优点此形式便于计算
对角线元素
信息阵对角线元素的形式大致和纯量的一样
随机样本下的费舍信息阵
由于样本量n且iid，所以具有一样的费舍尔信息阵
随机样本下的费舍信息阵为单独信息阵的n倍
费舍信息阵下的RC下界
估计量Yj的方差不小于费舍信息阵逆的对角线第j个元素除以n
多参数下的渐近性
θnhat是θ的渐进有效估计量
根号n倍的θnhat与θ的差依分布收敛于p元均值为0方差为费舍尔信息阵的逆的正态分布
纯量形式
对某一个参数
函数映射
设p元向量θ在函数g()的映射下
于是，g（θ）的偏导矩阵为
变换 η 为g(σ)的估计量
满足定理
于是η信息阵可以表示为
2.所以需要采取变换η=g(μ，σ)=σ方，进行转换，然后代入公式
3.此时如果要求I(η)，便可以通过此时的信息矩阵的逆求出
例题6.4.6
多参数检验
似然比检验LRT
其中Ωhat表示全空间下的mle
α的确定
0 条评论
回复 删除
下一页
