UA MATH566 统计理论7: Multiple Test

Bonferroni调整

Benjamini-Hochberg方法

Fisher方法
False Discovery Rate

Multiple test就是同时做多个假设检验，回归和试验设计都有涉及到，那两个系列用的是Bonferroni方法和WHS方法。这里也介绍一下Bonferroni方法，另外再介绍一个Fisher方法。

Bonferroni调整

假设要同时做

m m

m个假设检验，第

i i

i个的p值为

p_{i}, i = 1, ? ?, m p_i,i=1,\cdots,m

pi?,i=1,?,m，第

i i

i个检验出现type I error的事件为

A_{i} A_i

Ai?。定义Family-wise error rate (FWER)表示至少有一个检验出现type I error的概率，

α_{B} \alpha_B

αB?表示单个检验的显著性水平。假设

α \alpha

α为这

m m

m个联合检验的显著性水平，根据Bonferroni不等式

α = P (?_{i = 1}^{m} A_{i}) \leq \sum_{i = 1}^{m} P (A_{i}) = m α_{B} \alpha = P(\bigcup_{i=1}^m A_i) \le \sum_{i=1}^m P(A_i) = m\alpha_B

α=P(i=1?m?Ai?)≤i=1∑m?P(Ai?)=mαB?
因此拒绝第

i i

i个检验的原假设的条件可以写为

p_{i} \leq \frac{α}{m} \leq α_{B} p_i \le \frac{\alpha}{m} \le \alpha_B

pi?≤mα?≤αB?
这说明要同时做

m m

m个假设检验的话，如果要求的显著性水平为

α \alpha

α，那么对单个检验做判断时显著性水平应该用

α / m \alpha/m

α/m。

注意到Bonferroni不等式在所有的

A_{i} A_i

Ai?都独立时取等，此时

α = P (?_{i = 1}^{m} A_{i}) = 1 ? P (?_{i = 1}^{m} A_{i}^{C}) = 1 ? \prod_{i = 1}^{m} P (A_{i}^{C}) = 1 ? (1 ? α_{B})^{m} \alpha= P(\bigcup_{i=1}^m A_i) = 1 - P(\bigcap_{i=1}^m A_i^C) \\ = 1 - \prod_{i=1}^mP( A_i^C)  = 1 - (1-\alpha_B)^m

α=P(i=1?m?Ai?)=1?P(i=1?m?AiC?)=1?i=1∏m?P(AiC?)=1?(1?αB?)m

Benjamini-Hochberg方法

当

m m

m比较大之后，要拒绝原假设的条件会变得非常苛刻，甚至到几乎不可能的程度。为了得到更合理的推断，Benjamini-Hochberg方法用了比Bonferroni调整更宽松的条件：
假设

p_{(i)} p_{(i)}

p(i)?是这

m m

m个p值的次序统计量，search

k = \underset{i = 1, 2, ? ?, m, p_{(i)} \leq k \frac{α}{m}}{arg?max?} i k = \argmax_{i=1,2,\cdots,m,p_{(i)} \le k\frac{\alpha}{m}} i

k=i=1,2,?,m,p(i)?≤kmα?argmax?i
拒绝这

k k

k个

p_{(1)}, ? ?, p_{(k)} p_{(1)},\cdots,p_{(k)}

p(1)?,?,p(k)?对应的原假设。

Fisher方法

Fisher方法比较有意思，第五讲提到了原假设下p值服从均匀分布

U [0, 1] U[0,1]

U[0,1]：

p_{1}, ? ?, p_{m} ～_{i i d} U [0, 1] p_1,\cdots,p_m \sim_{iid} U[0,1]

p1?,?,pm?～iid?U[0,1]
根据概率论推导过的结论，它等价于

? 2 \ln ? p_{1}, ? ?, ? 2 \ln ? p_{m} ～_{i i d} e x p (1 / 2) -2\ln p_1,\cdots,-2 \ln p_m \sim_{iid} exp(1/2)

?2lnp1?,?,?2lnpm?～iid?exp(1/2)
因为

m m

m个指数分布

e x p (1 / 2) exp(1/2)

exp(1/2)的和是gamma分布

Γ (\frac{1}{2}, m) \Gamma(\frac{1}{2},m)

Γ(21?,m)，它其实就是卡方分布

χ^{2} (2 m) \chi^2(2m)

χ2(2m)。因此上面的结果可以写成

? 2 \ln ? p_{1} ? ? ? 2 \ln ? p_{m} ～ χ^{2} (2 m) -2\ln p_1 - \cdots -2 \ln p_m \sim \chi^2(2m)

?2lnp1????2lnpm?～χ2(2m)
因此

m m

m个联合检验的原假设下，可以用

? 2 \ln ? p_{1} ? ? ? 2 \ln ? p_{m} -2\ln p_1 - \cdots -2 \ln p_m

?2lnp1????2lnpm?作为检验的统计量构造一个卡方检验。

False Discovery Rate

这里引入false discovery rate的概念，它是p值的一个替代品之一。这里就直接用我老师的ppt截图了
在这里插入图片描述
简单解释一下这张表，首先一共要同时做

m m

m个检验，其中有

m π_{0} m\pi_0

mπ0?个检验的原假设是真命题，

m (1 ? π_{0}) m(1-\pi_0)

m(1?π0?)个检验的备择假设是真命题。我们拒绝了

R R

R个原假设，接受了

m ? R m-R

m?R个原假设。每个检验有四种可能的结果：原假设为真、拒绝原假设；原假设为假，拒绝原假设；原假设为真，接受原假设；原假设为假，接受原假设，符合这四个结果的检验数目分别为

V, S, U, T V,S,U,T

V,S,U,T。其中

V, T V,T

V,T分别是type I error的数目和type II error的数目。

先讨论一下false discovery rate (FDR)，ppt里面那个定义的意思就是FDR就是在拒绝原假设的条件下，原假设为真的概率。根据Hierarchical Model，p值服从混合分布

F_{p v a l u e} (x) = π_{0} x + (1 ? π_{0}) R O C (x) F_{pvalue}(x) = \pi_0 x + (1-\pi_0)ROC(x)

Fpvalue?(x)=π0?x+(1?π0?)ROC(x)
如果选择

α \alpha

α作为p值的上限，则

F D R = P [H_{0} i s t r u e ∣ r e j e c t H_{0}] = \frac{P [r e j e c t H_{0} ∣ H_{0} t r u e] P [H_{0} t r u e]}{P [r e j e c t H_{0}]} = \frac{α π_{0}}{F_{p v a l u e} (α)} FDR=P[H_0\ is\ true|reject\ H_0] \\= \frac{P[reject\ H_0|H_0\ true]P[H_0\ true]}{P[reject\ H_0]} = \frac{ \alpha \pi_0}{F_{pvalue}(\alpha)}

FDR=P[H0? is true∣reject H0?]=P[reject H0?]P[reject H0?∣H0? true]P[H0? true]?=Fpvalue?(α)απ0??
也就是说

F D R = \frac{π_{0} α}{π_{0} α + (1 ? π_{0}) (1 ? β)} FDR = \frac{\pi_0 \alpha}{\pi_0 \alpha + (1-\pi_0)(1-\beta)}

FDR=π0?α+(1?π0?)(1?β)π0?α?