马尔可夫定理:只用均值能说什么
Markov's TheoremR 非负时:Pr[R ≥ x] ≤ Ex[R]/x。推论 20.1.2:Pr[R ≥ c·Ex[R]] ≤ 1/c。IQ 均值 100 → 至多 1/3 的人 IQ≥300。粗糙?当然——但 19 章的帽子问题(Ex[G]=1,Pr[G≥x]≤1/x)和中餐开胃菜问题(Pr[全对]≤1/n)都靠它一击命中。
让它变锋利的技巧:平移。已知 IQ 下界 100,令 T = R − 100(非负,均值 50),则 Pr[R>200] = Pr[T>100] ≤ 50/100 = 1/2——从 3/4 磨到 1/2。同类技巧套上平方就升级成切比雪夫。
切比雪夫:方差登场
Chebyshev's TheoremVar[R] := Ex[(R − Ex[R])²](均方偏差);Pr[|R − Ex[R]| ≥ x] ≤ Var[R]/x²。用 σ = √Var(标准差,与 R 同单位)重写:Pr[|R−μ| ≥ cσ] ≤ 1/c²(推论 20.2.6)。
书中名场面:Game A(2/3 概率赢 $2、1/3 输 $1)与 Game B(2/3 赢 $1002、1/3 输 $2001)期望都是 $1——但 Var[A]=2,Var[B]=2,004,002。十局 A 最坏也就小输;十局 B 理论上能亏两万多。期望说"平均赚多少",方差说"离均值有多疯"。
方差的性质
Properties of VarianceVar[R] = Ex[R²] − Ex²[R](引理 20.3.1)· Bernoulli:Var = p(1−p) · 几何分布(每步失效概率 p):Var = (1−p)/p² · Var[aR+b] = a²Var[R](平移不动、缩放平方)· 独立可加:Var[R+S] = Var[R]+Var[S]——只需 pairwise 独立(定理 20.3.8);R=S 反例:Var[2R] = 4Var[R] ≠ 2Var[R]。二项分布 Var = np(1−p)。
生日配对:期望 12.23 对,方差呢?
Matching Birthdays95 人的班里配对生日数 M:配对事件 pairwise 独立(Alice-Bob 的信息不影响 Alice-Carol——虽然三向上就不独立了!),于是方差可加:
切比雪夫:Pr[|M − 12.23| ≥ 7] ≤ 12.2/49 < 25%——所以 75% 以上的概率,班里同生日对数落在 6 到 19 之间。模拟对拍:
随机采样:该问多少人?
Estimation by Random Sampling估计支持率 p:抽 n 人(有放回),样本占比 Sₙ/n。想要 ±0.04、95% 置信。Var[Sₙ/n] ≤ 1/(4n)(p(1−p) 在 p=1/2 最大),切比雪夫一压:
推论 20.4.2(弱大数定律):pairwise 独立、同均值有限方差 → 样本均值依概率收敛到 μ。选民总数从头到尾没出现过——3000 人永远够,不管总人口一万还是十亿。
置信的语言:别把 p 说成随机
Confidence in an Estimation"1250/3125 的样本支持 Brown,所以『p > 1/3 的概率是 95%』"——错。p 是一个固定的真值,未知 ≠ 随机。正确的说法:"我们的估计程序有 95% 的概率产出 ±0.04 内的结果";民调员的话术:"在 95% 置信水平下,支持率为 1250/3125 ± 0.04"——置信水平是对程序的评价,不是对 p 的赋概率。要么区间对了,要么发生了 1/20 的小概率事件。
Chernoff 界:把尾部打成指数级
The Chernoff Bound均值和方差都知道了,切比雪夫就是天花板。但如果随机变量是一堆独立小变量之和(每个取值 ∈[0,1]),还有一把锤子——Chernoff 界(定理 20.6.1):
指数 vs 多项式:Markov 给 1/c、切比雪夫给 1/c²、Chernoff 给 e^(−Θ(Ex[T]))。1000 次掷币正面超均值 20%(c=1.2,β=0.0187):概率 < 1/10,000;超 30%(β=0.041):1/10 亿;一百万枚硬币:e^(−9392),"不可想象的小"。应用:Pick-4 彩票 1000 万玩家翻车概率 e^(−386);Fussbook(虚构社交站)负载均衡——24000 帖、每帖平均 ¼ 秒、600 秒窗口:
20.6.8Murphy 定律:能出错的,多半真会出错
反向使用:一堆独立事件,若期望发生件数 Ex[T] 很大,则 Pr[T = 0] ≤ e^(−Ex[T])。期望 10 件事发生 → 至少一件的概率 ≥ 1 − e⁻¹⁰ > 99.995%。10 万张 Pick-4 彩票"无人中奖"概率 < 1/22000——"巧合"、"奇迹"之所以出现,是因为可能的怪事实在太多,总概率加起来早就爆表了。
20.7Really Great Expectations:期望 ∞ 的"必胜"赌局
掷公平硬币直到出现正面,记下你连续反面的长度 k;然后不断重掷,直到掷出比 k 更长的反面连击才停——你必然会赢(概率 1),我每轮失败收你 1 分钱,赢了随便我付。听着像送钱?重试次数的期望 = 2^(k+1)(均故障时间),无条件期望 = Σ 1 = ∞。任何随机变量"等到出现更大值"的期望等待时间都是无限的——有限的奖金永远配不平无限的等待。
习题实战
Problem 20.13, Playable原书习题 20.13(页面挑战列表同款):n 把钥匙只有 1 把能开门,试错即弃。T = 开门所需次数。
终局自测
Final Check六题,覆盖全章。
彩蛋与课后挑战
Easter Eggs & ProblemsScott Brown 与 3125 人的由来(20.4 开场)
2010 年麻省参议员补选,民主党早期民调全没看出共和党人 Scott Brown 会赢 Teddy Kennedy 坐了 40 多年的席位——抽样误差不是抽象概念,是会翻盘的。切比雪夫版的 3,125 偏保守——真实二项(正态近似)约 600,原书 20.6.2 的尾界法能把 n 再压小约 4 倍;第 21 章的 Chernoff 界正是干这个的。书中脚注:这个例子 xkcd #882 有一幅著名的吐槽(显著性检验的次数问题)。
中餐开胃菜:Markov 的高光时刻(20.1.1)
n 人围坐转盘分冷盘,每人拿到自己原来那份的概率精确 = 1/n;马尔可夫只用了 Ex[R]=1 就给出 Pr[R≥n] ≤ 1/n——粗糙的界偶尔精确命中。而帽子问题真值 1/n! 时 Markov 仍只给 1/n:同一工具,时灵时不灵。
课后挑战(均出自原书习题)
- 20.3 R 非负且有下界 b:对 R−b 套 Markov 能再压低 Pr[R ≥ x]——证明 b>0 时界必更小,并找出最优的 b;对偶的"有上界 u 时用 u−S 界 S 远低于均值"见正文 20.1.2 末尾评注。
- 19.19(前章回马枪) MIT 洗衣三连:busy(3 套题各 1 或 2 天)、relaxed(掷骰到 1 才洗)、unlucky(两骰积天数)——三种懒法各期望多少天?混合型呢(Ex[D])?
- 20.18 证明方差的 pairwise 独立可加性(定理 20.3.8);平方倍规则 Var[aR] = a²Var[R] 顺手一并推。
- 20.13 n 把钥匙只有一把开门,试错即弃:已知 Ex[T] = (n+1)/2(19.25),写出 Var[T] 的闭式。