# 概率统计、大数定律与随机性

[[MCS/day11/00 学习指南|day11 学习指南]] · [[MCS/00 MCS学习总览|十一天总览]] · [[MCS/day11/阅读核验与疑问|阅读核验与疑问]] · 下一篇：[[MCS/day11/02 Transformer、自注意力与 Adam 课堂记录|Transformer、自注意力与 Adam 课堂记录]]

> 来源：[[MCS/day11概率统计与大数定律|day11概率统计与大数定律]]。用途：主线。原有推导、追问与解答保留；阅读时请结合本日核验说明。

## 从确定性到随机性

我们去计算特征值
过去“确定性”
Common feature：给定输入，必然得到确定的输出
Natural Science
NatureScience SCI
SSCI

## 概率论的背景

帕斯卡与费马
赌博分配赌金
如果一场赌局被迫中断，现有的优势应该如何公平的转化为赌金。

期望值 奠定了概率论的基础
伯努利
《推测术》
大数定律
拉普拉斯 
发展了概率论 定义了“古典概率”
赌博与骰子
结果不可预测，但可能的范围是已知的某个结果出现可能性大小
保险业与风险
保费定多少才合理？
走镖
概率论是金融和保险业的基石

## CS 中的随机性
网络，数据包丢失的概率 网络协议设计的基础；加密，密钥一定是随机的，否则会被破解；AI，LLM Gen 下一个词，本质是在概率中分布采样；
Algori，随机化快速排序，通过随机选主元来避免最坏情况；曾
世界是不确定的，但不确定性是有规律的。在不确定性中找最优解
概率，是我们从宏观的随机中，提取出微观的确定性规律。
大数定律连接理论概率 实际频率保证了蒙特卡洛模拟的收敛性
推荐系统，用户历史行为，预测他可能喜欢的下一个视频；
自动驾驶，根据传感器的噪声数据，估计前方障碍物的真实位置；
自然语言处理，根据上下文，预测下一个词（概率问题);
1. **大模型的幻觉是固有存在的问题**——它本身就是一个无法彻底根除的底层缺陷，不是某个厂商能靠技术手段完全消灭的。
    
2. **任何宣称“已消除幻觉”的厂商都是在吹牛**——谁说自己彻底解决了幻觉，那是在忽悠，做不到。
    
3. **模型越智能，幻觉反而越严重**——一味追求提升模型能力、让它更聪明，幻觉不但不会减少，反而会随之增大。


## 样本空间、事件与概率

样本空间Ω=所有可能的结果的集合构成的集合
事件 A：样本空间 的一个子集 A={2,4, 6}概率 P(A) 事件 A 发生的可能性
P(A)≥0
P(S)=1
A B 互斥，P(A∪B)=P(A)+P(B)
条件概率：P(A|B)=P(A∩B)/P(B)
独立性：P(A∩B)=P(A)P(B)

## 期望、方差与大数定律

Expectation：随机变量的平均值“预期收益”公式一
Variance：随机变量偏离期望的程度ª风险”公式二
高收益低风险
高期望 低方差 EHVL
大数定律
设 x 1, x 2, x 3, .. xn 是独立同分布的随机变量
弱：概率趋近于 0
强：概率几平一定趋近于 0
切比雪夫不等式
这个不等式以数量化这方式来描述，究竟“几乎所有”是多少，“接近”又有多接近：5
与平均相差 2 个标准差以上的值，数目不多于 1/4
与平均相差 3 个标准差以上的值，数目不多于 1/9
与平均相差 4 个标准差以上的值，数目不多于 1/16
与平均相差 k 个标准差以上的值，数目不多于 1/k ^ 2

## 中心极限定理
大量独立同分布随机变量之和的分布，近似于正态分布

## A/B 测试
webpage design
75
Button 能否提高点击率？
User 分成两组
A 组 old button 统计点击率
B 组 new button 统计点击率
蒙特卡洛树搜索(AlphaGo)
随机模拟未来棋局

LLM 的采样
1. **GPT 生成文字的基本机制**——本质上就是“预测下一个词”：先计算一个概率分布，再根据这个分布采样选出下一个词，如此循环生成文字。
    
2. **温度参数（temperature）的作用**——它控制的是概率分布的平滑程度。
    
3. **温度高低的影响**——
    
    - 温度越高 → 分布越均匀 → 输出更多样
        
    - 温度越低 → 分布越尖锐 → 输出更确定


金融风控
一个银行评估贷款的一个风险，需要去估算违约的一个概率。
模型能力决定上限，数据决定下限
[LLM Visualization](https://bbycroft.net/llm)