0 · 从离散转移概率 \(P\) 到连续转移速率 \(Q = P'(0)\)
- 为什么 \(Q\) 矩阵的行和恒为 0（而不是 1）？因为对任意 \(t\ge 0\)，转移概率矩阵行和 \(\sum_j p_{ij}(t) \equiv 1\)。两边对 \(t\) 求导并在 \(t=0^+\) 取值，常数 \(1\) 的导数为 \(0\)！因此对角元 \(q_{ii} = -q_i \le 0\)（离开状态 \(i\) 的总速率），非对角元 \(q_{ij} \ge 0\)（从 \(i\) 跳到 \(j\) 的速率），且 \(q_{ii} = -\sum_{j\neq i} q_{ij}\)。
- 稳态方程 \(\boldsymbol\pi Q = \mathbf{0}\) 的物理意义（全局流量平衡）：对每个状态 \(j\)，\(\sum_{i\neq j}\pi_i q_{ij} = \pi_j q_j\)，即“单位时间内从其他状态流入状态 \(j\) 的总概率流 = 从状态 \(j\) 流出的总概率流”！
自学导读 · Q 矩阵与非爆炸条件
① 遗忘知识补足
Q 的非对角元为非负转移速率，对角元为负离开率；求稳态通常使用 πQ=0 加归一化，但无限状态链还需核查非爆炸等条件。
② 推导或例题
两个状态之间切换：0→1 速率 α，1→0 速率 β。Q=[[-α,α],[β,−β]]。由 π₀α=π₁β、π₀+π₁=1 得 π=(β/(α+β),α/(α+β))（α+β>0）。
💡 破题关键与第一步提示（遮答案自测用 · ③ 考前自测（展开））
破题切入点：为什么 πQ=0 的代数解与真正的平稳分布不能在无限状态情况下无条件画等号？（👉 先合上下方完整推导，自己动手算完关键步再核对踩分点！）
📝 完整规范推导与评分踩分点（③ 考前自测（展开））
为什么 πQ=0 的代数解与真正的平稳分布不能在无限状态情况下无条件画等号？
补充训练不替代教师本学期课件与考核通知。
两状态连续时间链：Q 矩阵、平衡与瞬时概率
系统在状态 0 时以速率 \(\alpha>0\) 跳到 1，在状态 1 时以速率 \(\beta>0\) 跳回 0。
- 写生成矩阵 \(Q=\begin{pmatrix}-\alpha&\alpha\\\beta&-\beta\end{pmatrix}\)。行和为零，非对角元是跃迁率而不是每秒钟的概率。
- 列稳态流量平衡 \(\pi_0\alpha=\pi_1\beta\)，与 \(\pi_0+\pi_1=1\) 联立得 \(\pi_0=\beta/(\alpha+\beta),\;\pi_1=\alpha/(\alpha+\beta)\)。有限状态链不会爆炸，此处平衡解确实是平稳分布。
- 若初始状态为 0，设 \(p(t)=P_{01}(t)\)。Kolmogorov 前向方程给出 \(p'(t)=\alpha(1-p(t))-\beta p(t)\)，\(p(0)=0\)。
- 解得 \(P_{01}(t)=\dfrac{\alpha}{\alpha+\beta}(1-e^{-(\alpha+\beta)t})\)。当 \(t\to\infty\)，极限为 \(\pi_1\)，可与稳态结果交叉验证。
💡 破题关键与第一步提示（遮答案自测用 · 自测：若 \(\alpha=2,\beta=1\)，稳态中状态 1 的比例是多少？）
破题切入点：\(\pi_1=2/(2+1)=2/3\)。（👉 先合上下方完整推导，自己动手算完关键步再核对踩分点！）
📝 完整规范推导与评分踩分点（自测：若 \(\alpha=2,\beta=1\)，稳态中状态 1 的比例是多少？）
\(\pi_1=2/(2+1)=2/3\)。状态 0 的平均停留时间 \(1/2\)，状态 1 的平均停留时间 1，不能把跳跃率与驻留时间混为一谈。
修订版 · 重点核对
先看：本模块易错点与补充
关键勘误- 连续链平稳分布的原始条件是 \(\pi P(t)=\pi\) 对任意 \(t\ge0\)；在常见非爆炸模型中可用 \(\pi Q=0\) 求解，并非前者“错误”。
- 对可数状态过程，需要额外检查 Q 生成元、前后向方程与非爆炸条件；有限时间无穷多次跳跃在爆炸模型下并非逻辑不可能。
- 后续队列公式速查 M/M/1、M/M/c、有限容量模型。
0 · 本讲导读（含重讲说明）
第 6 讲分两半：前半（S8–43）重讲“齐次马氏链状态的分类”——首达/互通/常返/正常返零常返/状态空间分解/不可约/周期/极限定理，含吸收壁、例2（E={1,2,3,4}）、例3（E={1..6}，周期3）、例4/例5（可数状态）等全部例题，这些内容与第 5 讲完全相同，本模块不再重复，请直接看模块 3 的 §7–§12。
后半（S44–53）是全新内容：连续参数马尔可夫链——把时间参数从 n 换成连续 t。这是排队论的数学地基：下一讲的生灭过程和 M/M/1/∞ 全部建立在“转移概率函数 + Q 矩阵”上。本模块按新内容整理。
大白话 · 整讲一句话
离散链问“n 步后到 j 的概率 \(p_{ij}(n)\)”，连续链问“经过时间 t 后到 j 的概率 \(p_{ij}(t)\)”。把“步”换成“时长”，C-K 方程、遍历性、平稳分布全部平行搬过来；再往前走一步——对 t 求导，得到 Q 矩阵（转移速度）和平稳分布的微分方程形式 πQ=0——排队论的所有平衡方程都是它的特例。
本讲考试重点
- Q 矩阵与柯氏方程（本讲核心）：Q 的定义式（极限式）、\(P'(0)=Q\)、行和为零；后退 \(P'=QP\) / 前进 \(P'=PQ\) / 福克–普朗克 三方程的区分——简答与填空高频；
- πQ=0：平稳分布方程，与离散链 π=πP 对照记忆——判断题最爱考"连续链平稳条件是 πP(t)=π（对所有 t≥0）；正则非爆炸模型可用 πQ=0 求解。不能把 πP(t)=π 判错；
- 遍历判别：有限 + ∃t₀ 使 \(p_{ij}(t_0)>0\) ⟹ 遍历（与离散版平行）；
- 离散 vs 连续对照表（第 6 节）：逐行背，考"对照"类填空。
1 · 连续参数马氏链的定义
先修自查（微积分两件套）
本讲的核心动作是"对 t 求导"和"取 t→0⁺ 的极限"，用到：①导数定义 \(f'(0)=\lim_{t\to0}\frac{f(t)-f(0)}{t}\)——Q 矩阵的定义就是把它用到 \(p_{ij}(t)\) 上；②一阶线性微分方程 \(\ y'=ay+b\) 的解法（第 4 讲泊松微分方程法的连续版）；③矩阵求导的记号：\(P'(t)\) 表示每个元素各自求导。极限和求导的手生的话，翻高数附录复习半小时，本讲公式量不大但每一步都是极限/导数。
缺基础？求导、积分、级数、矩阵乘法、复数的手生处，直接翻上级目录的 《数学基础工具箱》（每条约三分钟，配例题与易错点；考前还有"十分钟急救包"）。
缺基础？求导、积分、级数、矩阵乘法、复数的手生处，直接翻上级目录的 《数学基础工具箱》（每条约三分钟，配例题与易错点；考前还有"十分钟急救包"）。
定 义
设随机过程 \(\{X(t),t\ge0\}\)，状态空间 \(E=\{0,1,2,\dots\}\)。若对 \(0<t_1<\cdots<t_n<t_{n+1}\) 及非负整数 \(i_1,\dots,i_n,i_{n+1}\)：
\[P\{X(t_{n+1})=i_{n+1}\mid X(t_1)=i_1,\dots,X(t_n)=i_n\}=P\{X(t_{n+1})=i_{n+1}\mid X(t_n)=i_n\}\]
（马尔可夫性），则称 \(\{X(t),t\ge0\}\) 为连续参数马尔可夫链。
与离散版唯一区别：参数集 \(T=[0,+\infty)\) 连续。排队的队长 \(N(t)\) 就是它。
2 · 转移概率函数与齐次性
转移概率函数
\[p_{ij}(s,t)=P\{X(t+s)=j\mid X(s)=i\},\qquad P(s,t)=(p_{ij}(s,t))_{i,j\in E}\]
直观：时刻 s 在状态 i，再经过时长 t 转到 j 的条件概率。显然 \(p_{ij}(s,0)=\delta_{ij}\)。
连续参数齐次马氏链
若转移概率与起点 s 无关：\(p_{ij}(s,t)=p_{ij}(t)\)，称齐次；\(P(t)=(p_{ij}(t))\) 为转移矩阵，\(0\le p_{ij}(t)\le1\)，\(\sum_jp_{ij}(t)=1\)。
正则性条件： \[\lim_{t\to0^+}p_{ij}(t)=\delta_{ij}=\begin{cases}1,&i=j\\0,&i\ne j\end{cases}\] 物理解读（课件原话）：过程刚进入某状态不可能立即又跳到另一状态——有限时间内发生无穷多次跳跃要消耗无穷能量，不可能。
正则性条件： \[\lim_{t\to0^+}p_{ij}(t)=\delta_{ij}=\begin{cases}1,&i=j\\0,&i\ne j\end{cases}\] 物理解读（课件原话）：过程刚进入某状态不可能立即又跳到另一状态——有限时间内发生无穷多次跳跃要消耗无穷能量，不可能。
3 · 初始/绝对分布、遍历性、平稳分布
定义（平行于离散链）
初始分布 \(p_j(0)=P\{X(0)=j\}\)；绝对分布 \(p_j(t)=P\{X(t)=j\}\)。遍历性：若 \(\lim_{t\to+\infty}p_{ij}(t)\) 存在且与 i 无关；记 \(\pi_j>0,\ \sum_j\pi_j=1\)，\(\{\pi_j\}\) 为极限分布。平稳分布：\(\{v_j\}\) 满足
\[v_j=\sum_i v_i\,p_{ij}(t),\qquad\text{对一切 } t\ge0\quad\big(\text{即 } \boldsymbol v=\boldsymbol vP(t),\ \forall t\big).\]
4 · 转移概率函数的性质
性质清单
- \(0\le p_{ij}(t)\le1\)；
- 连续性（正则性）条件：\(\lim_{t\to0^+}p_{ij}(t)=\delta_{ij}\)；
- C-K 方程：\(p_{ij}(t+s)=\sum_kp_{ik}(t)\,p_{kj}(s)\)，矩阵形式 \(\;P(t+s)=P(t)P(s)\)；
- 绝对概率：\(p_j(t)=\sum_i p_i(0)\,p_{ij}(t)\)（即 \(\boldsymbol p(t)=\boldsymbol p(0)P(t)\)）；
- 遍历 ⟹ \(\lim_{t\to+\infty}p_{ij}(t)=\pi_j\)；
- 遍历判别（有限版）：状态有限 \(E=\{0,\dots,s\}\)，若存在 \(t_0>0\) 使 \(p_{ij}(t_0)>0\)（∀i,j），则链遍历，极限分布是唯一平稳分布；
- 固定 i,j 时 \(p_{ij}(t)\) 是 \(t>0\) 的一致连续函数。
与离散链判别的对照
离散版：“∃n₀ 使 \(P^{n_0}\) 全正 ⟹ 遍历”；连续版：“∃t₀ 使 \(P(t_0)\) 全正 ⟹ 遍历”。一一对应。
5 · Q 矩阵与柯氏方程 ★★（本讲核心）
状态转移速度矩阵（Q 矩阵）
满足正则性条件的齐次马氏链存在极限：
\[q_{ij}=\lim_{t\to0^+}\frac{p_{ij}(t)-\delta_{ij}}{t},\qquad q_i=\sum_{j\ne i}q_{ij}=-q_{ii}\]
其中 \(q_i\) 是通过状态 i 的速度（强度），\(q_{ij}\) 是从 i 转到 j 的转移速度。称
\[Q=(q_{ij})_{(s+1)\times(s+1)}\]
为状态转移速度矩阵（Q 矩阵）。由导数定义：\(P'(0)=Q\)，即 \(p'_{ij}(0)=q_{ij}\)。
行和为 0：\(q_{ii}=-\sum_{j\ne i}q_{ij}\)（对角线是“离开速度”的负值）。
行和为 0：\(q_{ii}=-\sum_{j\ne i}q_{ij}\)（对角线是“离开速度”的负值）。
柯尔莫哥洛夫方程 ★★（排队论的引擎）
当 \(q_i<+\infty\) 时：
| 方程 | 形式 | 矩阵形式 |
|---|---|---|
| 后退方程（Kolmogorov backward，对 i 求导） | \(p'_{ij}(t)=\sum_k q_{ik}\,p_{kj}(t)\) | \(P'(t)=Q\,P(t)\) |
| 前进方程（forward，对 j 求导） | \(p'_{ij}(t)=\sum_k p_{ik}(t)\,q_{kj}\) | \(P'(t)=P(t)\,Q\) |
| 福克–普朗克方程（绝对概率） | \(p'_j(t)=\sum_i p_i(t)\,q_{ij}\) | \(\boldsymbol p'(t)=\boldsymbol p(t)\,Q\) |
平稳分布的微分方程形式 ★★
齐次不可约连续参数马氏链存在极限分布 = 平稳分布 \(\{\pi_j\}\)，且
\[\boxed{\ \boldsymbol\pi Q=\boldsymbol 0\ },\qquad \sum_j\pi_j=1.\]
排队论读法：下一讲生灭过程的“出生率-死亡率平衡方程”就是 πQ=0 按状态逐行写开的形式；M/M/1 的 \(λπ_0=μπ_1\) 等结论全部由此而来。
大白话 · Q 矩阵怎么读
\(q_{ij}\)（i≠j）= “从 i 跳到 j 的速度”（单位时间内的转移强度）；\(q_{ii}=-q_i\) = “离开 i 的总速度”取负。在生灭过程里：\(q_{n,n+1}=\lambda_n\)（出生率）、\(q_{n,n-1}=\mu_n\)（死亡率）、\(q_{nn}=-(\lambda_n+\mu_n)\)。解排队系统 = 解 πQ=0 + 归一化。
大白话 · 后退/前进怎么记不死
后退方程 \(P'(t)=QP(t)\)：对"出发状态 i"求导 ⟹ Q 管的是"从 i 迈出第一步的速率" ⟹ Q 乘在左边（紧挨着出发端）。前进方程 \(P'(t)=P(t)Q\)：对"到达状态 j"求导 ⟹ 关心"最后一步跳进 j" ⟹ Q 乘在右边（紧挨着到达端）。口诀："谁求导，Q 靠谁"——按 i 求导 Q 在左，按 j 求导 Q 在右。福克–普朗克 \(p'(t)=p(t)Q\)：绝对概率是"行向量分布在流动"，它的演化也由 Q 从右侧推一把。
记忆锚点：离散链的 C-K 是 \(P(t+s)=P(t)P(s)\)（"先走 t 再走 s"），连续版两边对 t 求导：左端 \(P'(t+s)\)，令 s→0 得 \(P'(t)=P(t)Q\)（前进）；对 s 求导同理得 \(P'(t)=QP(t)\)（后退）——柯氏方程就是 C-K 方程的导数版，不是两个孤立的新公式。
大白话 · πQ=0 在说什么（为 M/M/1 埋种子）
πQ=0 按行写开就是"对每个状态 j：流入 j 的速率之和 = 流出 j 的速率"。生灭过程（下一讲）里每个状态只能跳到相邻状态（出生 λ、死亡 μ），于是逐行写开得到一条漂亮的递推：\(\lambda\pi_j=\mu\pi_{j+1}\)——"向上的流等于向下的流"。M/M/1 排队论的稳态公式 \(p_k=(\lambda/\mu)^k p_0\) 全部从这条递推累乘而来。πQ=0 不是一道抽象方程，它是排队系统"收支平衡"的会计恒等式。
6 · 离散 vs 连续参数链对照表（防混淆）
| 离散参数齐次链 | 连续参数齐次链 | |
|---|---|---|
| 转移概率 | \(p_{ij}(n)=P\{X(m+n)=j|X(m)=i\}\) | \(p_{ij}(t)=P\{X(s+t)=j|X(s)=i\}\) |
| C-K | \(P(n+s)=P(n)P(s)\)，\(P(n)=P^n\) | \(P(t+s)=P(t)P(s)\)（一般 \(P(t)\ne P^t\)） |
| 遍历判别 | 有限 + ∃n₀：\(p_{ij}(n_0)>0\) | 有限 + ∃t₀：\(p_{ij}(t_0)>0\) |
| 平稳分布 | \(\boldsymbol\pi=\boldsymbol\pi P\)（πP=π−P=0） | \(\boldsymbol\pi Q=\boldsymbol 0\) |
| 瞬时量 | — | Q 矩阵：\(P'(0)=Q\)，柯氏前进/后退方程 |
| 极限 | \(\lim_{n\to\infty}p_{ij}(n)=\pi_j=1/\mu_j\) | \(\lim_{t\to\infty}p_{ij}(t)=\pi_j=1/\mu_j\)（\(\mu_j\)=平均返回时间） |
易错点
① 连续链的平稳分布条件是 πQ=0，但平稳也等价于 π=πP(t) 对全部 t≥0 成立；在常见保守、正则（非爆炸）条件下，可用 πQ=0 计算；② \(P(t+s)=P(t)P(s)\) 里的 t 是时长，别写成“时刻 t 的矩阵自乘 t 次”；③ t→0+ 的随机连续性与 Q 矩阵可微生成元有关，但不能仅靠连续性保证所有速率均有限；可数状态还需注意非爆炸与方程成立条件。
7 · 课堂练习
练 习
设齐次马氏链 \(\{X(n),n=0,1,2,\dots\}\)，状态空间 \(E=\{1,2,3,4,5\}\)，给定一步转移矩阵（见课件 S57）：
(1) 画状态转移图；(2) 讨论各状态性质；(3) 分解状态空间。
解题套路即模块 3 §10–12 的标准流程：画图 → 按互通类打标签（常返性/周期）→ 写 E=N+C₁+…+C_k。
8 · 公式速查 / 自测 / 下一步
| 转移概率函数 | \(p_{ij}(s,t)=P\{X(s+t)=j|X(s)=i\}\)；齐次 ⟺ =p_{ij}(t)；正则性 \(\lim_{t\to0^+}p_{ij}(t)=\delta_{ij}\) |
| C-K | \(P(t+s)=P(t)P(s)\)；\(\boldsymbol p(t)=\boldsymbol p(0)P(t)\) |
| 遍历判别 | 有限 + ∃t₀ 全正 ⟹ 遍历，极限分布=唯一平稳分布 |
| Q 矩阵 | \(q_{ij}=\lim_{t\to0^+}\frac{p_{ij}(t)-\delta_{ij}}t\)；\(P'(0)=Q\)；\(q_{ii}=-\sum_{j\ne i}q_{ij}\) |
| 柯氏方程 | 后退 \(P'=QP\)；前进 \(P'=PQ\)；福克–普朗克 \(\boldsymbol p'=\boldsymbol p Q\) |
| 平稳分布 | πQ=0 + Σπ=1（不可约链存在且唯一） |
自 测
- 连续参数马氏链的正则性条件是什么？物理含义？
- 写出 C-K 方程的矩阵形式；连续链的平稳分布满足什么方程？
- Q 矩阵的元素 q_ij 怎么定义？行和有什么性质？
- 前进/后退方程怎么区分？福克–普朗克方程的对象是谁？
- 排队论为什么关心 πQ=0？
💡 破题关键与第一步提示（遮答案自测用 · 答案要点）
破题切入点：\(\lim_{t\to0^+}p_{ij}(t)=\delta_{ij}\)；（👉 先合上下方完整推导，自己动手算完关键步再核对踩分点！）
📝 完整规范推导与评分踩分点（答案要点）
- \(\lim_{t\to0^+}p_{ij}(t)=\delta_{ij}\)；刚进入的状态不会立即跳出（有限时间内发生无穷次跳跃在一般可数状态 CTMC 中可能出现（爆炸），必须另假设非爆炸）。
- \(P(t+s)=P(t)P(s)\)；πQ=0（+Σπ=1）。
- \(q_{ij}=\lim_{t\to0^+}(p_{ij}(t)-\delta_{ij})/t\)；行和为 0。
- 后退对“出发状态”求导（Q 在左），前进对“到达状态”求导（Q 在右）；福克–普朗克的对象是绝对概率 p_j(t)。
- 平稳分布=排队系统的稳态占比，由它算 L、Lq、W、Wq 等全部指标。
下一讲预告：生灭过程（出生/死亡速率、柯氏方程的显式解）与 M/M/1/∞ 排队系统——本讲 πQ=0 将变成“流量平衡方程”逐行求解。
🎯 考场题型信号词 → 破题套路速查表 期末冲刺必背 · 信号词秒配定理与防扣分清单
考场上读题 10 秒内锁定“题干信号词”，直接调用中间列的定理模板作答，并在交卷前对照右列逐条排查高频扣分点。
| 🔍 题干信号词 / 设问特征 | ⚡ 必用定理 / 核心递推式 / 标准破题套路 | 🚨 老师批改高频扣分点 |
|---|---|---|
| 由微元转移概率 \(p_{ij}(\Delta t)\) 或生灭速率写出密度矩阵（\(Q\) 矩阵） | 非对角元 \(q_{ij}=\lim_{\Delta t\to 0^+}\frac{p_{ij}(\Delta t)}{\Delta t}\ge 0\)（\(i\ne j\)）；对角元 \(q_{ii}=-q_i=-\lim_{\Delta t\to 0^+}\frac{1-p_{ii}(\Delta t)}{\Delta t}\le 0\)；保守链每行元素和恒为 0 | ⚠ 避坑：与离散链转移矩阵 \(P\)（行和为 1、对角线非负）混淆，把 \(Q\) 矩阵对角线写成正数或行和写成 1 |
| 生灭过程 / 排队模型（M/M/1, M/M/c, M/M/c/K）写 \(Q\) 矩阵与求平稳分布 \(\pi\) | 三对角生灭 \(Q\) 矩阵：\(q_{i,i+1}=\lambda_i,\,q_{i,i-1}=\mu_i,\,q_{ii}=-(\lambda_i+\mu_i)\)；平稳分布用切面流量平衡法 \(\lambda_i \pi_i = \mu_{i+1}\pi_{i+1}\) 递推并用 \(\sum \pi_n=1\) 定 \(\pi_0\) | ⚠ 避坑：多服务台 M/M/c 漏写分段服务率：当 \(n |
| 列出柯尔莫哥洛夫向后微分方程与向前微分方程 | 向后方程（对出发态求导）：\(P'(t)=QP(t)\) 即 \(p_{ij}'(t)=\sum_k q_{ik}p_{kj}(t)\)；向前方程（对到达态求导）：\(P'(t)=P(t)Q\) 即 \(p_{ij}'(t)=\sum_k p_{ik}(t)q_{kj}\) | ⚠ 避坑：向后与向前方程中 \(Q\) 与 \(P(t)\) 的左右顺序颠倒；漏写初始条件 \(P(0)=I\) |
| 纯生过程（泊松过程 / Yule 过程）求解 \(p_{ij}(t)\) | 利用向前方程 \(p_{0n}'(t)=-\lambda_n p_{0n}(t)+\lambda_{n-1}p_{0,n-1}(t)\)（\(n\ge 1\)）及 \(p_{00}(t)=e^{-\lambda_0 t}\) 一阶线性微分方程递推积分 | ⚠ 避坑：解一阶线性非齐次微分方程 \(y'+\lambda_n y = g(t)\) 时积分因子 \(e^{\lambda_n t}\) 漏乘 |
| 连续参数马氏链平稳分布求解 \(\pi Q = 0\) | 联立代数方程组 \(\sum_{i\in S} \pi_i q_{ij} = 0\) 与归一化条件 \(\sum_{j\in S} \pi_j = 1\)（注意右边是 0 而不是 \(\pi\)！） | ⚠ 避坑：误写成离散链的 \(\pi Q = \pi\)（必错！连续链平稳方程是 \(\pi Q = \mathbf{0}\)） |