无失真信源编码详解

无失真信源编码

在无失真信源编码中，编码和解码过程可逆，确保信源符号无差错恢复。实现无失真编码需满足：信源符号与码字一一对应；能无失真或无差错地从码字恢复信源符号；传送所需信息率最小。

无失真定长编码定理指出，在定长编码中，输出码字长度固定。寻找最小码长K值，使得信息率最小。等长编码示例，英文电报27个符号需至少用5位二元符号编码。

等长编码定理说明，对于由L个符号组成的信源，每个符号熵为H，可使用K个符号（每符号有M种可能值）进行等长编码。当编码器容许的输出信息率，即每个信源符号输出码长为k时，只要满足一定条件，这种编码器可以实现几乎无失真，条件是信源序列足够长。

编码效率与信源长度相关。衡量编码效果，定义编码效率。等长编码实现几乎无失真需满足信源长度与熵条件。采用二进制编码，离散无记忆信源每符号至少需要logL位才能保证唯一可译码。

无失真变长编码定理关注平均码长，变长编码平均码长为码字位数的数学期望。单个符号变长编码定理要求信源符号熵为H，每个信源符号用M进制码元编码，存在一种无失真编码方法，码字平均长度或平均信息速率R满足不等式。

对于平均符号熵为H的信源，存在一种无失真编码方法，使平均信息率满足不等式，其中为任意小正数。用变长编码可达到较高编码效率，符号长度比定长编码更小。

编码效率的下界为信息率与熵比。若用二进制编码，要求平均码长接近信源熵，错误概率和编码效率可得到控制。

以信源熵2.5比特/符号为例，如果仅使用2比特去代表每个符号，将导致错误概率很大，难以找到使译码错误任意小的编码方案。正确编码策略应确保信息率与熵匹配，以实现高效无失真的编码。