信源编码定理

易经学习

天地变化的道理

分类目录

使用率很高网站

文章列表

生活要常常分享

维基百科

您身边百科全书

信源编码定理

点击查看词条快照

在信息论中，香农的信源编码定理（或无噪声编码定理）确立了数据压缩的限度，以及香农熵的操作意义。信源编码定理表明（在极限情况下，随着独立同分布随机变量数据流的长度趋于无穷）不可能把数据压缩得码率（每个符号的比特的平均数）比信源的香农熵还小，又不丢失信息。但是有可能使码率任意接近香农熵，且损失的概率极小。码符号的信源编码定理把码字的最小可能期望长度看作输入字（看作随机变量）的熵和目标编码表的大小的一个函数，给出了此函数的上界和下界。陈述. 信源编码是从信息源的符号（序列）到码符号集（通常是bit）的映射，使得信源符号可以从二进制位元（无损信源编码）或有一些失真（有损信源编码）中准确恢复。这是在数据压缩的概念。信源编码定理. 在信息论中，信源编码定理非正式地陈述为： N 个熵均为 "H"("X") 的独立同分布的随机变量在 "N" → ∞ 时，可以很小的信息损失风险压缩成多于 "N H"("X") bit；但相反地，若压缩到少于 "N H"("X") bit，则信息几乎一定会丢失。码符号的信源编码定理. 令 Σ1, Σ2 表示两个有限编码表，并令 Σ 和 Σ （分别）表示来自那些编码表的所有有限字的集合。设 X 为从 Σ1 取值的随机变量，令 "f" 为从 Σ 到 Σ 的唯一可译码，其中 " class="serif">Σ2。令 S 表示字长 "f" ("X") 给出的随机变量。如果 "f" 是对 X 拥有最小期望字长的最佳码，那么(Shannon 1948)： formula_1 证明：码符号的信源编码定理. 对于 1 ≤ "i" ≤ "n" 令 "si" 表示每个可能的 "xi" 的字长。定义 formula_2，其中 C 会使得 "q"1 + ... + "qn" 1。于是 formula_3 其中第二行由吉布斯不等式推出，而第五行由克拉夫特不等式推出： formula_4 因此 log "C" ≤ 0. 对第二个不等式我们可以令 formula_5 于是 formula_6 因此 formula_7 并且 formula_8 因此由克拉夫特不等式，存在一种有这些字长的无前缀编码。因此最小的 S 满足 formula_9

货币背后的秘密

宋英兰

斐波那契双曲函数

什洛莫·本哈伊姆

赵德隆

超暴力激斗

赤道 (消歧义)

崔维雅

移动迷宫

华北军区烈士陵园

松井田站

西松井田站