信息论

　信号论考试温习题 一、填空题。

　1. 香农信息论中定义的信息是“ 事物运动状态和存在方式不确定性的描述”。

　2. 消息是信息的 载体。构成消息的两个条件是能被通信双方所理解和可以在通信中 传递和交换。

　3. 信源编码的作用是根据 失真度准则对信源的输出消息进行编码,用 码字表示消息。

　4. 信息论研究的主要问题是如何提高信息传输系统的 有效性和 可靠性。

　5. 如果信源输出的消息的随机变量,可以在某一离散集合内取值,也可以在某一连续区间内取值,相应的信源就分别称为

　和

　 。——[ 答案：1. 连续信源

　离散信源] 6. 当条件概率分布 p（y∣x）给定时,平均互信息量 I（X;Y）是输入概率分布 p(x)的

　。

　——【上凸函数】

　7. 八进制脉冲的平均信息量为

　,八进制脉冲所含信息量是二进制脉冲信息量的

　 倍。

　——【3

　3】

　8. 熵函数的数学特性有

　 、

　、

　、确定性、可加性、极值性、上凸性。——【对称性

　非负性

　扩展性】

　9. 平均互信息量 I（X;Y）与信源熵和条件熵之间的关系是

　。

　【I（X;Y）=H（X）—H(X/Y)】

　10. 设信源 X 包含 4 个不同的离散信息,当且仅当 X 中各个信息出现的概率为

　时,信源熵达到最大值为

　 ,此时各个信息的自信息量为

　 。

　【1/4

　2

　 2】

　11. 自信息量表征信源中各个符号的不确定度,信源符号的概率越大,其自信息量越

　 。【小】

　12. 信源的冗余度来自两个方面,一是信源符号之间的

　,二是信源符号分布的

　 。【相关性

　 不均匀性】

　13. 离散信道是 输入和输出的随机变量的取值都是离散的信道。

　14. 信道可依据输入输出的随机变量类型分成离 离 散信道 、 连续信道 、 半离散或 半连续信道。

　15. 单符号离散信道的输入符号是 X,取之于｛a1、a2…… an｝;输出符号为 Y,取值为｛b1、b2、……bn｝,并有条件概率 P(Y=bj/X=ai)=P(bj/ai)(i=1、2……m),这一组条件概率称为信道的 传递概率或 转移概率。

　16. 由香农公式 可知：提高信噪比 S/N 能提高 信道容量 C 17. 若输入概率为 P(X=ai)=P(ai)称为输入符号的先验概率,此时,对应地把 P(ai/bj)称为输入符号的 后验概率。

　18. 若离散信道对任意长为 N 上的输入和输出符号序列有 则称它为 离散无记忆信道简记 DMC。

　19. 准对称信道的性质：

　每一行都是第一行的置换, 每一列都是第一列的置换。

　20. 实现准对称离散无记忆信道的信道容量的输入分布为 等概率分布。

　21. 信道剩余度定义为：

　信道剩余度=C-I(x,y)。

　22. 信道容量又称为 最大的信息传输率。

　23. 信道组合有两大基本方式：

　级联信道和 并联信道 24. 信源编码是研究在不失真或允许一定失真的条件下,如何用尽可能 少的符号来传送信源信息,以便提高 信息传输率。

　25. 码字含有的码符号个数都相同的码叫

　等长码, 码中含有的所有码字都不相同的码叫

　 非奇异码。

　26. 对于二进制等长唯一可译码,共有 q 个符号需要被编码,每个信源符号至少需要用 log q 个码符号来变换。

　27. 等长编码定理表述了,只要码字传输的信息量 大于信源序列携带的的信息量,总能实现几乎无失真编码。

　28. 香农第一定理的物理意义：对离散信源进行适当的变换,使变换后新的码符号信源尽可能 等概率分布,使新信源的每个码符号平均所含的信息量达到最 大,从而使信息传输速率达到信道容量。

　29. 信息传输的效率取决于 平均码长。

　30. 在译码时无需参考后续的码符号就能立即做出判断的码称为 即时码。

　31. 信源编码解决的是通信系统的 有效性。

　32. 编码定理,又称___ 香农第二定律__,主要研究怎样使消息通过__ 有噪信道___传输后发生的错误最少,即研究通信的____ 可靠性__问题。

　33.

　信道的统计特征可由__ 信道的传递矩阵___来描述。

　34. 在有噪信道中,传输的平均错误概率与各种编、译码方法有关。在___ 最大似然译码准则__下,使错误概率减小的编码方法就是使___ 码间的最小距离_____增大。

　35. 在确定译码规则 F(bj)=ai 后,若信道输出端接受的符号为 bj,发送的不是 ai,就认为有错误,那么错误概率 P（e| bj）称为____ 条件错误 概率______。

　36. 已知信道矩阵

　 b1

　b2

　b3

　a1

　 0.5

　 0.3

　0.2

　a2 1

　 0.2

　 0.3

　0.5

　 a3

　0.3

　 0.3

　 0.4 37. 根据最大似然译码准则可得信道平均错误概率最小为：__0.567____。

　38. 费诺不等式解释了 PE 与信道疑义度 H(X|Y)是有一定关系的,其关系是：_____________ H(X|Y) ≦H(PE)+ PElog(r-1)_________

　39. 长度为 n 的两个二进制序列（码字）ai 和 bj 之间的距离是 ai 和 bj 之间对应位置上码元取值不同的个数用符号 D(ai, bj)表示,这种码间距离通常称为__ 汉明距离_________。

　40. Dmin 越大,PE 越__ 小__,Dmin 越__ 小__,PE 越__ 大__。

　41. 由信道逆定理可得：

　要使信息传输率大于信道容量而又无错误地传输消息是不可能的_____ 。

　42. 对于组合 000、001、010、011、100、101、110、111。选用 000、001、010、011 为许用码,其它码为__ 禁用码组______。

　43. 信道编码的目的是为减少差错,提高可靠性,信道编码根据其不同效用,可分为____ 检错码、纠错码______________。

　44. 在信道编码中,定义码组中_ 非零____码元的数目为码组的重量,简称码重。

　45. 一种编码的最小码距直接关系到这种码的___ 检错和纠错能力____________。

　46. 奇偶校验只能发现_ 单个或奇数个_________错误,而不能检测出_ 偶数____个错误。

　47. 码字能纠、检错的充要条件：

　是码字的一些码元发生错误后, 这个错的码字还码元变成其他码字____ 。

　48. 无论是无噪信道还是有噪信道,只要信息速率 R（

　）信道容量 C,总能找到 一种编码,使在信道上能以任意小的概率,以任意接近 C 的传输率来传送信息,-- （ 小于)

　49. 无论是无噪信道还是有噪信道,无失真的离散信源编码和有噪信道编码传输率 R 大于信道容量 C,总不能实现（

　 ）的传输,----（ 无失真). 50. 在允许一定失真 D 的情况下,信源输出信道传输率可压缩到（

　）。－－ Ｒ（Ｄ); 51. 当信源给定后,无失真信源压缩的极限值是（

　）；而失真信源压缩的极限值是（

　）－-［ 信源熵Ｈ（Ｕ);; 失真函数Ｒ（Ｄ)］ 52. （

　）是用来测量信号发出符号Ｕｉ而在接收端再现成接收符号集中的符号ＶＪ所引起的失真或误差；－－（ 失真函数／失真度）； 53. 允许失真Ｄ是否能达到其下线值零,则只有当失真矩阵中（

　）有一个零元素是信源的平均失真才能达到下线值；－（ 至少）

　54. 当Ｄｍｉｎ＝０时,表示心愿不允许任何失真存在,则只有当时真矩阵每行至少有一个零,并且每列（

　）只有一个零,才能使Ｒ（０）＝Ｈ（ｎ）成立。－－（最 最多）

　55. 当Ｄ＝０时,Ｒ(Ｄ) ,这点说明在连续信源情况下,要（

　）的输出是不能够的；－ －（无失真的传送信源）

　56. 根据率失真函数Ｒ(Ｄ),的性质,我们可以知道Ｒ(Ｄ）函数具有单调递减性和连续性,Ｒ（Ｄ）是Ｄ的（

　）；－－（ 下凸函数）

　57. 在噪声信道中,对于同一失真Ｄ,Ｒ越大,Ｒ(Ｄ)就（

　）,信源压缩特性越小,分层越多；－－（ 越大）

　58. 设Ｒ(Ｄ)为一离散无记忆信源的率失真函数,如果编码后平均每个信源符号的信息传输Ｒ">Ｒ(Ｄ),则一定存在一种（

　）Ｃ,使编码后的平均失真度ｄ(Ｃ) Ｄ。－－（ 信源编码）

　59. 当编码后平均每个信源符号的信息传输率Ｒ"小于率失真函数Ｒ(Ｄ)时,无论采用什么编码方式,一定有（

　）；－－（ 平均失真度 （ｃ）＞Ｄ ）

　60. 在允许失真Ｄ确定后,总存在一种编码方式,使编码后的信息传输率Ｒ"大于Ｒ(Ｄ)且可任意接近于Ｒ(Ｄ),而（

　）小于允许失真Ｄ。－－（ 平均失真）

　61. 比较香农第一定理和第三定理可知,当信源给定后,信源的（

　）函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。－－（ ( Ｄ) ) 62. 根据香农第二定理,由存在一种信道编码,使压缩后的信源通过信道传输后,错误概率趋于零。因此在接收端再现信源的消息时,总的失真或错误不会超过（

　）。－－（ 允许失真）

　选择题 单项选择题 1.下面表达式中正确的是（A

　）。

　A.

　B.

　C.

　D.

　2.彩色电视显像管的屏幕上有 5×10 5

　个像元,设每个像元有 64 种彩色度,每种彩度又有 16 种不同的亮度层次,如果所有的彩色品种和亮度层次的组合均以等概率出现,并且各个组合之间相互独立。每秒传送 25 帧图像所需要的信道容量（C

　）。

　A. 50?10 6

　 B. 75?10 6

　 C. 125?10 6

　D. 250?10 6

　3.已知某无记忆三符号信源 a,b,c 等概分布,接收端为二符号集,其失真矩阵为 d= ,则信源的最大平均失真度 为（ D ）。

　A. 1/3

　 B. 2/3

　 C. 3/3

　 D. 4/3

　4.线性分组码不具有的性质是（ C

　 ）。

　A.任意多个码字的线性组合仍是码字 B.最小汉明距离等于最小非 0 重量 C.最小汉明距离为 3 D.任一码字和其校验矩阵的乘积 c m H T =0 5.率失真函数的下限为（ B）。

　A .H(U)

　B.0

　C.I(U; V)

　 D.没有下限 6.纠错编码中,下列哪种措施不能减小差错概率（ D ）。

　A. 增大信道容量

　B. 增大码长

　C. 减小码率

　D. 减小带宽 7.一珍珠养殖场收获 240 颗外观及重量完全相同的特大珍珠,但不幸被人用外观相同但重量仅有微小差异的假珠换掉 1 颗。一人随手取出 3 颗,经测量恰好找出了假珠,不巧假珠又滑落进去,那人找了许久却未找到,但另一人说他用天平最多 6 次能找出,结果确是如此,这一事件给出的信息量（ A ）。

　A. 0bit

　B. log6bit

　 C. 6bit

　D. log240bit 8.下列陈述中,不正确的是（ D

　 ）。

　A.离散无记忆信道中,H（Y）是输入概率向量的凸函数 B.满足格拉夫特不等式的码字为惟一可译码 C.一般地说,线性码的最小距离越大,意味着任意码字间的差别越大,则码的检错、

　纠错能力越强 D.满足格拉夫特不等式的信源是惟一可译码 9.一个随即变量 x 的概率密度函数 P(x)= x /2, ,则信源的相对熵为（ C ）。

　A . 0.5bit

　 B. 0.72bit

　 C. 1bit

　D. 1.44bit 10.下列离散信源,熵最大的是（ D ）。

　A. H（1/3,1/3,1/3）；

　 B. H（1/2,1/2）；

　C. H（0.9,0.1）；

　D. H（1/2,1/4,1/8,1/8) 11.下列不属于消息的是（ B ）。

　A.文字

　 B.信号

　 C.图像

　 D.语言 12.为提高通信系统传输消息有效性,信源编码采用的方法是（ A ）。

　A.压缩信源的冗余度

　 B.在信息比特中适当加入冗余比特 C.研究码的生成矩阵

　 D.对多组信息进行交织处理 13.最大似然译码等价于最大后验概率译码的条件是（ D ）。

　A.离散无记忆信道

　 B.无错编码

　C.无扰信道

　 D.消息先验等概 14.下列说法正确的是（

　C

　）。

　A.等重码是线性码

　B.码的生成矩阵唯一 C.码的最小汉明距离等于码的最小非 0 重量

　D.线性分组码中包含一个全 0 码字 15.二进制通信系统使用符号 0 和 1,由于存在失真,传输时会产生误码,用符号表示下列事件,u0:一个 0 发出

　u1:一个 1 发出

　v0 :一个 0 收到

　 v1:一个 1 收到

　 则已知收到的符号,被告知发出的符号能得到的信息量是（

　A

　）。

　A. H(U/V)

　 B. H(V/U)

　C. H(U,V)

　 D. H(UV) 16. 同时扔两个正常的骰子,即各面呈现的概率都是 1/6,若点数之和为 12,则得到的自信息为（ B ）。

　A. －log36bit

　B. log36bit

　C. －log (11/36)bit

　D. log (11/36)bit 17.下列组合中不属于即时码的是（ A

　）。

　A. { 0,01,011}

　 B. {0,10,110}

　 C. {00,10,11}

　 D. {1,01,00} 18.已知某（6,3）线性分组码的生成矩阵 ,则不用计算就可判断出下列码中不是该码集里的码是（

　D

　）。

　A. 000000

　 B. 110001

　 C. 011101

　 D. 111111 19.一个随即变量 x 的概率密度函数 P(x)= x /2, ,则信源的相对熵为（

　C

　）。

　A. 0.5bit/符号

　B. 0.72bit/符号

　 C. 1bit/符号

　 D. 1.44bit/符号 20.设有一个无记忆信源发出符号 A 和 B,已知 ,发出二重符号序列消息的信源,无记忆信源熵

　为（

　A

　 ）。

　A.0.81bit/二重符号

　B.1.62bit/二重符号

　C.0.93 bit/二重符号

　 D .1.86 bit/二重符号 21.下列哪一项不属于最简单的通信系统模型（ ）

　A.信源 B.加密 C.信道 D.信宿 22.同时掷一对均匀的骰子,骰子的各面呈现的概率都是 1/6,则“3 和 5 同时出现”这个事 件的自信息量是 （

　B

　）

　A 4.17 tet

　B 4.17 bit

　C 4.17 tet

　D 5.17 bit 23.信道剩余度与下列哪个变量无关 （

　C

　）

　A 信道容量 C

　 B 信源通过信道实际传输的平均信息量 I(x;y) C 信源的熵 H(X)

　D 以上都不对 24.下列说法错误的是 (

　A

　) A 条件熵 随着 N 的增加是递增的 B

　C 随着 N 的增加是非递增的

　D 存在,且

　25.在传输图片时,每帧有 2.25 个像素,每个像素有 12 个等概率出现的亮度等级,信噪比为 30dB,若每 3min 传送一张图片,则所需的信道带宽为 （

　A

　）

　A

　4.5kHz

　B

　5.5kHz C

　8.96kHz

　 D

　44.81kHz 26.输入和输出存确定的在一一对应关系的信道称为 （

　D

　）

　A 有噪有损信道

　 B 无噪有损信道 C 有噪无损信道

　 D 无噪无损信道 27.设信源 S={ },码符号集为 X={ },又设码字为 ,其分别对应的码长为 ,则下列说法正确的是 （

　A

　）

　A 唯一可译码一定满足不等式

　B 满足不等式 的码一定是唯一可译码 C 如果满足不等式 ,则不一定能构成唯一可译码 D 以上说法都不对 28.下列编码方法中,不属于变长编码的是 （

　C

　）

　A 莫尔斯电报码

　 B 费诺码 C BCD 码

　 D 霍夫曼码 29.设信源 ,则其信源剩余度为 （

　B

　）

　A 0

　B 1/4

　 C 1/2

　 D 3/4 30.下列说法中,正确的是 （

　B

　）

　A 在任一码中,码的最小距离 与该码的译码错误概率无关 B 在任一码中,码的最小距离 与该码的译码错误概率有关 C 在有噪信道中,传输的平均错误概率 与编码方法有关而与译码方法无关 D 在有噪信道中,传输的平均错误概率 与编码方法无关而与译码方法有关 判断题 1.信息就是一种消息。（

　）

　2.互信息量可正可负,也可为零。（

　）

　 3.当随机变量相互独立时,条件熵等于信源熵。（

　）

　 4.信源熵具有严格的下凸性。（

　）

　5.连续信源和离散信源的平均互信息量都具有非负性。（

　）

　6.一维高斯分布的连续信源,其信源熵只与其均值和方差有关。（

　）

　 7.所谓信道容量就是信道中能够传送的最大信息量。（

　）

　8.信道的信息传输速率就是平均互信息量,即

　bit/符号。（

　）

　9.信道容量 C 不仅与信道统计特性有关,还与输入信源的概率分布有关（

　）

　10.求信道容量是互信息量 求极大值的问题。（

　）

　11.对于无损信道,其信道容量为 。（

　）

　12.高斯白噪声信道是平均功率受限条件下的最差信道。（

　）

　13、唯一可译码是一个码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列,等长非奇异码一定是唯一可译码。（

　）

　14、一个熵为 H（S）的离散无记忆信源。若对信源长为 N 的符号序列进行等长编码,设码字是从 r 个符号组成的码符号集中选取 L 个码符号组成的,若对于任意 ＞0,只要满足 ≥ ,几乎可实现无失真编码。（

　）

　15、信源编码的目是提高传输有效性,即用尽可能短的码符号序列代表信源符号。（

　）

　16、无失真信源编码定理证明,如果对信源序列进行编码,当序列长度足够长时 ,存在无失真编码使得传送每个信源符号所需的比特数接近信源的熵。（

　）

　17、对于定长码, 只要非奇异就唯一可译。这就要求码字的数目不少于被编码的信源序列的个数。（

　）

　18、满足 Kraft 不等式并不一定唯一可译,因为奇异码可能满足 kraft 不等式。（

　）

　19.信源的熵为无限大,而信道容量总是有限的,所以不可能实现无失真传输。（

　）

　20.在一定失真度 D 的条件下,尽可能用最少的码符号来传送信源消息,使信源的消息尽快地传送出去,以提高通信的可靠性。（

　）

　21.只有当失真矩阵中至少有一个零,并且每列最少有一个零时 R(0)=H(u)才成立。（

　）

　22.对连续平稳信源,无法进行无失真信源编码,因而必然是限失真信源编码。（

　）

　23.率失真函数 R(D)表示当失真不超过 D 时传输所需要的平均互信息量。（

　）

　24.平均失真度对信源和信道都做了统计平均,是一个描述总体特性的参量。（

　）

　25.奇偶校验码是一种常见的检错码,它不仅可以发现单个或奇数个错误,还可以检测出偶数个错误。（

　）

　26.线性分组码能纠、检错误的充要条件是码子的某些码元发生错误后,错误的码子还没有变成其他码字。（

　）

　27.对信道进行编码时,可使错误概率降低的同时又增大信息传输速度。

　28.码的最小汉明距离与该码的译码错误概率有关。（

　）

　 29.香农第二定理的内容是：在信息传输率 R 不大于信道容量 C 时,可以找到一种编码,可使信道输出端的错误概率任意小,而 R 仍可以无限地接近 C。（

　）

　30.最小汉明距离为 Dmin 的线性分组码可以检测的最大错误个数为 Dmin-1 （

　）

　答案:1.错 2.对 3.对 4.错 5.对 6.错 7.对 8.对 9.错 10.对 11.错 12.对 13.对 14.错 15.对 16.对 17.对 18.对 19.对 20.错 21.错 22.对 23.错 24.对 25.错 26.对 27.错 28.对 29.对 30.对 简答题 1. 根据信息论的各种编码定理和通信 系统指标, , 编码问题可分解为几类, , 分别是什么？

　答：3 类,分别是：信源编码,信道编码,和加密编码。

　2. 对于一个一般的通信系统, 试给出其系统模型框图, 并结合此图, 解释数据处理定理。

　答：通信系统模型如下：

　 数据处理定理为：串联信道的输入输出 X、Y、Z 组成一个马尔可夫链,且有 , 。说明经数据处理后,一般只会增加信息的损失。

　3 3. . 什么是平均自信息量与平均互信息, , 比较一下这两个概念的异同？

　答：平均自信息为: 表示信源的平均不确定度,也表示平均每个信源消息所提供的信息量。

　平均互信息: 表示从 Y 获得的关于每个 X 的平均信息量,也表示发 X 前后 Y 的平均不确定性减少的量,还表示通信前后整个系统不确定性减少的量。

　4. 简述最大离散熵定理。对于一个有 m m 个符号的离散信源, , 其最大熵是多少？

　答：最大离散熵定理为：离散无记忆信源,等概率分布时熵最大。

　最大熵值为 。

　5. 熵的性质什么？

　答：非负性,对称性,确定性,香农辅助定理,最大熵定理。

　6. 解释信息传输率、信道容量、最佳输入分布的概念, , 说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？

　答：信息传输率 R 指信道中平均每个符号所能传送的信息量。信道容量是一个信道所能达到的最大信息传输率。信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。

　平均互信息是信源概率分布的∩型凸函数,是信道传递概率的 U 型凸函数。

　7. 信道疑义度的概念和物理含义？

　答：概念：

　物理含义：输出端收到全部输出符号 Y 以后,对输入 X 尚存在的平均不确定程度。

　8. 写出香农公式, , 并说明其物理意义。当信道带宽为 5000Hz, 信噪比为 B 30dB 时求信道容量。

　答：香农公式为

　,它是高斯加性白噪声信道在单位时 间内的信道容量,其值取决于信噪比和带宽。

　由 得 ,则

　9. 解释无失真变长信源编码定理? ?

　答：只要 ,当 N 足够长时,一定存在一种无失真编码。

　10. 解释有噪信道编码定理？

　答：当 R＜C 时,只要码长足够长,一定能找到一种编码方法和译码规则,使译码错误概率无穷小。

　11. 最佳变长编码有哪些？ 答：香农编码方法,费诺编码方法和哈夫曼编码方法。

　12. 解释等长信源编码定理和无失真变长信源编码定理, , 说明对于等长码和变长码, , 最佳码的每符号平均码长最小为多少？编码效率最高可达多少？

　答：等长信源编码定理：对于任意 ,只要 ,则当 L 足够长时必可使译码差错 。

　变长信源编码定理：只要 ,一定存在一种无失真编码。

　等长码和变长码的最小平均码长均为 ,编码效率最高可达 100%。

　13. 解释最小错误概率译码准则, , 最大似然译码准则和最小距离译码准则, , 说明三者的关系。

　答：最小错误概率译码准则下,将接收序列译为后验概率最大时所对应的码字。

　最大似然译码准则下,将接收序列译为信道传递概率最大时所对应的码字。

　最小距离译码准则下,将接收序列译为与其距离最小的码字。

　三者关系为：输入为等概率分布时,最大似然译码准则等效于最小错误概率译码准则。在二元对称无记忆信道中,最小距离译码准则等效于最大似然译码准则。

　14. 什么是保真度准则？对二元信源 , , 其失真矩阵 , ,求 求 0 a>0 时率失真函数的 和 ？

　答：1）保真度准则为：平均失真度不大于允许的失真度。

　2）因为失真矩阵中每行都有一个 0,所以有 ,而 。

　15. 差错控制系统分类有哪些？ 答：前向纠错,反馈重发,混合纠错。

　16. 分别说明信源的概率分布和信道转移概率对平均互信息的影响, , 说明平均互

　均互信息的最大值为信道容量 17. 香农第二定理的内容和含义？

　答：内容：设有一离散无记忆平稳信道,其信道容量为 C ,只要待传送的信息传输率 R ＜ C ,则存在一种编码,当输入序列长度 n 足够大,使译码错误概率任意小. 含义：只要 R ＜ C ,就可以在有噪信道中以任意小的错误概率( ＜ ? )传输信息. 信息与信道容量的关系。

　答：平均互信息相对于信源概率分布为上凸函数,相对于信道传递概率分布为下凹函数。平

　当输入序列长度 n 足够大时,可以以任意接近信道容量 C 的信息传输率传递信息。

　计算题 1． 假设集合 ,其中 ,求集合 的熵

　 2.已知二维随机变量 的联合概率分布 为

　求

　解：

　由 XY 的联合概率可以知道 X 的概率为

　 （2）由 得

　,

　又由 可得

　 ,

　,

　 所以

　.试画出三元对称信道在理想（无噪声）和强噪声（输出不依赖输入）情况下的信道模型,设信道输入等概率分布

　 转移概率全部为

　在传输图片时,每帧有 个像素,每个像素有 12 个等概率出现的亮度等级,信噪比为 30dB。

　⑴ 每 3 分钟传送一张图片,求所需的信道带宽。

　⑵ 若信道带宽为 4kHz,问传送一张图片需多少时间。

　答案：书 p89 有一离散无记忆信源

　现在用二进制符号 来构造一个即时码

　求这个信息传输率

　解：

　这时平均码长

　 信息传输率

　 一个二进制对称信道如图所示

　 现有一个信道编码为{000,111},来传递{0,1}的信息 求他的信息传输速率 ,错误概率

　 解：

　信道矩阵为

　根据最大似然规则,算出译码后的错误概率为

　 科教兴国

相关热词搜索：信息论