题目

1 z x y, 因 此 H ( X | YZ ) 0 , 而⏺I ( X ;YZ ) H ( X ) H ( X | YZ ) ,因此 I ( X ;YZ ) H ( X ) 。I (Y ; Z | X ) H (Y | X ) H (Y | XZ ) H (Y | X ) H (Y )I ( X ;Y | Z ) H ( X | Z ) H ( X | YZ ) H ( X | Z ) I (Y ; X | Z ) H (Y | Z ) H (Y | XZ ) H (Y | Z )[3.7] 设 X , Y 是两个相互统计独立的二元随机变量,其取“0”或“1”的概率为等概率分布。定义另一个二元随机变量 Z ,而且 Z XY (一般乘积),试计算:(1) H ( X ) , H (Y ) , H (Z ) ;(2) H ( XY ) , H ( XZ ) , H (YZ ) , H ( XYZ ) ;(3) H ( X | Y ) , H ( X | Z ) , H (Y | Z ) , H (Z | X ) , H (Z | Y ) ;⏺(4) H ( X | YZ ) , H (Y | XZ ) , H (Z | XY ) ;(5) I ( X ;Y ) , I ( X ; Z ) , I (Y ; Z ) ;(6) I ( X ;Y | Z ) , I (Y ; X | Z ) , I (Z ; X | Y ) , I (Z ;Y | X ) ;(7) I ( XY ; Z ) , I ( X ;YZ ) , I (Y ; XZ ) ;

1 z x y

, 因 此 H ( X | YZ ) 0 , 而

⏺

I ( X ;YZ ) H ( X ) H ( X | YZ ) ,因此 I ( X ;YZ ) H ( X ) 。

I (Y ; Z | X ) H (Y | X ) H (Y | XZ ) H (Y | X ) H (Y )

I ( X ;Y | Z ) H ( X | Z ) H ( X | YZ )

 H ( X | Z )

 I (Y ; X | Z )

 H (Y | Z ) H (Y | XZ )

 H (Y | Z )

[3.7] 设 X , Y 是两个相互统计独立的二元随机变量,其取“0”或“1”的概率为

等概率分布。定义另一个二元随机变量 Z ,而且 Z XY (一般乘积),试计算:

(1) H ( X ) , H (Y ) , H (Z ) ;

(2) H ( XY ) , H ( XZ ) , H (YZ ) , H ( XYZ ) ;

(3) H ( X | Y ) , H ( X | Z ) , H (Y | Z ) , H (Z | X ) , H (Z | Y ) ;

⏺

(4) H ( X | YZ ) , H (Y | XZ ) , H (Z | XY ) ;

(5) I ( X ;Y ) , I ( X ; Z ) , I (Y ; Z ) ;

(6) I ( X ;Y | Z ) , I (Y ; X | Z ) , I (Z ; X | Y ) , I (Z ;Y | X ) ;

(7) I ( XY ; Z ) , I ( X ;YZ ) , I (Y ; XZ ) ;

题目解答

答案

解:

由于 X 和 Y 是相互独立的等概率分布的随机变量,因此有

H ( X ) H (Y ) 1 比特/符号

⏺

P

解析

本题主要考察信息论中熵、条件熵、互信息的基本概念及计算，题目设定$X,Y$为相互独立的等概率二元随机变量（$P(X=0)=P(X=1)=0.5$，$P(Y=0)=P(Y=1)=0.5$），$Z=XY$（一般乘积，即$Z=1$当且仅当$X=1,Y=1$，否则$Z=0$），需计算一系列熵与互信息。

1. $H(X), H(Y), H(Z)$

  • $X,Y$为等概率二元变量，熵$H(X)=H(Y)=-\sum p(x)\log_2p(x)=-0.5\log_20.5-0.5\log_20.5=1$比特/符号。
  • $Z=XY$的概率分布：$P(Z=1)=P(X=1,Y=1)=P(X=1)P(Y=1)=0.25$，$P(Z=0)=0.75$，故$H(Z)=-0.75\log_20.75-0.25\log_20.25\approx0.811$比特/符号。

2. $H(XY), H(XZ), H(YZ), H(XYZ)$

  • $XY$的联合分布：$P(00)=0.25,P(01)=0.25,P(10)=0.25,P(11)=0.25$，等概率四元变量，$H(XY)=\log_24=2$比特/符号。
  • $XZ$：$Z=XY$，故$XZ=(X,XY)$，等价于$(X,Y)$（因$Z$由$X,Y$决定），联合分布仍为四等概率，$H(XZ)=2$比特/符号；同理$H(YZ)=2$比特/符号。
  • $XYZ=(X,Y,XY)$，等价于$(X,Y)$，联合分布四等概率，$H(XYZ)=2$比特/符号。

3. 条件熵$H(X|Y), H(X|Z), H(Y|Z), H(Z|X), H(Z|Y)$

  • $H(X|Y)$：$X,Y$独立，$H(X|Y)=H(X)=1$比特/符号。
  • $H(X|Z)$：$Z=XY$，$P(X=1|Z=1)=1$（$Z=1\Rightarrow X=1,Y=1$），$P(X=0|Z=1)=0$；$P(X=0|Z=0)=P(Y=0|X=0)=0.5$（$Z=0$时$X=0$或$Y=0$），$P(X=1|Z=0)=0.5$。故$H(X|Z)=P(Z=1)H(X|Z=1)+P(Z=0)H(X|Z=0)=0.25\times0+0.75\times1=0.75$比特/符号；同理$H(Y|Z)=0.75$比特/符号。
  • $H(Z|X)$：$Z=XY$，$Z|X=x$等价于$Y|X=x$（$X$已知时$Z=xY$），$H(Z|X)=H(Y|X)=H(Y)=1$比特/符号（因$X,Y$独立）；同理$H(Z|Y)=1$比特/符号。

4. $H(X|YZ), H(Y|XZ), H(Z|XY)$

  • $H(X|YZ)$：$YZ=(Y,XY)$，已知$YZ$可唯一确定$X$（如$YZ=(1,1)\Rightarrow X=1$，$YZ=(0,0)\Rightarrow X=0$等），故$H(X|YZ)=0$；同理$H(Y|XZ)=0$。
  • $H(Z|XY)$：$Z=XY$，已知$XY$则$Z$确定，$H(Z|XY)=0$。

5. 互信息$I(X;Y), I(X;Z), I(Y;Z)$

  • $I(X;Y)$：$X,Y$独立，$I(X;Y)=H(X)-H(X|Y)=1-1=0$。
  • $I(X;Z)=H(X)-H(X|Z)=1-0.75=0.25$比特/符号；同理$I(Y;Z)=0.25$比特/符号。

6. 条件互信息$I(X;Y|Z), I(Y;X|Z), I(Z;X|Y), I(Z;Y|X)$

  • $I(X;Y|Z)=H(X|Z)-H(X|YZ)=0.75-0=0.75$比特/符号；由对称性$I(Y;X|Z)=0.75$。
  • $I(Z;X|Y)=H(Z|Y)-H(Z|XY)=1-0=1$比特/符号；同理$I(Z;Y|X)=1$比特/符号。

7. $I(XY;Z), I(X;YZ), I(Y;XZ)$

  • $I(XY;Z)=H(Z)-H(Z|XY)=H(Z)-0=H(Z\\(Z)=0.811$比特/符号（或$I(XY;Z)=H(XY)-H(XY|Z)=2-H(XY|Z)$，$XY|Z$已知$Z$时$XY$的条件熵可算得$H(XY|Z)=2-0.811=1.189$，结果一致）。
  • $I(X;YZ)=H(X)-H(X|YZ)=1-0=1$比特/符号；同理$I(Y;XZ)=1$比特/符号。