使用matlab语言实现香农编码

1、问题背景： 1949年香农在《有噪声时的通信》一文中提出了信道容量的概念和信道编码定理，为信道编码奠定了理论基础。无噪信道编码定理（又称香农第一定理）指出，码字的平均长度只能大于或等于信源的熵。有噪信道编码定理（又称香农第二定理）则是编码存在定理。它指出只要信息传输速率小于信道容量，就存在一类编码，使信息传输的错误概率可以任意小。随着计算技术和数字通信的发展，纠错编码和密码学得到迅速的发展。 2、课题分析： 运用matlab编写程序求解任给信源符号概率的香农编码。给定一组信源符号概率，通过所编写的程序对信源符号概率编码，求出此信源符号概率对应的香农编码。 3、编程方法： 据课本上的介绍编码香农码的方法。 首先，给定信源符号概率，要先判断信源符号概率是否满足概率分布，即各概率之和是否为1，如果不为1就没有继续进行编码的必要，虽然任可以正常编码，但编码失去了意义。 其次，对信源符号概率进行从小到大的排序，以便进行下一步。从第一步就知道信源符号的个数n，于是构造一个nx4的零矩阵D，以便储存接下来运算的结果。把排好序的信源符号概率以列的形式赋给D的第一列。 再次，做编码的第二步，求信源符号概率的累加概率（方法见程序），用来编写码字。 接着求各信源符号概率对应的自信息量，用于求解码长k。 然后，我们对刚求的自信息量对无穷方向取最小正整数，得到的最小正整数就是该信源符号所对应编码的码长k，有了码长，接下来就可以求解码字。 最后，对所求到的累加概率求其二进制，取其小数点后的数，所取位数由该信源符号对应的码长决定，所用的步骤结束，依次得到各信源符号的香农编码。