信息論與編碼是一門比較理論化的科學(xué)，涉及大量的數(shù)學(xué)分析、論證和建模，對數(shù)學(xué)的要求高，涉及概率論、線性代數(shù)、微積分等。對于不善于領(lǐng)悟的同學(xué)，可能會(huì)覺得它枯燥無味；而對于善于領(lǐng)悟的同學(xué)，則會(huì)有如魚得水的感覺。信息論是對信息問題的抽象，應(yīng)用面和涉及面廣，許多問題都可以歸結(jié)為信息論問題，但是由于其中涉及數(shù)學(xué)建模太多，局限性也多。這對于學(xué)生，特別是對于本科生而言，是具有一定難度的。當(dāng)今的某些課程，包括數(shù)學(xué)等，經(jīng)歷課時(shí)數(shù)的壓縮，課時(shí)也有所縮短。在這樣的情況下，針對昔日本科生的教學(xué)大綱和教材，對于經(jīng)過擴(kuò)招以后的大學(xué)生而言，顯得更加枯燥無味、艱澀難懂。為了促進(jìn)學(xué)生對于相關(guān)數(shù)學(xué)問題的理解，我們將信息論與編碼中的關(guān)鍵性、全局性的問題進(jìn)行了提煉，設(shè)計(jì)了一些全程問題，并且將復(fù)雜的問題分解為若干問題及其錦囊，通過逐步提示和啟發(fā)的方式來促進(jìn)學(xué)生的理解。當(dāng)然對于一些問題的分解并不太讓人滿意，權(quán)作為拋磚引玉。

　　雖然直觀地看，書本上的數(shù)學(xué)公式枯燥無味，但是如果能夠善于思考和洞察問題的本質(zhì)，就會(huì)發(fā)現(xiàn)，數(shù)學(xué)問題是那樣美妙、有趣，數(shù)字的規(guī)律有時(shí)候也是嚴(yán)整有序的。

　　根據(jù)學(xué)生對以往的信息論與編碼類教材的反饋意見，我們決定在前人的基礎(chǔ)上改進(jìn)信息論與編碼教材，同時(shí)實(shí)踐我們在一些教改論文中提出的教材改革、教學(xué)改革和提高學(xué)生創(chuàng)新能力的建議[1-4\]。我們在教學(xué)中發(fā)現(xiàn)學(xué)生有應(yīng)試習(xí)慣，許多學(xué)生并不是通過自己的理解去做題，而是依葫蘆畫瓢，按照類似的題型去套，因此在課后習(xí)題中增加了一些比較靈活、自由的題目。

　　我們在這本教材中試圖做到以下幾點(diǎn)：

　　(1) 充分重視啟發(fā)。將復(fù)雜的數(shù)學(xué)證明簡化為若干小問題，變成若干錦囊來啟發(fā)學(xué)生理解問題。通過極端的例子來啟發(fā)學(xué)生發(fā)現(xiàn)和理解問題。通過現(xiàn)實(shí)中經(jīng)常用到的例子來啟發(fā)。

　　(2) 重視實(shí)用性，除了理論外，還對各種編碼的具體實(shí)現(xiàn)中的問題進(jìn)行了分析，并且給出了一些軟件實(shí)現(xiàn)的具體指導(dǎo)。避免教材內(nèi)容過于學(xué)術(shù)化，而沒有考慮到學(xué)生今后在工作中的實(shí)際需求。對于信息論與編碼技術(shù)在現(xiàn)實(shí)中的各種應(yīng)用也有不少介紹和展望。

　　(3) 充分結(jié)合我們的研究和教學(xué)成果與經(jīng)驗(yàn)，根據(jù)我們的分析和研究，提供一些新的理解或者證明相關(guān)結(jié)論的方法。

　　(4) 注重各知識(shí)點(diǎn)的條理性、銜接性、前后關(guān)系和因果關(guān)系。

　　(5) 詳細(xì)敘述與方向指引并重�！拔嵘�也有涯，而知也無涯。以有涯隨無涯，殆已�！敝�識(shí)是無涯的，與此相對應(yīng)的是教材篇幅是受到限制的，學(xué)生的時(shí)間也是有限的，即有涯。如何在有涯和無涯之間建立很好的平衡是一個(gè)教材的編者必須充分考慮的。在當(dāng)今強(qiáng)調(diào)寬口徑教學(xué)的背景下，一方面要突出重點(diǎn)，針對具有理論和應(yīng)用價(jià)值的內(nèi)容進(jìn)行詳細(xì)敘述；另一方面，由于篇幅所限，不可能面面俱到，在教材中指明學(xué)科的脈絡(luò)、發(fā)展方向和前沿，對于某些應(yīng)用面有限的、煩瑣的尖端枝末性的知識(shí)，我們盡量推薦一定的教材和資源，以便讀者可以根據(jù)指引找到相關(guān)資料。本書還提出了一些具有潛力的新問題研究方向。

　　(6) 傳授知識(shí)與傳授方法并舉。通過舉例等讓學(xué)生體驗(yàn)到利用新的方法來解決實(shí)際問題的途徑。以教材的課后習(xí)題誘導(dǎo)學(xué)生去探索現(xiàn)學(xué)現(xiàn)用甚至自己去搜集資料來解決問題的方法。本書不僅致力于讓學(xué)生學(xué)會(huì)信息論與編碼的相關(guān)知識(shí)，在許多時(shí)候通過啟發(fā)的方式讓學(xué)生能夠?qū)W習(xí)信息論的基本方法，以及新理論的創(chuàng)新的方法和技巧。在值得學(xué)生深思、借鑒和聯(lián)想的地方做一定的標(biāo)記和啟發(fā)性提問。提供通用的和針對信息論與編碼的學(xué)習(xí)和研究的方法、技巧。

　　(7) 對于重要的關(guān)鍵詞提供對應(yīng)的英文術(shù)語，達(dá)到一定的雙語效果，便于讀者進(jìn)一步閱讀英文文獻(xiàn)。

　　(8) 學(xué)術(shù)性與通俗性共存。在兩者之間保持平衡，避免教材的曲高和寡與經(jīng)院化，也避免教材一味追求實(shí)用卻缺乏理論深度。目前一些教材存在著學(xué)術(shù)性很強(qiáng)，但是缺乏通俗性的弊端。編者將更多地站在學(xué)生的角度去編寫教材。第一，在編寫教材時(shí)，考慮讀者的基礎(chǔ)，盡量對于專業(yè)術(shù)語給予解釋。第二，不要采用模糊不清的表述，寧可多寫，也要把問題寫清楚，對于可能存在歧義的表述，通過各種方式讓歧義消除，語意明確。為了達(dá)到通俗易懂，在一些地方不避煩冗，對于比較專業(yè)和自學(xué)能力強(qiáng)的讀者，可能會(huì)覺得比較啰嗦，這是為了表述得更加明確。第三，盡量少用抽象空洞的表述，同時(shí)配備通俗易懂的實(shí)例或者圖表。第四，對于難于理解的問題，用形象的例子或者比擬來啟發(fā)思維。第五，在描述問題時(shí)避免跨度太大或者跨越某些知識(shí)而造成理解上的困難。達(dá)到無須教師講解依然具有很好的可讀性的效果，便于自學(xué)。第六，內(nèi)容上要考慮實(shí)踐中必須解決的一些問題，考慮現(xiàn)實(shí)中的各種因素。第七，一方面減少了某些意義不大、非常煩雜的、數(shù)學(xué)推導(dǎo)過多的內(nèi)容，但是同時(shí)也用一些啟發(fā)的錦囊來引導(dǎo)讀者自悟。對于較為復(fù)雜的問題，同時(shí)給予專業(yè)性表述和通俗性表述。

　　(9) 合理設(shè)計(jì)排版布局。為了保證對于不同讀者和學(xué)生的適用性，顯示教材內(nèi)容的層次性，不同性質(zhì)的內(nèi)容采用不同的字體。對于比較難、選學(xué)的內(nèi)容，在其標(biāo)題后加*號，對于一些啟發(fā)性、評價(jià)性的內(nèi)容，解題指導(dǎo)以及理論應(yīng)用于實(shí)際方面的討論的內(nèi)容，感想、啟示以及啟發(fā)性提問采用楷體；重要的內(nèi)容采用加粗字體；必要的背景闡釋和補(bǔ)充說明采用仿宋字體。

　　(10) 重視對創(chuàng)新能力的激勵(lì)和培養(yǎng)。第一，在合適位置預(yù)留讀者發(fā)表自己看法的空間。為了啟發(fā)和喚醒學(xué)生的創(chuàng)新思維，在教材的適當(dāng)位置（比如編者認(rèn)為某些內(nèi)容還有很大的創(chuàng)新空間時(shí)）預(yù)留讀者自己思考和創(chuàng)新的空白位置，并且用文字標(biāo)示出來提醒讀者。在描述具有啟發(fā)意義的創(chuàng)新內(nèi)容時(shí)，對于相關(guān)內(nèi)容的重大創(chuàng)新給予點(diǎn)評來啟發(fā)讀者進(jìn)行創(chuàng)新，并且在章節(jié)的末尾或者適當(dāng)位置預(yù)留空間讓讀者自由表達(dá)思想，如可以容納新思想、新假想、未被證實(shí)或未完全證實(shí)的想法、簡潔但是有用的想法等，或者讓讀者可以評閱、提出自己的困難與添加自己的觀點(diǎn)、建議和改進(jìn)意見，這樣的提示有利于讀者發(fā)揮主觀能動(dòng)性和養(yǎng)成獨(dú)立思考的習(xí)慣，也有利于教師或者編者將這些學(xué)生的評閱和觀點(diǎn)加以整理，以便于修改完善教材。第二，信息論的許多模型都有自己的前提，是有局限性的，在描述編者認(rèn)為非絕對內(nèi)容的時(shí)候通過非肯定的描述，避免讓讀者對已有的理論產(chǎn)生正確無疑的看法，從而鼓勵(lì)學(xué)生放開眼光，發(fā)散思考，甚至提示學(xué)生去發(fā)現(xiàn)這些潛在的前提。

　　(11) 充分重視學(xué)生的數(shù)學(xué)基礎(chǔ)，除了學(xué)生必須具備的高等數(shù)學(xué)、線性代數(shù)和概率論基礎(chǔ)外，對于其他的數(shù)學(xué)基礎(chǔ)會(huì)在相應(yīng)章節(jié)簡要提及。教材的編寫注重通俗性和易讀性，讓數(shù)學(xué)基礎(chǔ)差的同學(xué)在沒有教師指導(dǎo)的情況下能夠自學(xué)，特別是需要考慮擴(kuò)招帶來的學(xué)生基礎(chǔ)的影響。

　　(12) 合理地設(shè)計(jì)習(xí)題。由于創(chuàng)新能力、自學(xué)能力和動(dòng)手能力在產(chǎn)學(xué)研結(jié)合教育中的重要性，因此教材的習(xí)題也要考慮激發(fā)、提高或者檢驗(yàn)學(xué)生的創(chuàng)新能力、現(xiàn)學(xué)現(xiàn)用能力、自學(xué)能力和動(dòng)手能力。除了傳統(tǒng)的答案相對固定的習(xí)題外，還應(yīng)當(dāng)有答案開放、促進(jìn)思維發(fā)散的習(xí)題，讓學(xué)生展開思維的翅膀去創(chuàng)新。在習(xí)題中引入沒有用書本上的概念描述的現(xiàn)實(shí)問題，讓學(xué)生現(xiàn)學(xué)現(xiàn)用，增強(qiáng)學(xué)生舉一反三的能力。鼓勵(lì)學(xué)生結(jié)合信息論去思考現(xiàn)實(shí)中的各種問題。

　　(13) 先立后破。引導(dǎo)學(xué)生進(jìn)入信息論的模型中，進(jìn)而接受和相信信息論。在可能走向迷信的時(shí)候，打破這種迷信。在教材的最后，才開始討論信息論的前提條件，讓讀者知道其局限性。

　　(14) 對于一些比較困難的內(nèi)容進(jìn)行簡化，僅僅提及相關(guān)的結(jié)論和基本的原理。

(15) 在將科研成果融入教材的同時(shí)，試圖化解教學(xué)之易與科研之難的矛盾。本書在將許多科研成果融入教材時(shí)盡量采用容易理解的方式簡化相關(guān)內(nèi)容。

　　本教材依然存在以下方面的問題： 對于信息論的各個(gè)模型、定義，有一些未明確說明的假定。在具體的理論轉(zhuǎn)向不同應(yīng)用情形的時(shí)候，也存在一些未明確說明的問題，諸如是否適用的問題。比如，當(dāng)一個(gè)定理對單個(gè)符號適用，轉(zhuǎn)向應(yīng)用于符號序列時(shí)，沒有說明其適用性。這是讀者在閱讀信息論與編碼類教材時(shí)需要注意的。本教材對于其中一部分給出了說明，但是沒有全部說明。

　　在本書的編寫過程中參考了不少信息論與編碼方面的教材、專著、論文和網(wǎng)絡(luò)資源等，在此作者對這些著作的作者深表感謝。為了減少歧義，對一些題目和知識(shí)的條件進(jìn)行了明確的闡述，對于可能不妥的說法也進(jìn)行了改進(jìn)，但是，這些改進(jìn)可能存在不當(dāng)之處。

　　信息論面對的現(xiàn)實(shí)中真實(shí)的模型、系統(tǒng)、對象和參數(shù)都是極其復(fù)雜、多樣化和不確定的，在信息論中是存在許多簡化和忽略的，這造成某些理論是受到限制的，并不普適，也不唯一，有些教材也存在不一致的說法。在本教材中，編者盡量對一些模糊的對象加以明確，對于一些前提加以限定，但是有時(shí)候鑒于考慮得越復(fù)雜、越細(xì)致就會(huì)越煩瑣和復(fù)雜化，因此有些地方依然保持現(xiàn)有教材的說法。

　　在不同的教材中，有些術(shù)語、分類和劃分等對象存在一定的不一致、不統(tǒng)一、不確定的情況，有些內(nèi)容本身也存在模糊性，有些劃分要么過于龐雜，要么存在疏漏，有的劃分還有重復(fù)。在本教材中采用以下原則： 列舉別名、明確問題、理清脈絡(luò)、解釋分歧、回避歧義、避免繁雜而無意義的內(nèi)容。但是，這些原則在針對實(shí)際情況時(shí)也存在欠缺，尚未做得滿意。

　　本書力圖做出多方面的改革和改進(jìn)，但是，這些變革總是存在一定難度的，一部優(yōu)秀的教材應(yīng)該融合產(chǎn)學(xué)研，編者在有些方面心有余而力不足，加上時(shí)間有限，可能存在一定的不足。

　　對于學(xué)生的學(xué)習(xí)方面，編者認(rèn)為，雖然本教材設(shè)計(jì)了大量的思考題，但是，作者也反對絞盡腦汁、挖空心思式的短期拔苗助長的思維訓(xùn)練方法，真正提高智力需要有安寧、清明的心，寧靜才能致遠(yuǎn)，清明才能洞察。學(xué)生的思考習(xí)慣應(yīng)該是先扶后抑，當(dāng)學(xué)生不習(xí)慣思考的時(shí)候，可以培養(yǎng)思考的習(xí)慣；但是思考成為非常強(qiáng)烈的習(xí)慣的時(shí)候，這從任何一個(gè)角度（智力、身體、心理等）來說對于學(xué)生都是不利的，需要冷靜觀察和抑制思維。

　　在學(xué)習(xí)中，方法是非常重要的，甚至比書本上的死知識(shí)更重要，建議多讀數(shù)學(xué)家和密碼學(xué)家的故事，比如香農(nóng)、王小云等。知識(shí)的啟發(fā)價(jià)值可能遠(yuǎn)遠(yuǎn)超過知識(shí)的直接價(jià)值。關(guān)于這門課程的學(xué)習(xí)，相對于其他的課程顯得比較艱深抽象，需要較好的數(shù)學(xué)基礎(chǔ)，固然做習(xí)題也是需要的，但是，習(xí)題可能更多的是應(yīng)付考試，對于真正掌握和進(jìn)一步應(yīng)用信息論與編碼的理論意義是不大的，信息論與編碼課程的學(xué)習(xí)與掌握，最重要的還是理解。

　　本教材添加了一些實(shí)踐應(yīng)用方面的知識(shí)，也涉及許多思想與方法，相比一些教材更“厚”，在教學(xué)中如果課時(shí)受限，要根據(jù)需求合理取舍，并將一些內(nèi)容交給學(xué)生自學(xué)。

　　根據(jù)編者的經(jīng)驗(yàn)，自己獨(dú)立去想通一個(gè)問題，或者實(shí)在想不通的時(shí)候，看一部分書本證明再繼續(xù)獨(dú)立思考，可能比完全看書本上的分析與證明效果更好。這一點(diǎn)可以總結(jié)為“學(xué)習(xí)得來終覺淺，絕知此事要自悟”。

　　編者認(rèn)為，信息在對于人類的利弊上是中立的，信息只是提供給我們更多的選擇，但是這種選擇到底是有益還是有害，人是不是會(huì)利用這種選擇來危害社會(huì)，很大的程度上是取決于用信息的人，所以無論科技如何發(fā)達(dá)，永遠(yuǎn)都不能忽視人的道德問題，壞人掌握高科技，無異于南轅北轍。正如復(fù)旦大學(xué)校長所言： “無德學(xué)生越有知識(shí)可能越禍害社會(huì)�！睂τ趯W(xué)生的道德要求應(yīng)高于學(xué)業(yè)要求，德育更重于智育。

　　現(xiàn)在的大學(xué)教學(xué)中忽視德育，輕視方法與思想，而更側(cè)重理論。但實(shí)際上三者的重要性是遞減的。

　　國外的一些大學(xué)教育水平為什么能夠高出國內(nèi)很多，我們參考國外的教材和教學(xué)安排、習(xí)題就可以得出一部分答案： 它們學(xué)生的壓力更大，學(xué)習(xí)內(nèi)容多，但是教師講的少，學(xué)生自學(xué)的內(nèi)容多，題目更加靈活；它們的平時(shí)成績往往超過70%，平時(shí)的習(xí)題任務(wù)也非常大，而且非常嚴(yán)格；另外，機(jī)制保證了學(xué)生更加勤奮，教師的要求更加嚴(yán)格。而在國內(nèi)，在學(xué)習(xí)專業(yè)知識(shí)的大學(xué)階段卻反倒松懈下來。提升大學(xué)教育質(zhì)量離不開嚴(yán)格管理，國外的做法值得借鑒。

　　本書共分9章。第1章是緒論，介紹信息、通信系統(tǒng)模型、離散與連續(xù)等內(nèi)容。第2章介紹信息的統(tǒng)計(jì)度量，也是信息論的基本概念，包括自信息量、互信息量、平均自信息（熵）、平均互信息等，這一章是后續(xù)章節(jié)的基礎(chǔ)。第3章討論信道及其容量。第4章主要介紹編碼的基本概念與無失真信源編碼。第5章討論信息率失真函數(shù)與限失真編碼。第6章討論信道編碼。第7章討論加密編碼。第8章分析香農(nóng)信息論的局限性，并且對信息論的發(fā)展進(jìn)行展望。第9章介紹一些常用編碼的實(shí)現(xiàn)方法和信息論的應(yīng)用。

　　本書由王勇主編，第6章由黃雄華完成，其余均由王勇編寫，蔡國永參與了第9章的編寫。主編審閱了各章內(nèi)容，但是當(dāng)章節(jié)編者與主編存在不同看法時(shí)，主要保留編者的觀點(diǎn)。教材中新的錦囊、穿插的思考題、課后思考題由王勇設(shè)計(jì)。教材的策劃與改革主要由王勇完成。

　　作者要特別感謝清華大學(xué)出版社的信任與支持！同時(shí)感謝付莉做了一部分資料收集工作，并繪制了若干插圖。

　　本書得到中國電子教育學(xué)會(huì)“十二·五”高等教育科學(xué)研究立項(xiàng)課題（No.ZDJ11208）、新世紀(jì)廣西高等教育教學(xué)改革工程立項(xiàng)項(xiàng)目（No.2012JGA137）的資助。

　　本書的前修課程包括高等數(shù)學(xué)、概率論和線性代數(shù)。離散數(shù)學(xué)（數(shù)論、近世代數(shù)）也是某些編碼理論的基礎(chǔ)，本書中在相關(guān)章節(jié)對這些基礎(chǔ)簡要提及。

　　本書將會(huì)提供一定的增補(bǔ)電子文檔和其他相關(guān)的電子文檔。

　　本書試圖更多地從理解的角度來啟迪讀者，也提出了許多具有啟發(fā)性的思考問題，希望能夠把這本書變成啟迪思維、開啟智慧的素材集，但是編者的理解是有限的，在信息論與編碼領(lǐng)域的理論和實(shí)踐方面存在一定的欠缺，限于作者水平有限，書中錯(cuò)誤和不當(dāng)之處在所難免，歡迎各種批評和建議。我們倡導(dǎo)面向就業(yè)的教學(xué)方式，在教材的編寫上，也希望能夠進(jìn)一步貼近研究和應(yīng)用的實(shí)踐，我們歡迎（但是不限于）以下反饋意見：

　　(1) 研究人員對教材的前瞻性提出批評指正；

　　(2) 學(xué)習(xí)過信息論與編碼的畢業(yè)生在從業(yè)多年后對教材的實(shí)用性進(jìn)行評價(jià)；

　　(3) 還未學(xué)習(xí)過信息論與編碼的本科生（已經(jīng)學(xué)過高等數(shù)學(xué)、線性代數(shù)和概率論）來評論教材的通俗性和易讀性，指出教材中的跳躍度較大、艱澀難懂的地方；

　　(4) 教師和學(xué)生對教材中出現(xiàn)的問題給予批評，對教材的優(yōu)缺點(diǎn)進(jìn)行評價(jià)，針對教材中的一些改進(jìn)點(diǎn)提出批評意見；

　　(5) 產(chǎn)業(yè)界和廣大的相關(guān)行業(yè)人士就教材的實(shí)用性提出自己的意見，以增強(qiáng)課程與實(shí)踐的銜接。如有意見可以發(fā)到hellowyin@126.com，對于有顯著貢獻(xiàn)的讀者，我們會(huì)在教材或者其電子材料中注明，并可能拿出一部分稿酬給予獎(jiǎng)勵(lì)。此外，對于今后的教材再版，我們也積極歡迎產(chǎn)、學(xué)、研等領(lǐng)域的人才參與進(jìn)來，參與者和提出意見者可以提出自己的關(guān)于版權(quán)、署名和稿酬等方面的要求。




王勇
2012年11月于桂林電子科技大學(xué)