信息論基礎(chǔ)屬于什么知識體系(信息論基礎(chǔ)的介紹)

1.信息論基礎(chǔ)的介紹

《信息論基礎(chǔ)》是2008年人民郵電出版社出版圖書。作者為田寶玉、楊潔、賀志強、王曉湘。該書為高等學校信息與計算科學專業(yè)本科生編寫的教材。內(nèi)容包括概率論的基礎(chǔ)知識，香農(nóng)提出的有關(guān)信息量化的基本概念、方法和定理，以及信源的基本編碼理論和信道的基本編碼理論。

2.信息論是什么

信息論 開放分類： 哲學、信息 總述 （來源： 信息論 南豐公益書院 ） 信息論 信息論是運用概率論與數(shù)理統(tǒng)計的方法研究信息、信息熵、通信系統(tǒng)、數(shù)據(jù)傳輸、密碼學、數(shù)據(jù)壓縮等問題的應用數(shù)學學科。

信息論將信息的傳遞作為一種統(tǒng)計現(xiàn)象來考慮，給出了估算通信信道容量的方法。信息傳輸和信息壓縮是信息論研究中的兩大領(lǐng)域。

這兩個方面又由信息傳輸定理、信源-信道隔離定理相互聯(lián)系。 香農(nóng)被稱為是“信息論之父”。

人們通常將香農(nóng)于1948年10月發(fā)表于《貝爾系統(tǒng)技術(shù)學報》上的論文《A Mathematical Theory of Communication》（通信的數(shù)學理論）作為現(xiàn)代信息論研究的開端。這一文章部分基于哈里·奈奎斯特和拉爾夫·哈特利先前的成果。

在該文中，香農(nóng)給出了信息熵（以下簡稱為“熵”）的定義： H = - ∑ pilogpi i 這一定義可以用來推算傳遞經(jīng)二進制編碼后的原信息所需的信道帶寬。熵度量的是消息中所含的信息量，其中去除了由消息的固有結(jié)構(gòu)所決定的部分，比如，語言結(jié)構(gòu)的冗余性以及語言中字母、詞的使用頻度等統(tǒng)計特性。

南豐公益書院 信息論中熵的概念與物理學中的熱力學熵有著緊密的聯(lián)系。玻耳茲曼與吉布斯在統(tǒng)計物理學中對熵做了很多的工作。

信息論中的熵也正是受之啟發(fā)。 互信息（Mutual Information）是另一有用的信息度量，它是指兩個事件集合之間的相關(guān)性。

兩個事件X和Y的互信息定義為： I(X,Y) = H(X) + H(Y) - H(X,Y) 其中 H(X,Y) 是聯(lián)合熵（Joint Entropy），其定義為： H(X,Y) = - ∑ p(x,y)logp(x,y) x,y 互信息與多元對數(shù)似然比檢驗以及皮爾森χ2校驗有著密切的聯(lián)系。 應用 信息論被廣泛應用在： 南豐公益書院 編碼學 密碼學與密碼分析學 數(shù)據(jù)傳輸 數(shù)據(jù)壓縮 檢測理論 估計理論 信息論第一定律 信息論是一門用數(shù)理統(tǒng)計方法來研究信息的度量、傳遞和變換規(guī)律的科學。

它主要是研究通訊和控制系統(tǒng)中普遍存在著信息傳遞的共同規(guī)律以及研究最佳解決信息的獲限、度量、變換、儲存和傳遞等問題的基礎(chǔ)理論。 信息論的研究范圍極為廣闊。

一般把信息論分成三種不同類型： （1）狹義信息論是一門應用數(shù)理統(tǒng)計方法來研究信息處理和信息傳遞的科學。它研究存在于通訊和控制系統(tǒng)中普遍存在著的信息傳遞的共同規(guī)律，以及如何提高各信息傳輸系統(tǒng)的有效性和可靠性的一門通訊理論。

（2）一般信息論主要是研究通訊問題，但還包括噪聲理論、信號濾波與預測、調(diào)制與信息處理等問題。 （3）廣義信息論不僅包括狹義信息論和一般信息論的問題，而且還包括所有與信息有關(guān)的領(lǐng)域，如心理學、語言學、神經(jīng)心理學、語義學等。

信息就是一種消息，它與通訊問題密切相關(guān)。1984年貝爾研究所的申農(nóng)在題為《通訊的數(shù)學理論》的論文中系統(tǒng)地提出了關(guān)于信息的論述，創(chuàng)立了信息論。

維納提出的關(guān)于度量信息量的數(shù)學公式開辟了信息論的廣泛應用前景。1951年美國無線電工程學會承認信息論這門學科，此后得到迅速發(fā)展。

20世紀50年代是信息論向各門學科沖擊的時期，60年代信息論不是重大的創(chuàng)新時期，而是一個消化、理解的時期，是在已有的基礎(chǔ)上進行重大建設(shè)的時期。研究重點是信息和信源編碼問題。

到70年代，由于數(shù)字計算機的廣泛應用，通訊系統(tǒng)的能力也有很大提高，如何更有效地利用和處理信息，成為日益迫切的問題。人們越來越認識到信息的重要性，認識到信息可以作為與材料和能源一樣的資源而加以充分利用和共享。

信息的概念和方法已廣泛滲透到各個科學領(lǐng)域，它迫切要求突破申農(nóng)信息論的狹隘范圍，以便使它能成為人類各種活動中所碰到的信息問題的基礎(chǔ)理論，從而推動其他許多新興學科進一步發(fā)展。目前，人們已把早先建立的有關(guān)信息的規(guī)律與理論廣泛應用于物理學、化學、生物學等學科中去。

一門研究信息的產(chǎn)生、獲取、變換、傳輸、存儲、處理、顯示、識別和利用的信息科學正在形成。 信息科學是人們在對信息的認識與利用不斷擴大的過程中，在信息論、電子學、計算機科學、人工智能、系統(tǒng)工程學、自動化技術(shù)等多學科基礎(chǔ)上發(fā)展起來的一門邊緣性新學科。

它的任務主要是研究信息的性質(zhì)，研究機器、生物和人類關(guān)于各種信息的獲取、變換、傳輸、處理、利用和控制的一般規(guī)律，設(shè)計和研制各種信息機器和控制設(shè)備，實現(xiàn)操作自動化，以便盡可能地把人腦從自然力的束縛下解放出來，提高人類認識世界和改造世界的能力。信息科學在安全問題的研究中也有著重要應用。

——摘自《安全科學技術(shù)百科全書》（中國勞動社會保障出版社，2003年6月出版）。