信息論
時間：2024-01-22 00:10:01 | 來源：信息時代
時間：2024-01-22 00:10:01 來源：信息時代
消息(或稱為符號) ： 信息的數(shù)學表達層，它雖不是一個物理量，但是可以定量地加以描述，它是具體物理信號的進一步數(shù)學抽象，可將具體物理信號抽象為兩大類型：
自信息量： 一個隨機事件發(fā)生某一結果后所帶來的信息量成為自信息量，定義為其發(fā)生概率對數(shù)的負值。
平均互信息： 表達平均互信息量的熵I(X;Y), 是確定通過信道的信息量的多少，因此稱它為信道傳輸率或傳信率。I(X;Y)就是接收到符號Y后平均每個符號獲得的關于后平均每個符號獲得的關于X的信息量——平均意義上每傳送一個符號流經(jīng)信道的平均信息量。
離散平穩(wěn)無記憶信源： 假定隨機變量欲裂的長度是有限的，如果信源輸出地信息序列中，符號之間的無相互依賴關系，則稱這類信源為離散平穩(wěn)無記憶信源。
信源冗余度： 信源熵的相對率為信源實際的信息熵與同樣符號數(shù)的最大熵的比值：η=H無窮/H0，定義信源的冗余度為1減去信源熵的相對率η，即ξ=1-η。
信道容量： 信道在單位時間上能夠傳輸?shù)淖畲笮畔⒘俊?div>
平穩(wěn)信源： 概率分布函數(shù)與時間起點無關，平穩(wěn)信源是有記憶的，記憶的長度有限。
香農(nóng)信息： 信息是事物運動狀態(tài)或存在方式的不確定性的描述。
無記憶信道： 在某一時刻信道的輸出消息僅與當時的信道輸入消息有關，而與
前面時刻的信道輸入或輸出消息無關。
有記憶信道： 在任意時刻信道的輸出消息不僅與當時信道的輸入消息有關，而且還與以前時刻的信道輸入消息和（或）輸出消息有關。
信道疑義度 ( 含糊度) H(X|Y)： 表示在輸出端接收到Y后，發(fā)送端X尚存的平均不確定性。這個對X尚存的不確定性是由于干擾引起的。
信道散布度 H(Y|X) ： 表示在已知X后，對于輸出Y尚存的平均不確定性；
平均失真度： 定義平均失真度為失真函數(shù)的數(shù)學期望，及d（xi,yi）在X和Y得聯(lián)合概率空間P(XY)中的統(tǒng)計平均值：D=E[D（xi,yi）] ，起是在平均的意義上，從總體上對整個系統(tǒng)失真情況的描述。
失真函數(shù)d(xi,yj)： 是人為規(guī)定的，給出規(guī)定時應該考慮解決問題的需要以及失真可能引起的損失、風險和主觀上感覺的差別等因素。
保真度準則：從平均意義上講，信道每傳送一個符號所引起的平均失真不能超過某一給定的限定值D，即要求D ≤D，稱這種對于失真的限制條件為保真度準則保真度準則。
信息率失真函數(shù)： 在保真度準則下，再現(xiàn)信源消息所必須獲得的最少平均信息量；在保真度準則下，再現(xiàn)信源消息所必須獲得的最少平均信息量；滿足保真度準則下，信源可壓縮的最小值。
信源編碼： 就是針對信源輸出符號序列的統(tǒng)計特性，通過概率匹配的編碼方法，將出現(xiàn)概率大的信源符號盡可能編為短碼，從而使信源輸出的符號序列變換為最短的碼字序列針對信源輸出符號序列的統(tǒng)計特性，通過概率匹配的編碼方法，將出現(xiàn)概率大的信源符號盡可能編為短碼，從而使信源輸出的符號序列變換為最短的碼字序列。
編碼效率： 用最小平均碼字長度 Kmin和實際的編碼平均長度和實際的編碼平均長度 K之比來表示:
最佳碼： 對于某一個信源和某一碼符號集來說，若有唯一可譯碼，其平均編碼長度小于所有其他唯一可譯碼的平均編碼長度，則該碼為對于某一個信源和某一碼符號集來說，若有唯一可譯碼其平均編碼長度小于所有其他唯一可譯碼的平均編碼長度，則該碼為最佳碼（或緊致碼）。
信道編碼： 從消息（或符號）到信道波形或矢量的映射過程；希望得到通信系統(tǒng)與信道統(tǒng)計特性相匹配的編碼。
漢明距離： 長度為n的兩個符號序列(碼字)αi和βj之間的距離是指αi和βj之間對應位置上不同碼元的個數(shù)，用符號之間對應位置上不同碼元的個數(shù)，用符號D(αi,βj)表示。這種碼字距離通常稱為表示。這種碼字距離通常稱為漢明距離。
完備碼： 如果所有禁用碼字都包含在某碼球內，可以按最大似然譯碼原則向球心單向譯碼，這樣的碼叫如果所有禁用碼字都包含在某碼球內，可以按最大似然譯碼原則向球心單向譯碼，這樣的碼叫完備碼。
最大似然譯碼準則（不再依賴先驗概率）： 即可直接從信道矩陣中去選定譯碼函數(shù)。
錯誤圖樣： 設發(fā)送 X=[x1,x2,…,xn]，接收，接收 Y=[y1,y2,…,yn]，則兩者的差別，則兩者的差別 E=X-Y=[e1,e2,…,en] 稱為錯誤圖樣。
線性分組碼： 為了進行信道糾錯編碼，需要將長為k 的序列 u映射為長為 N 的序列 C=(C0,C1,…,CN-1)，N>=k，Ci取自GF(q)，稱每個 C 為碼字，C 的集合為碼集、碼書（或簡稱碼）。若這種映射關系是線性的，就稱為的集合為碼集、碼書（或簡稱碼）。若這種映射關系是線性的，就稱為線性碼。
前向糾錯（FEC） ：是指差錯控制過程中是單向的，無須差錯信息的反饋。
信息反饋（IRQ）方式： 又稱回程校驗。接收端把收到的碼全部由反饋信道送到發(fā)送端，在發(fā)送端將原發(fā)送的碼進行比較，發(fā)現(xiàn)錯誤后，把出錯的碼再次重發(fā)，直到接收端正確接受為止。
網(wǎng)站
營銷
設計
運營
優(yōu)化
效率
專注
電商
方案
推廣
微信公眾號
版權所有? 億企邦 1997-2025 保留一切法律許可權利。
在線咨詢