信息量与消息出现的概率有关，消息越不可能出现，信息量越大
I
=
l
o
g
a
1
P
(
x
)
=
?
l
o
g
a
P
(
x
)
I=log_a\frac{1}{P(x)}=-log_aP(x)
I=loga?P(x)1?=?loga?P(x)
信息的相加性：若干个互相独立事件的信息量等于各独立事件的信息量之和
底数
a
a
a通常取2，则信息量的单位为比特(b)
当离散消息等概率出现时，即每个符号等概率出现时，信源的熵有最大值
H
(
x
)
=
?
∑
i
=
1
M
P
(
x
i
)
l
o
g
2
P
(
x
i
)
H(x)=-\sum_{i=1}^{M}P(x_i)log_2P(x_i)
H(x)=?i=1∑M?P(xi?)log2?P(xi?)
信源的熵的单位为比特/符号
用 2 k 2^k 2k进制中的数字符号来传送信息（属于等概率情况），该进制下的一个波形即为一个码元，该码元（称作 2 k 2^k 2k进制码元）的信息量在二进制比特单位下即为 k k k，需要使用k个二进制脉冲来传送该码元
波特率
R
B
R_B
RB?为码元传输速率，单位符号/s（波特）
比特率
R
b
R_b
Rb?为消息传输速率，单位比特/s
R
b
=
R
B
?
k
R_b=R_B*k
Rb?=RB??k
模拟信号：信号参量(非时间轴)的取值是连续的
数字信号：信号参量(非时间轴)的取值是有限的
信道：属于物理媒质
基带信号与带通信号：基带信号经过调制解调变成带通信号（按照调制方式分类）
信源编码、信道编码
带宽越小频带利用率越高
单位带宽内的传输速率
η
=
R
B
B
\eta=\frac{R_B}{B}
η=BRB??
信噪比（S/N)
差错概率，用误码率和误信率表示
误码率
P
e
P_e
Pe?为错误码元数的占比
误信率
P
b
P_b
Pb?为错误比特的占比（在二进制视角下）
两者并不等价，因为二进制拓展码元可能发生不是全部比特（0/1)翻转的错误，比特未完全错误但整个码元错误了
地波、天波、视线传播
视线传播距离计算公式
h
=
D
2
50
h=\frac{D^2}{50}
h=50D2?，D为距离(km),h为天线高度(m)
e
o
(
t
)
=
k
(
t
)
e
i
(
t
)
+
n
(
t
)
e_o(t)=k(t)e_i(t)+n(t)
eo?(t)=k(t)ei?(t)+n(t)
噪声
n
(
t
)
n(t)
n(t)为加性干扰
随参信道
k
(
t
)
k(t)
k(t)发生改变为乘性干扰
特性以转移概率描述
特性：
人为噪声 自然噪声
热噪声（白噪声）电压公式
V
=
4
k
T
R
B
(
V
)
V=\sqrt{4kTRB}(V)
V=4kTRB?(V)
玻尔兹曼常数
k
=
1.38
?
1
0
?
23
(
J
/
K
)
k=1.38*10^{-23}(J/K)
k=1.38?10?23(J/K) ,T为热力学温度
某单位下传输的平均信息量最大值
C
t
=
B
l
o
g
2
(
1
+
S
N
)
C_t=Blog_2(1+\frac{S}{N})
Ct?=Blog2?(1+NS?)
其中噪声功率
N
=
n
0
B
N=n_0B
N=n0?B ，单边功率谱密度乘以带宽
最大值为
1.44
S
n
0
1.44\frac{S}{n_0}
1.44n0?S?