申农把信息定义为两次不确定性之差，即：信息（量） = 通信前的不确定性 － 通信后尚存的不确定性。