計算平均信息量的公式是I = log2（1/p），其中p是概率，log2是指以2為底的對數。然而，對信息量的深入和系統研究始於C.E. Shannon從1948開始的開創性工作。在信息論中，認為信源輸出的消息是隨機的。信息量和信息熵在概念上是不同的。在收到符號之前，您無法確定信源發送的是什麽符號。傳播的目的是使接收者在收到符號後消除對來源的懷疑（不確定性），使不確定性為零。這表明接收者從發送者的來源獲得的信息量是壹個相對量（H（U）-0）。信息熵是描述源本身統計特征的物理量。它代表信源產生的符號的平均不確定性，無論有無接收方，它始終是壹個客觀量。