理論上，人眼可以感知兩倍於RGB顏色系統的顏色，但由於人眼是模擬系統，很難量化顏色之間的確切差異(因人而異，有些只是感官差異)。直方圖是壹種量化顏色並通過圖標顯示的方法。直方圖的橫軸是亮度，縱軸是數量(通常在線性坐標系中)。所以直方圖往往分為RGB直方圖和亮度直方圖。亮度直方圖中的橫軸描述的是綜合亮度(HSB色系中的B或Lab系中的L)，而RGB直方圖是由R、G、B三個直方圖疊加而成，每個直方圖分別代表R、G、B的亮度(即0-255)。根據直方圖的亮度，直方圖曲線的積分(曲線下部的面積)為1。亮度直方圖可以用來監控畫面中是否有高光和陰影溢出(即超過255，255，255的顏色不會被表現出來，而是統壹標識為255，255，255。0，0，0以下的不能表示，所以標識為0，0，0。會有掉色)。同時還可以監控畫面是太亮(向右彎曲)還是太暗(向左彎曲)。註意:壹般來說，直方圖橫軸的右方向就是亮度的正方向。顏色直方圖(RGB)的功能主要用來觀察畫面是否有偏色。根據定義，如果圖片是灰度圖像(沒有任何顏色)，那麽RGB的三條曲線應該是重疊的。如果畫面是紅色的，紅色曲線比其他兩條曲線更靠右，可以初步辨別出白平衡或者整個畫面的色調。
同樣，根據定義，如果圖片中的顏色或亮度不連續，那麽直方圖中就會出現橫軸不連續。另壹方面，如果有不連續的曲線，說明原圖的顏色是不連續的。不連續的原因有很多，比如曲線的過度調整(局部顏色的非線性映射)、圖像質量的過度壓縮(JPG)、使用非真彩色圖像格式如GIF、圖像的馬賽克等...但最終的結果是顏色數量減少，圖像質量下降。