文廟坐北朝南，南偏東6 度，俯視茶江，背靠印山，依山而建，逐層布置，顯得莊嚴肅穆。全廟占地3600平方米，建築面積1300平方米。由兩邊耳門出入，東向門叫禮門，西向門叫義路，門外立禁碑壹塊，上刻“文武官員至此下馬”，以示孔廟的莊嚴。正面是照壁，沒有開大門，據說等有人中了狀元，才在照壁中間開大門，稱狀元門，想從大門步入欞星門，唯狀元莫屬。
新中國成立後，為方便群眾遊覽，把狀元門打開了。欞星門相傳是漢高祖命祀欞星而移用於孔廟，以尊天者尊孔為本意。該門全部青石砌築，上面刻有“欞星門”三個大字，還有雙龍戲珠、雙鳳朝陽等浮雕。欞星門的六根大石柱頂端有六只小石獅互相窺視著。過了欞星門便是泮池，又叫月池，料石砌就，周圍以青石為欄，有石拱橋跨過池面，稱狀元橋，意為狀元才能通過，橋面有壹塊刻有雲紋浮雕的青石，為“青雲直上”之意。由欞星門步上兩層平臺，便是大成門。大成門由十壹扇組成，木質結構，門扇上樓空的花鳥蟲魚雕刻，栩栩如生。大成門東面是名宦詞，西面是鄉賢祠，是供奉歷代先賢、先儒的地方，計有壹百四十三個靈位。大成門後面是天井，前有寬大的平臺，叫杏壇，又叫露壇，傳說是孔子講學的地方。露壇之上是大成殿，為文廟的主體建築，面闊五間，進深三間，有磚柱十根，木柱十八根，大門十四扇，門窗、檐口均飾以木雕。屋面飛檐高翹，重檐歇山，脊施花飾，泥塑彩畫，琉璃瓦蓋，金碧輝煌。大成殿正中的神龕是供奉孔子靈牌的地方。大成殿之後是崇聖祠，是供奉孔子五代祖先的殿堂，崇聖祠與大成殿在建築構造上很講究，大小高低有分別。
歷代每歲春仲月（農歷二、八月），在大殿舉行祭禮。祭期黎明，各官衣朝服，按序而立，齊集行禮，典儀極為隆重。