古代文學的任何分支的發展都可以追溯到先秦時期。先秦時期的詩歌(如《詩經》、《楚辭》)中，有壹些描寫山水的詩，如“我往生，楊柳依依；《今天我要回家了，下雨下雪了》可以說是思鄉之源，也可以說是山川之源，但它在內容上處於從屬地位，沒有作為獨立的審美對象被傳唱。“直到漢末建安時期，中國詩歌史上才出現了最早的完整的山水詩。這是曹操寫的四言詩《觀滄海》:“碣石在東看海。大海如此廣闊無垠，島嶼高高聳立在海面上。樹木和百草枯草，非常茂盛，秋風吹得樹木發出悲傷的聲音，大海正在湧動巨浪。太陽和月亮的運行似乎來自浩瀚的海洋。日月之旅，若出其不意；韓是才華橫溢的明星，若出其不意。還好，連，歌裏唱的。”但這種詩在當時並不多見。到了陶淵明進壹步發展，那句“奢適而成”，清新自然的風格，悠然見南山的心境，顯示出魏晉的獨特性。
中國古典山水詩起源於何時？摯友說:“山水詩始於東晉初年，於論諸人”(《範本紀文心雕龍》註)。這不是沒有根據的。寫山水詩成為壹種潮流和時尚。確實是在東晉，蘭亭集勢就是壹個突出的例子。
東晉帝司馬丹永和九年(353)三月三日，大書法家王羲之與當時的、孫綽、謝安、支遁等名人***41人在會稽(今浙江紹興市)蘭亭以“修竹”為由，在山中、茂林竹中、清中設宴。當時由於玄學的影響，東晉散文除了陶淵明之外，無人知曉。但詩與序是相輔相成的，王羲之的《蘭亭序》是壹部傑作。
晉宋時期，江南農業大發展。士紳地主的物質生活條件比過去富裕了，建起了更多的花園和別墅。在富裕的物質條件下，士紳文人以嘉裏的南水環境，過著談玄理、登山河的閑適生活。在他們的談吐中，往往有壹些充分發揮老莊自然哲學的名言和俗語來贊美江南的山川。由於這種風氣的影響，壹些山水詩開始出現在當時流行的玄學詩中，作為玄學的證明或點綴。東晉著名玄學派詩人孫綽諷刺說:“這兒子的表情與山川無關，卻能寫字？”可見，玄言詩和山水詩有著相同的階級生活基礎和相同的思想基礎，玄言詩孕育了山水詩。
當然，《道德經》的玄言詩，即使點綴幾首死板的山水詩，也改變不了那張枯燥乏味的臉。直到東晉後期，謝混的《遊絺疵》等幾首集中描寫山水風光的詩歌，才開始給籠罩在玄學氣息中的文人詩壇帶來壹絲清新之氣。劉宋前期，謝混之侄謝靈運繼續從這壹方向探索詩歌境界，創作了大量山水詩，並在藝術上有所創新，最終確立了山水詩在士族詩壇的主導地位。於是，山水詩從藩屬變成了大國，玄言詩從大國變成了藩屬。雖然這基本上是主題和藝術上的創新，但在詩歌發展史上還是前進了壹步。