但是，據說伯樂有個兒子卻非常的愚鈍。據傳說：伯樂的兒子死讀了他父親寫的《相馬經》，去找騏驥良馬，結果，找回來壹匹劣馬，根本不堪使用。還有壹個傳說：伯樂的《相馬經》中，曾介紹良馬的額頭是什麽樣的，眼睛是什麽樣的，蹄子又是什麽樣的。他兒子把這幾條都牢記在心中。壹天，他和伯樂壹起去郊遊，在路邊看見壹只大蛤蟆，便高興的對伯樂說：“爸爸，這真是壹匹良馬了！您瞧，它的額頭、眼睛都跟您說的相仿，就是蹄子不大壹樣。”伯勒又氣又好笑，只能幽默的說：“這‘馬’好跳，無法駕馭！”
這個故事，在唐朝人張焯寫的《朝野僉載》和明朝人楊慎寫的《藝林伐山》中都有記述。因為死記教條，機械地按照《相馬經》去找良馬，結果鬧出笑話來。這就是“按圖索驥”這句成語的來歷。
那為什麽叫“按圖索驥”，而不是“按經所驥”呢？傳說：周穆王有八匹神奇的駿馬，每壹匹不僅有壹個很高雅的名字，而且健壯不凡，各有特色。有名的“八駿圖”就是後代畫家根據傳說而創作的想象圖。唐朝詩人白居易曾在詩中這樣寫：“穆王八駿八天駒，後人愛之寫為圖。”因“駿”和“驥”都是指良馬，故此有了“按圖索驥”這句成語。
“按圖索驥”的願意是批評死守成規、脫離實際和不知融會變通的人和事。但是後來逐漸被用作另外的壹種意思。就是：根據具體的標示，去尋找需要的東西，就可以在復雜的情況下，順利的找到