伏牛山自古以来是中原通往南阳盆地、进入荆楚地区的天然屏障，古代交通要道三鸦路即贯穿其中。历史上伏牛山闻名于世的，莫过于唐自在禅师的典故。
宋《高僧传》有传，但未及伏牛神迹。依我推测，伏牛山得名应与自在禅师有关。“伏牛”一词为禅宗常用比喻，以“牛”喻心，“伏牛”意即为降伏自心。“伏牛”与“自在”，意相关连。后世流传甚广的描述修行过程的“十牛图”，当本于此。有明一代，伏牛山又以僧兵名于时，据史料，伏牛僧兵与少林僧兵有关，但证据不够有力。
传说秦朝的时候，中国人多地少，有的地方只好在石板上堆土种庄稼，
收获的粮食远远不能满足人们的需要，许多穷人经常忍饥挨饿。而官府不是抓丁，就是搜刮钱粮，百姓没有活路，到处都是造反的人。
朝中一个奸臣想出了一个歪主意上朝奏道：“皇上，世上人多容易生是非，不如多杀些刁民。人少了，粮食就够吃了，百姓就不造反了。”秦始皇听了，觉得有理，就派人铸了头万斤铁牛，让官兵们把铁牛拉到百姓家，并规定：铁牛推到谁家，限三天推到别家去，推不走就杀掉全家！这万斤铁牛成了吃人兽，推到哪那儿，哪儿的老百姓就哭声一片。
有一天，万斤铁牛推到了河南省一寡妇家门口。寡妇抱个没满月的娃娃，望着那头吃人兽，眼看到了三天期限，只好哭天抹泪。正哭哩，感觉有人拍了她一下：“别哭了，我给你指条活路吧。”寡妇抬头一看，是个白胡子老头儿，赶忙跪地下磕起头来。白胡子老头儿亮出一样东西，亮晶晶的像根绣花针。他对着绣花针吹了口气，说声：“变！”眨眼间，绣花针变成了一根鞭子。
老头儿说：“这叫赶山鞭，是件宝物。到了晚上三更天，你拿着它，对着铁牛打三下，保你母子平安。”说完，金光一闪，老头儿不见了。到了夜里三更，寡妇悄悄地起来，拿起赶山鞭，对着铁牛身上就打。咦，万斤铁牛真地晃起来了！寡妇又喜又惊，把眼一闭，啪！啪！又是两下，铁牛先是一阵抖动，接着一摇三晃，越走越快。由于用劲太大，赶山鞭都戳到牛屁股里了！铁牛走着晃着，赶山鞭左右甩着，一直等到赶山鞭甩掉了，铁牛才慢慢停着不动了。
第二天，官兵们发现铁牛不见了，就来逼着问寡妇。寡妇把白胡子老头儿的事儿，一五一十地说了。官兵们一听有宝贝，赶紧去追。找着了赶山鞭，又赶紧献给秦始皇。秦始皇得着赶山鞭，急忙去赶万斤铁牛，谁知道无论怎么挥鞭，铁牛只是纹丝不动。看到这种情况，秦始皇心里不禁有些发毛，心想：“这也许是上天在警示我？”从此以后，秦始皇再也不敢用万斤铁牛坑杀老百姓了。他拿着赶山鞭，把陆地上许多大山赶进了大海，填海造田，也算干了件好事。
从此，万斤铁牛就留到了河南，天长日久，变成了八百里伏牛山。据说送赶山鞭的白胡子老头儿，是天上的太白金星。见秦始皇杀人太多，为了搭救老百姓，才把宝物送到人间。
