劉知俊，字希賢，徐州沛縣人。身材高大相貌英俊，瀟灑無拘胸有大志。開始時事奉徐州統帥時溥，擔任列校，時溥很器重他，後來因為勇敢和才略而被嫉妒。唐朝大順二年(891)冬天，率領部下兩千人投降梁太祖，即暫任軍校。劉知俊披上鎧甲跨上戰馬，掄起刀劍殺敵陷陣，勇敢膽略比其他將領都強。太祖命令左義勝軍和右義勝軍都歸隸劉知俊指揮，不久又任用他為左開道指揮使，所以當時人都叫他「劉開道」。跟隨太祖討伐秦宗權以及進攻徐州都立有戰功，接著補任徐州馬步軍都指揮使。劉知俊進攻海州並奪取了它，太祖奏請皇上授劉知俊為海州刺史。天復初年，歷任懷州、鄭州主管，跟從太祖平定青州，因為戰功奏請皇上授以同州節度使。天..三年冬天，率領五千士兵在美原擊敗岐下六萬士兵。從此接連攻克..、延等五州，於是加封為檢校太傅、平章事。開平二年(908)春三月，任命為潞州行營招討使。劉知俊還沒有到達潞州時，兩邊的營寨已經陷落，晉人領著軍隊正在進攻澤州，聽說劉知俊來了，才撤退。不久就改任西路招討使。六月，在幕谷大破岐下軍隊，被俘和被殺的敵軍數以千計，李茂貞僅僅隻身一人逃脫。三年五月，加封為檢校太尉，兼任侍中，被封為大彭郡王。
這時劉知俊的威望日益高漲，太祖的猜疑之心也日益強烈，恰遇上佑國軍節度使王重師無罪而被太祖誅殺，劉知俊坐臥不安，於是憑據同州反叛太祖，並對李茂貞表達誠意。劉知俊又分兵進攻雍州、華州，雍州節度使劉捍被擒獲，送到鳳翔李茂貞處被殺害了，華州蔡敬思受傷而得免於一死。太祖聽到劉知俊反叛，派遣身邊的親信告訴他說：「我對待你非常優厚，為什麼要背叛我呢？」劉知俊回話說：「我並不是背叛你對我的恩德，我只是怕死罷了！王重師沒有對不起陛下的地方，然而招致了滅族的災禍。」太祖又派遣使者對劉知俊說「：我沒有料到你會這樣做。以前王重師獲罪被誅，是因為劉捍說他私下勾結..州、鳳州，終將不被國家所用。我現在雖然已經知道是冤枉濫殺，但是後悔已經來不及了，致使你變成這樣，我內心非常遺憾悔恨，是因為劉捍誤了我的大事呀，劉捍一死仍然不能解脫他的罪責。」劉知俊不做回答，而是分兵據守潼關。太祖命令劉尋領兵進攻討伐，攻擊潼關，佔領了它。當時劉知俊的弟弟劉知浣是太祖親衛指揮使，聽到劉知俊反叛，從洛陽奔到潼關，被劉尋抓獲，殺死了他。不久皇室大軍接著開來，劉知俊於是帶著全家逃奔到鳳翔府，李茂貞優厚地接待他，任為偽檢校太尉、兼任中書令，因為李茂貞盤踞的疆土不廣，沒有藩鎮可用來安置他，因此只是供給他優厚的俸祿而已。接著命令他領兵攻擊圍困靈武，想得到牧圉一帶地方。靈武節度使韓遜派使者來向太祖告急，太祖命令康懷英帶領軍隊救援他，部隊駐紮在..州長城嶺，被劉知俊半路攔截襲擊，康懷英被打敗逃回。李茂貞大喜，命劉知俊暫任涇州節度使。又命令他帶領部隊攻打興元府，進軍圍住蜀國西縣，恰逢蜀軍援兵來到，劉知俊才撤退。
不久劉知俊被李茂貞身邊的人如石簡..等人挑撥離間，李茂貞罷免了他的軍政大權。劉知俊寓居於岐下，閉門不出有好幾年。李茂貞的侄子李繼崇鎮守秦州，趁來問候拜見李茂貞的機會，訴說劉知俊的困頓，說不該因讒言嫉妒而被懷疑，李茂貞於是誅殺石簡..等人來撫慰劉知俊的心。李繼崇又請求讓劉知俊攜帶家眷住到秦州，以接受豐厚的俸給，李茂貞答應了他。不久，..州動亂，李茂貞命令劉知俊討伐..州。這時..州都校李保衡效忠於朝廷，梁末帝派遣霍彥威率領部隊先進入..城，劉知俊於是圍住..城，半年都不能攻下。逢上李繼崇將秦州投降了蜀國，劉知俊的妻子兒女都被帶去了成都，於是劉知俊解除..州的圍兵回到岐陽。因為自己的一家人都去了蜀地，到底擔心被猜疑顧忌，因而與親信一百多人夜晚殺出城門投奔蜀國。
蜀主王建對待劉知俊非常優厚周到，馬上授予他偽武信軍節度使。接著命令他領兵攻伐岐下，不能攻下，回師，順便包圍了隴州，俘虜了隴州統帥桑弘志歸來。很久以後，又任命他為都統，再次領兵攻伐岐下。這時部下將領都是王建舊日手下人，多次違抗劉知俊的調度指揮，所以沒有成功就回來了，蜀國人因此詆毀他。在這以前，王建雖然寵愛厚待他，但也有所疑忌，曾經對身旁侍臣說「：我漸漸衰弱羸老了，經常考慮身後的事情。劉知俊不是你們這班人能駕馭得了的，不如早點給他一個處置。」又有嫉妒他聲譽的人在街頭巷尾傳播謠言說「：黑牛出圈棕繩斷。」劉知俊顏色黑而且生在屬牛的醜年，所謂棕繩，王建的子孫都以「宗」、「承」作為名字，所以把這些牽合在一起而構成謠言。偽蜀國天漢元年(917)冬天十二月，王建派人逮捕了劉知俊，殺死在成都府的炭市。