呼廚泉接過兄長的單于之位，封劉豹為左賢王。
曹操平定北方，將呼廚泉的眾多部落按地理位置分為左右南北中五部：左部居住在太原的茲氏（今山西臨汾），右部居住在祁地（今山西祁縣），南部居住在蒲子（今山西隰縣），北部居住在新興（今山西忻州北），中部居住在大陵（今山西文水縣）。
其中劉豹為左部首領。劉淵乃是劉豹之子。劉淵小小年紀，就顯示出許多異于常人的地方。他愛好學習，熟讀《毛詩》、《京氏易》和《馬氏尚書》，最愛《春秋左氏傳》、《孫吳兵法》。這對一個匈奴人來說，太不簡單了。劉淵讀《史記》、《漢書》及諸子的著作，并不是單單讀書而讀書，喜歡在讀書中帶著問題思考。
他對一起學習的同學說：“我每次閱讀書傳，都忍不住要鄙視隨何、陸賈這些人，他們雖有文才而缺乏武功，而周勃、灌嬰雖武功卻又缺少文才。道義是由圣人來發揚光大的，知識不全面，能成得了什么事？隨何、陸賈遇上漢高祖而不能夠建立起封侯的功業，算是白活了；周勃、灌嬰跟隨在漢文帝左右又不能開創教化大業，瞎活了！”
在這種思想的指導下，他在學習文化的同時，也專注于練習武藝。劉淵身材魁梧，身高八尺四寸，兩臂奇長，善于射箭，力大過人。他的儀表威猛，胡須有三尺多長，有人注意到，其中有三根血紅色的毫毛，又粗又長（眼神忒好！）。屯留人崔懿之、襄陵人公師彧等當世名士見了，無不大為驚訝，嘆道：“這人的形體、相貌太不平凡了，乃是世間罕有啊。”
晉泰始年間（270年前后），“長臂猿”劉淵作為匈奴部的人質羈居洛陽。晉武帝司馬炎見了劉淵，也有同樣的感受，稱贊說：“劉淵的容顏、儀表奇特，如果單從以貌取人的角度來說，我總覺得春秋的由余、漢代的金日磾也不能高出他。”有意讓他擔任統帥平定東吳。
有臣子及時勸阻了，說：“正如您老人家所說，劉淵的才干現在既然沒有人能與他相比，您又授予他之么大的權力，替他樹立他威望，那么，平定吳地之后，恐怕他就不會再回來了�；噬希瑒Y與我們不是同一個民族，必然有異心�，F在，委任他治理本部的事務，我們已為陛下您感到寒心，若是還要將天然險阻之地賜給他，后果將不堪設想。”
于是，晉武帝司馬炎把平定東吳的事交給了杜預和王濬等人。
晉咸寧四年（278年），禿發鮮卑部在秦州、涼州作亂，晉武帝又神經錯亂，準備征發匈奴五部，由劉淵掛帥前去平亂。
幸虧，又有大臣阻止了。
大臣們說：“劉淵若是能夠平定涼州，斬殺樹機能，恐怕涼州境內又要亂了。蛟龍得到云雨，就不再是池塘中無法施展能耐的小東西了。”這樣，劉淵又一次與統兵馳騁疆場失之交臂。
為此，劉淵在九曲河濱為以游俠著稱的東萊人王彌餞行時，慷慨悲歌，縱酒長嘯，嘆息說：“今生今世，我只能老死于洛陽城內了！”其嘯聲清越，遠播四野，在座的人無不跟著落淚。
惠帝元康末年，司馬穎被任命為鎮北大將軍，鎮守鄴城，他久聞劉淵的大名，就起用他為寧朔將軍、監五部軍事，調到鄴城以供驅使——禁錮魔鬼的瓶子就這樣被無知的漁夫打開了。
蛟龍出海！
這年（晉永安元年，公元304年），都督幽州諸軍事王浚聯絡鮮卑族騎兵助戰猛攻鄴城討，司馬穎大為恐懼，準備從鄴城出逃。劉淵一看有戲，便自告奮勇地說：“王浚、司馬騰二部來勢兇猛，兵眾十余萬，恐怕憑咱們目前的兵力難以抵擋，不如讓我回去說服我們匈奴五部騎兵，前來共赴國難。”
司馬穎有些猶豫，說：“五部兵馬能保證如期而來嗎？要我說，鮮卑、烏桓騎兵強勁、快捷如風，也不是那么容易對付的，我打算護送皇上回洛陽，先躲過這個風頭，再告示天下，以平叛的名義，將他們制服。”
劉淵一聽就急了，是真急，錯過了這個機會，估計真要老死了，他急赤白臉地說：“這是什么話呢！這是什么話呢！殿下乃是武帝之子，對朝廷有貢獻，有威望、有恩澤，天下人無不欽佩您的風范，無不愿為您赴湯蹈火。王浚不過一個反復無常的小人，哪能與殿下您相提并論！殿下您一旦示弱于人，就算到了洛陽，威望與權力都已易位，所謂告示，不過一紙空文，誰還會去尊奉！您所擔心的鮮卑、烏桓之類的東胡兵馬，根本抵擋不了我匈奴騎兵的兵鋒。只要殿下您固守鄴城，堅守不出，等我帶來五部人馬，司馬騰和王浚這兩個鼠輩的首級指日就可懸掛在鄴城城頭。”
