到了汉朝灭亡的时候，匈奴作为一个政治上独立的国家也算是灭亡了，作为一个种族，则逐渐与其他种族融合。他们离开故地，分布于其他好多地域。
匈奴故地为鲜卑侵占后，其种族之留居故地者十余万落，自称“鲜卑”。起初，也许匈奴与鲜卑之间区别之处甚多，但久而久之，经过聚居、通婚，二者就不容易分开。鲜卑人有匈奴人的血统，匈奴人也有了鲜卑人的血统，二者的风俗习惯互相影响。同时，鲜卑人降服了这么多匈奴人之后，人力与物力大为增加，这是鲜卑继匈奴之后成为汉族劲敌的原因之一。
匈奴人还与乌桓人互相混合，互相影响。同样，匈奴北边的丁令、坚昆，以至西边的乌孙，以及羌、氐、西域诸国的种族，与匈奴的关系既很密切，时间又长达四五百年之久，则其血统与风俗习惯和这些国人的融合，也是可以想见的。
至于匈奴人同汉族及其风俗习惯相融合，也是很为明显的。
匈奴种族散居于匈奴故地以外的为数很多，地域也很广，但是在地域上的移动方向主要有二：一为向南移动，一为向西移动。他们大量向南与向西移动虽在后汉时代，但是向这两个方向移动的历史可以追溯到前汉。自前汉呼韩邪单于称臣于西汉，分为南、北匈奴之后，匈奴族向这两个方向移动的趋势已经很为明显。向南迁徙者不仅散居于中国北部边境，而且分散入居于中国塞内。其历程在早期是个别的、少数的、缓慢的，到了后来则愈来愈多。向西迁徙的，其历程可以说也是这样。向南迁徙的最初是到达长城的边塞，后来又移向黄河流域。到中国的晋代与南北朝，发展到长江以北，个别也有越过长江的。中原地区在晋代曾为匈奴后裔部分占领，但匈奴后裔从没有征服过整个中原地区。
向西迁徙的匈奴人却不是这样。他们最初从蒙古高原越阿尔泰山而西，活动于天山以北与乌孙之东，同时控制天山以南的西域诸国。后来，他们越乌孙到葱岭以西，从康居至奄蔡，再向西走至东罗马帝国的东境，又再西进而至西罗马帝国境内莱茵河与高卢地区，也就是现代的德国与法国。虽然其势力在中亚与欧洲膨胀的历史犹如昙花一现，然影响于中亚与欧洲种族的迁徙与政治、地理的变动，实在是太大了。这是世界史上最重要的一章，也是东方与西方交通史上最重要的事件。
因此之故，无论是向南的迁徙也好，向西的迁徙也好，其历史意义均极为重要。前者成为通称作“五胡乱华”的民族大融合的动力，后者则是东方人侵入西方的开端—— 一个至为重要的开端。
关于匈奴族向南移徙，入居中国长城内外地区的历史，《晋书·四夷列传》中说：“前汉末，匈奴大乱，五单于争立，而呼韩邪单于失其国，携率部落，入臣于汉。汉嘉其意，割并州北界以安之。于是匈奴五千余落入居朔方诸郡，与汉人杂处。”又说：“其部落随所居郡县，使宰牧之，与编户大同，而不输贡赋。多历年所，户口渐滋，弥漫北朔，转难禁制。”不过，呼韩邪虽然率部到中国北部边境居住，但他本人不久即率部北归漠北单于庭，保持独立的政治中心。他没有长住西汉，他的子孙也没有在西汉久住，就是后来为王莽所劫持到长安的一些匈奴贵人，除死者外，生者后来也被遣送回国。所以《晋书》上那段话中的最后一段，可以说是后汉时代的情况。不过从中也可以看出，匈奴之入居中原者，其历史很久，其来也渐。到了后汉下半叶，来者愈多，曹操分之为五部，内部自治制度已深为汉化。
南匈奴单于羌渠被国人杀死之后，国人对其子於扶罗也加以反对，立须卜骨都侯为单于。羌渠之子，即正在塞内助讨黄巾的右贤王於扶罗遂自立为持至尸逐侯单于，并得到汉王朝的承认。於扶罗立于汉灵帝中平五年（公元188年）。这样一来，南匈奴又一分为二，有两个单于和两个政治中心：一为於扶罗单于，一为须卜骨都侯单于。后者仍领有原来中国塞外的南匈奴故地。可是，须卜骨都侯立了一年后就死了，塞外的南匈奴王庭遂没有单于，国人乃以老王行国事，不立单于。不过，这位老王死后的情况如何，我们就不清楚了。於扶罗为国人所拒，不能回国，便到汉朝京都去求东汉王朝帮助他返国即位。但是，恰巧灵帝于中平六年（公元189年）死了。他没有办法，乃率其众数千骑止于河东平阳。他称单于七年后死，弟呼厨泉立于献帝兴平二年（公元195年），继续居留在平阳。到了汉献帝建安二十一年（公元216年），他到京城朝见，为曹操扣留于邺，而由右贤王去卑回去监国，是为塞内匈奴。此外，在西北方面，还有不属中国的北匈奴余众，时与中国争夺西域。
东汉到了於扶罗立后第二年，灵帝死了，天下大乱，对于匈奴无暇兼顾。不过，东汉王朝承认於扶罗是南匈奴正统单于，所以《后汉书·南匈奴列传》对于於扶罗的世系记载稍为详细。
中国自献帝建安元年（公元196年）以后，曹操当权。不久，天下三分鼎立，中原北方是曹操的势力范围，后建魏国。塞内匈奴与中国政权的关系，也可以说是与魏的关系，因为吴、蜀都为魏所隔，不能与匈奴交通。
匈奴虽与魏有关系，但是《三国志·魏书》并没有《匈奴传》，却有乌丸（或乌桓）、鲜卑以及东夷（如夫余、高句丽、东沃沮、挹娄、 、马韩、辰韩、弁韩与倭人）的传。《三国志·魏书》卷三十《乌丸鲜卑东夷传》的评语注解曾抄录鱼豢《魏略·西戎传》中所记西北各种民族，但其中也没有匈奴。这是什么原因呢？大概是由于匈奴作为一支独立的政治力量已趋于衰亡，无关重要，所以不为之立传。相反，乌桓、鲜卑则正强盛。曹操曾亲征乌桓，鲜卑则占有了北匈奴的故地。南匈奴再分为塞内、塞外二部之后，我们推想，塞外须卜骨都侯单于死后，连单于也选不出来，而以老王行国事，国内情况恐怕也很混乱。在这种情况下，可能鲜卑的势力愈趋向南扩张，使塞外匈奴的故地日蹙。故《三国志·魏书》卷三十评曰：“魏世匈奴遂衰。”犯中国北部边境的强族已是鲜卑。《魏书·乌丸鲜卑东夷传叙》说：“后鲜卑大人轲比能复制御群狄，尽收匈奴故地，自云中、五原以东抵辽水，皆为鲜卑庭。数犯塞寇边，幽、并苦之。”这时的鲜卑军队中，必有很多匈奴人。
在西北方面，北匈奴的余众可能有一些散居于乌孙之东、天山以北，但经过鲜卑檀石槐的征伐之后所余无几，不仅不能为患于中原，似也不能为患于西域诸国了。《三国志·魏书》载，西部诸族中对中原为患最大的是西羌。
两汉时代，汉朝人所谓“胡”，除了前汉初年也指东胡，主要指匈奴，而“北虏”这个词，在前、后汉时主要也是指匈奴。到了后汉末年及三国时代，“北虏”又往往指鲜卑，而鲜卑、西羌往往也称为“胡”。至于“单于”这个称号，除了匈奴人仍沿用，乌桓的首领也有称为单于的。这说明，匈奴族政治上日趋丧失独立的时候，不仅其土地为他族所占有，人民也有改称鲜卑或他族者，就是一些与匈奴有关或为匈奴所固有的名词，也渐为他族所采用了。这是匈奴开始同其他种族融合的一种表现。《魏书·乌丸鲜卑东夷传叙》说：“建安中，呼厨泉南单于入朝，遂留内侍，使右贤王抚其国，而匈奴折节，过于汉旧。”这里所说的“右贤王”就是去卑，而当时的左贤王则是刘豹，即刘渊的父亲。《晋书·刘元海载记》说：“中平中，单于羌渠使子於扶罗将兵助汉，讨平黄巾。会羌渠为国人所杀,於扶罗以其众留汉，自立为单于。属董卓之乱，寇掠太原、河东，屯于河内。於扶罗死，弟呼厨泉立，以於扶罗子豹为左贤王，即元海之父也。魏武分其众为五部，以豹为左部帅，其余部帅皆以刘氏为之。”至于曹魏时塞内匈奴的分部情况，《晋书·四夷列传》中说：“后汉末，天下骚动，群臣竞言胡人猥多，惧必为寇，宜先为其防。建安中，魏武帝始分其众为五部，部立其中贵者为帅，选汉人为司马以监督之。魏末，复改帅为都尉。其左部都尉所统可万余落，居于太原故兹氏县；右部都尉可六千余落，居祁县；南部都尉可三千余落，居蒲子县；北部都尉可四千余落，居新兴县；中部都尉可六千余落，居大陵县。”
匈奴的左贤王地位远高于右贤王，照匈奴制度，左贤王仅次于单于。此外又有左谷蠡王，次于左贤王，右贤王的地位又次于左谷蠡王。可能在汉末、曹魏时代，塞内匈奴已没有左谷蠡王，而只有左贤王及右贤王。刘豹是於扶罗之子，於扶罗死后，不传位于儿子刘豹，而传于弟呼厨泉。呼厨泉又以其兄之子为左贤王。照其制度来说，呼厨泉死后本应以刘豹继立单于。呼厨泉单于于献帝建安二十一年入朝，曹操不遣其回国而留之于邺，说明曹操不信任呼厨泉。同时，曹操又不照匈奴制度办事，不让刘豹继立为单于，而以右贤王去卑监理其国。这说明，曹操是有意要取消“单于”这个称号，用分而治之的政策去管理匈奴。他后来分其众为五部，立其中贵者为帅，就是这个意思。刘豹是左贤王，乃以他为左部帅。因此我们推想，可能因为去卑回去之后，左贤王刘豹以及其他王侯对曹操这种做法不满意，所以曹操才又把匈奴分为五部，进一步分化。曹魏虽有如上做法，但是后汉的匈奴中郎将这个职务仍然存在。《三国志·魏书·陈泰传》说：“泰字玄伯。青龙中（公元233—236年），除散骑侍郎。正始中（公元240—249年），徙游击将军，为并州刺史，加振威将军，使持节，护匈奴中郎将，怀柔夷民，甚有威惠。京邑贵人多寄宝货，因泰市匈奴婢，泰皆挂之于壁，不发其封，及徵为尚书，悉以还之。”
以上是塞内匈奴的概况。至于塞外匈奴情况如何，就不太清楚了。《晋书·四夷列传》指出，晋武帝时，塞外匈奴二万余落，因水灾迁入塞内。这说明，在三国时代也定会有散居于塞外的匈奴人。据鱼豢《魏略》记载，汉魏之际塞外存在可以称作“匈奴”的部落，不过多是原逃亡奴隶的后裔：“赀虏，本匈奴也，匈奴名奴婢为赀。始建武时，匈奴衰，分去其奴婢，亡匿在金城、武威、酒泉北黑水、西河东西，畜牧逐水草，钞盗凉州，部落稍多，有数万，不与东部鲜卑同也。其种非一，有大胡，有丁令，或颇有羌杂处，由本亡奴婢故也。当汉魏之际，其大人在檀柘，死后，其枝大人南近在广魏、令居界，有秃瑰来数反，为凉州所杀。今有劭提，或降来，或遁去，常为西州道路患。”1 这些“赀虏”之中可能也有匈奴人，但大部分是从他族掠夺来的。
曹操虽用各种方法去威服境内外的少数民族，但是这些民族仍时叛时降，居于塞内的匈奴也是这样。《三国志·魏书·钟繇传》说：“匈奴单于作乱平阳，繇帅诸军围之，未拔；而袁尚所置河东太守郭援到河东，众甚盛。诸将议欲释之去，繇曰：‘袁氏方强，援之来，关中阴与之通，所以未悉叛者，顾我威名故耳。若弃而去，示之以弱，所在之民，谁非寇仇？纵吾欲归，其得至乎！此为未战先自败也。且援刚愎好胜，必易吾军，若渡汾为营，及其未济击之，可大克也。’张既说马腾会击援，腾遣子超将精兵逆之。援果轻渡汾，众止之，不从。济水未半，击，大破之，斩援，降单于。”《三国志·魏书·张既传》也说：“袁尚拒太祖于黎阳，遣所置河东太守郭援、并州刺史高干及匈奴单于取平阳，发使西与关中诸将合从。司隶校尉钟繇遣既说将军马腾等，既为言利害，腾等从之。腾遣子超将兵万余人，与繇会击干、援，大破之，斩援首。干及单于皆降。”值得特别注意的是，塞内的匈奴也参加了中原汉族军阀的内战。郭援被斩，高干与匈奴单于投降。不久，高干又在并州叛曹操，曹操攻伐他时，他又求救于匈奴。匈奴既投降于曹操，便没有前去救高干，高干遂被攻杀。此事见于《三国志·魏书·武帝纪》“建安十一年”条：“十一年春正月，公征干。干闻之，乃留其别将守城，走入匈奴，求救于单于，单于不受。公围壶关三月，拔之。干遂走荆州，上洛都尉王琰捕斩之。”献帝初平二年（公元191年），於扶罗单于曾归附袁绍，两年后又归附袁术。一年后，於扶罗死，弟呼厨泉立。从呼厨泉即单于位到他被曹操留于邺（建安二十一年），有二十一年之久。据史书所载，除了建安十年他曾与袁绍之子袁尚同谋抗操，一直到他入朝朝见（建安二十一年）的十年中，没有再反曹操的记载。
曹操死后，匈奴在塞内既没有单于，更不成其为国。然而这也并不是说，匈奴种族也因之而完全消灭，相反，他们不仅分为五部散居各处，而且在五部之外，其人民之与中原人杂居者也必不少。《三国志·魏书·夏侯尚传》说：“魏国初建，迁黄门侍郎。代郡胡叛，遣鄢陵侯彰征讨之，以尚参彰军事，定代地，还。”这里所说的“胡”，应该是指匈奴人。《晋书·四夷列传》所说五部所居的地方中没有代郡，可能代郡的胡人后来也归并于五部中了。但是代郡以至靠近边塞的其他各郡，很可能也有匈奴人居住。因为匈奴人入居塞内的历史并不始于东汉末年，而系始于前汉。
呼厨泉被曹操留于邺在汉献帝建安二十一年，曹操死后，呼厨泉还未死。到了曹丕称帝，还换他的印绶。《三国志·魏书·文帝纪》“黄初元年”条说：“更授匈奴南单于呼厨泉魏玺绶，赐青盖车、乘舆、宝剑、玉玦。”这说明，曹丕仍以单于的礼仪去对侍他。至于呼厨泉是哪一年死的，不得而知。他即单于位是在汉献帝兴平二年（公元195年），到黄初元年（公元220年）共有二十五年之久。於扶罗单于死后不传位于其子刘豹，而传位于其弟，可能是因子少之故。假使这种看法是对的，那么呼厨泉即单于位时年纪可能已很大，再加上在位二十五年，到曹丕称帝时可能也已老了。曹丕虽仍以单于礼仪对待他，但只有其名而无其实。
曹魏时代，散居在塞内的匈奴部众虽在曹魏统治之下，然而内部行政的完全汉化也需要一个过程，所以当时还有其特殊的地方。曹魏对他们若不善加治理，也很容易引起反叛。而且，他们内部有时也互相征伐，使曹魏不能袖手旁观。《三国志·魏书·明帝纪》“青龙元年”条说：“安定保塞匈奴大人胡薄居姿职等叛，司马宣王遣将军胡遵等追讨，破降之。”同书《邓艾传》说：“（艾）后迁城阳太守。是时并州右贤王刘豹并为一部，艾上言曰：‘戎狄兽心，不以义亲，强则侵暴，弱则内附，故周宣有猃狁之寇，汉祖有平城之困……今单于之尊日疏，外土之威浸重，则胡虏不可不深备也。闻刘豹部有叛胡，可因叛割为二国，以分其势。去卑功显前朝，而子不继业，宜加其子显号，使居雁门。离国弱寇，追录旧勋，此御边长计也。’”邓艾想乘刘豹内部的反叛，将之分为二部，以削减其势力。刘豹是於扶罗之子，他的叔父呼厨泉立为单于，他是左贤王。曹操扣留呼厨泉在邺，而使右贤王去卑监其国，就是因为去卑有功于魏。邓艾提议加去卑之子显号，使居雁门，也是要分化刘豹的势力。这也可以说是曹操分而治之政策的延续。成功地实行这个政策的过程，也就是匈奴族与汉族逐渐融合的过程。
在东汉末年与三国时代，不仅一般的匈奴人移居于中原者逐渐增多，就是匈奴单于（南匈奴单于）及其臣僚、军队，也居留在中原内地。到了晋代，这种现象不仅更为显著，而且在晋朝庇护之下的匈奴贵族，竟然逐渐成为中原北部的统治者，而与晋朝相对抗。
他们在中原地区建立国家，称王称帝，连晋朝京都也被他们攻占。晋怀帝和晋愍帝成了他们的俘虏，并为他们所杀，晋朝皇后也变成匈奴皇帝的皇后。这是秦汉以来，在中原与匈奴的交涉史上所没有过的。这是“五胡乱华”的开始，而开其端者就是匈奴。从此以后，在差不多二百年的时间中，中原北部差不多全为匈奴及其他少数民族所占领。
然而，晋代的匈奴之在中原者，不仅在文化上已经深受了汉族的影响，在血统上也与汉族混杂甚烈。所以，匈奴基本上已经放弃固有的文化，其种族也远非纯粹的匈奴血统了，可以称之为“汉化匈人”。
匈奴住地与中原毗连，人民互相通婚的历史很久。汉高祖遣宗室女嫁给冒顿以后，匈奴的统治阶级之杂有汉族血统的也逐渐增加起来。前汉的呼韩邪单于与后汉的单于比皆称臣于汉朝，前者妻王昭君，后者移居汉朝边塞，人民与贵人错居杂处，互相通婚，使匈奴种族汉化速度加快。到了东汉末年，於扶罗留居中原，其人民与贵人之含有汉族血统者更多。再经过三国而至刘渊崛起的约一百年，匈奴人与中原人通婚者必当更多，而其血统的汉化程度必更加深。所以到了刘渊称汉王的时候，所谓匈奴后裔已多非纯粹的匈奴人，这是我们研究晋代塞内的匈奴时所要注意的。
而且，刘渊称汉王以至后来的羯、氐、羌、鲜卑之统治中原北部的种族，不仅其本身已染有汉族血统，即其重要的臣僚，如王弥、张宾、王猛等，很多都是汉人。两汉时代的匈奴或其他胡人建国于塞外，也曾用过汉人，如中行说、李陵等，但这还是例外或绝对的少数。相反，晋代的匈奴以及其他少数民族之统治中原的，则大量任用汉人。他们的政权性质属中国内部封建割据的地方性政权，不是外族建立的国家。
晋永嘉以后，晋皇室及门第较高的贵人多数南渡，但民众多数留在北方。汉人之留在北方者，对于匈奴与其他少数民族文化的影响必然很大。刘渊初起时，有族人劝他联络其他少数民族入侵中原地区，他却加以反对。相反，他自命为刘汉后裔，承继汉统，以对抗司马氏的晋室，拒绝从事民族战争。
至于生活习惯方面，匈奴受中原的影响更为显著。匈奴人移居塞内之后，生活上最大的变化就是逐渐放弃游牧生活，采取农耕生活方式。他们在塞内居住之地由中原政府指定，人众地少，不像原来的居地蒙古高原那样地广人稀，因此能逐渐习惯农耕生活。这个改变是基本生活方式的改变，从而在文化的许多方面也逐渐地发生变化。
在政治制度上，“单于”“左贤王”“右贤王”等一些名词虽仍然保留，但重要性多已消失。“单于”是过去匈奴最高统治者的称呼，现在却化为不同的官职名。例如有“大单于”“左单于”“右单于”，此外，还有其他好多形容词加在“单于”二字之上。同时，其他少数民族（尤其是鲜卑）也采用了这个称号。而且，除了“单于”这个称号，他们尤喜采用中国的官号。刘渊虽被匈奴部众拥为大单于，但他又自称“汉王”，做皇帝。后来，他命刘聪为“大司马、大单于”。这不仅说明“大单于”已不尽是最高统治者的称号，而且在大单于之上，加了一个中国的官号“大司马”。此外，刘渊称帝之后，也没有称其妻为“阏氏”，却叫作“皇后”。
又如家庭制度方面，汉人对于匈奴最反感的是妻后母这件事。在匈奴人入塞内之前，这是一件司空见惯的事情，可是入塞之后，尤其是到了晋代，这种风俗逐渐改变。刘渊妻单氏曾被刘渊立为皇后，单氏姿色绝丽，刘渊死后，其子刘聪并没有妻她，仅与其私通。单氏的儿子刘乂知道了这件事，很不赞成，劝其母不要这样做，结果单氏惭愧而死。匈奴妻后母风俗的改变，显然受了汉族文化的影响。
又如好多匈奴人，尤其是匈奴的贵族子弟，大多数受过汉族文化的教育，不但语言已经汉化，还能使用汉字学习“四书”“五经”，这说明他们在思想上也受到汉族深刻的影响。从以上可以看出，匈奴的汉化是相当彻底的。
晋代的“五胡乱华”开端于匈奴。匈奴与其他少数民族之所以能在中原长期作乱，原因当然很多，例如晋武的骄盈、嗣主的昏庸、女后的专朝、八王构乱，都给胡人以可乘之机。然而我们应进一步指出，自东汉末年以至三国时期，中原连年祸乱，使汉族政权力量日趋虚弱。到了晋代，不仅在经济上很为贫困，就是在人口上也大为减少，与匈奴族力量对比发生变化。匈奴人以及其他少数民族之居于塞外者，不断移入中原内地。在晋武帝时，匈奴人之入塞投降者就约有二十万。至于原已住在中原内地的究竟有多少，不得而知。照我们的估计，其数目不会比新来的少，恐怕比新来的多得多。因为自东汉末年以至三国时期，中原连年战乱，没有余力顾及边境。南匈奴除已在塞内居住者外，其在塞外者又时为其他民族（特别是鲜卑）所压迫，逐渐移居塞内的人数必定很多。又他们移居塞内，不仅皆在中原北部，而且集中在华北的好几个地方，如山西与河西等地。其族人既较为集中，力量也比较集中。所以刘渊谋反，“二旬之间，众已五万”2 。这是指参加军队的那部分而言，此外没有参加军队的恐怕更多，至于老弱妇女若都加在一起，则其人数之多可以想见。从“二旬之间，众已五万”的事实来看，匈奴人在塞内者不仅人数很多，而且很为团结。
匈奴与其他少数民族大量移居塞内的情况，在晋代初年就引起了不少官僚的注意。他们认为，这些人的内迁将来必为中原之患。因而，有人主张应该及早防备，或移徙他们到塞外。据《晋书·四夷列传》载，晋武帝太康元年（公元280年）郭钦上疏云：“戎狄强犷，历古为患。魏初人寡，西北诸郡皆为戎居。今虽服从，若百年之后有风尘之警，胡骑自平阳、上党不三日而至孟津，北地、西河、太原、冯翊、安定、上郡尽为狄庭矣。宜及平吴之威，谋臣猛将之略，出北地、西河、安定，复上郡，实冯翊，于平阳以北诸县募取死罪，徙三河、三魏见士四万家以充之。裔不乱华，渐徙平阳、弘农、魏郡、京兆、上党杂胡，峻四夷出入之防，明先王荒服之制，万世之长策也。”晋武帝对于郭钦的这种建议没有采纳。此外又有江统的《徙戎论》，《晋书·江统传》曾载这篇论文，今摘录于下：
并州之胡，本实匈奴桀恶之冠也……建安中，又使右贤王去卑诱质呼厨泉，听其部落散居六郡。咸熙之际，以一部太强，分为三率。泰始之初，又增为四。于是刘猛内叛，连结外虏。近者郝散之变，发于谷远。令五部之众，户至数万，人口之盛，过于西戎。然其天性骁勇，弓马便利，倍于氐羌。若有不虞风尘之虑，则并州之域可为寒心。荥阳句骊本居辽东塞外，正始中，幽州刺史毌丘俭伐其叛者，徙其余种。始徙之时，户落百数，子孙孳息，今以千计，数世之后，必至殷炽。今百姓失职，犹或亡叛，犬马肥充，则有噬啮，况于夷狄，能不为变！但顾其微弱，势力不陈耳。夫为邦者，患不在贫而在不均，忧不在寡而在不安。以四海之广，士庶之富，岂须夷虏在内，然后取足哉！此等皆可申谕发遣，还其本域，慰彼羁旅怀土之思，释我华夏纤介之忧。惠此中国，以绥四方，德施永世，于计为长。
江统的建议同样没有被采纳。为什么郭钦与江统的意见都没有受到朝廷重视呢？主要原因有二：第一，当时北部尤其是近塞各处，地广人稀，也许朝廷想用匈奴人或其他少数民族去开发土地；第二，塞外的其他少数民族，像强盛的鲜卑，时时侵略中原，故晋朝想利用这些匈奴人或其他一些少数民族防守边境，实行所谓“以夷制夷”的政策。
我们已经指出，“五胡乱华”始于匈奴。所谓“五胡”，除匈奴外还有哪些“胡”呢？同时，这四种胡人之于匈奴的关系又如何呢？
所谓“五胡”，除匈奴外还有羯、鲜卑、氐、羌。氐、羌之于匈奴，有没有关系呢？回答是肯定的。汉武帝之所以要通西域，固是要断匈奴的右臂，但同时也是要阻止匈奴“结党南羌”。这说明，在河西走廊（即敦煌、酒泉、张掖、武威一带）未被西汉占领之时，匈奴与南羌是有关系的。并且二者往往联合起来，扰乱西汉边境。就是在西汉占领这些地方之后，匈奴还设法偷偷地与氐、羌联络以对抗西汉。在种族上，匈奴之于氐、羌的关系又如何呢？这是一个不容易回答的问题。在西汉占领河西走廊之前，匈奴既与氐、羌毗连，则互相通婚也是很可能的。
五胡之中，在种族上，氐、羌之于匈奴的关系似没有羯与鲜卑之于匈奴的关系密切，虽则鲜卑与羯之于匈奴在种族上是不同的。鲜卑据说是东胡的后裔。东胡被冒顿击破之后，有的投降于匈奴，有的逃避到鲜卑山。后来鲜卑强盛起来，常与匈奴接触。到了匈奴被窦宪与耿夔击败时，匈奴一部分人往西北跑，鲜卑占有其地。据《后汉书·鲜卑传》说，当时匈奴人尚有十余万落，留在匈奴故地，皆自号鲜卑，因此使鲜卑逐渐强盛起来。在此时，鲜卑究竟有多少户口，我们难于估计。但匈奴十余万落，也差不多可以说等于十余万户，以每户五人计算，那么匈奴人之称为鲜卑者就有了五六十万人。假使这个数目没有什么错误，也许称为鲜卑的匈奴人的数目比原鲜卑人为多。这说明，在鲜卑占领匈奴故地之后，大部分或至少是很多的所谓鲜卑人就是匈奴人。
匈奴与鲜卑居地本相毗连，二者人民互相通婚，固很为可能。到了这么多的匈奴人称为鲜卑之后，互相通婚更是自然而然的。那么所谓鲜卑人，不仅有很多或大部分为匈奴人，就是原来的鲜卑人，也慢慢地染有匈奴人的血统。同样，在自号鲜卑的匈奴人中，也逐渐有了鲜卑人的血统。
到了后汉末年，鲜卑的檀石槐崛起之后，建立了一个“大帝国”，东至鲜卑故地，西至乌孙，北至丁零，南至中原边境。在此时，除了在汉朝庇护之下的南匈奴，散居于塞外以及西域的匈奴人不仅受鲜卑的统治，可能有很多也自号为鲜卑人。这样看起来，在三国与晋代的鲜卑人，实际上是包括了大量匈奴人的。
至于羯种与匈奴的关系，也是很值得研究的一个问题。《晋书·石勒载记》指出，石勒是“上党武乡羯人”，其先为“匈奴别部羌渠之胄”。《晋书·四夷列传》说：“北狄以部落为类，其入居塞者有屠各种、鲜支种、寇头种、乌谭种、赤勒种、捍蛭种、黑狼种、赤沙种、郁鞞种、萎莎种、秃童种、勃蔑种、羌渠种、贺赖种、钟跋种、大楼种、雍屈种、真树种、力羯种，凡十九种，皆在部落，不相杂错。屠各最豪贵，故得为单于，统领诸种。”在这十九种之中，只有屠各、萎莎、羌渠、力羯四种比较易解，尤其是“屠各”这个名词，见于史书的次数较多。羌渠、力羯之于羯，大致上是同一种族，至少其关系是密切的。至于其他各种，就难于考究了。
据《晋书》所说，以上的十九种部落皆为“北狄”，同时《晋书·四夷列传》又说：“匈奴之类，总谓之北狄。”这好像是说，上面所说的十九种部落皆为匈奴。在匈奴强盛的时候，不仅中原北边的各种民族皆受匈奴的统治，就是东边的东胡、西边的西域诸国也受匈奴的控制，所谓匈奴为“百蛮大国”，就是这个意思。然而在这个“百蛮大国”里，不一定所有的人都是匈奴人，相反，其种族是很复杂的。
自然，在长期受到匈奴统治的不少种族中，逐渐也有了匈奴的血统，同时匈奴人也染有其他种族的血统。然而也不能说，所有的其他种族都成为匈奴人，匈奴北边的丁零就是一个例子。丁零在冒顿的时代已为匈奴所征服，在匈奴强盛的时期，丁零是役属于匈奴的，但是在匈奴衰弱时，丁零又独立起来，而且侵略匈奴。到了匈奴被其他种族赶出故地之后，丁零仍然存在。此外又如乌孙，当其被月氏破灭后，余种逃到匈奴，可是后来又独立起来，并且攻败月氏。这说明，在匈奴统治或庇护下的好多种族，虽然免不了要受匈奴种族的影响，然而并不一定都变成匈奴人。所以，《晋书》中所说的十九种部落中有不少不是匈奴人，羯种可以说就是其中之一。《晋书·石勒载记》说他是羯人，其先是匈奴别部。所谓“匈奴别部”，就不一定是匈奴人。匈奴在两汉时代往往也称“胡”，可能“匈”字就是从胡单反切。“胡”这个名词虽然也指东胡，以及后来的西域种族也谓“西胡”，但在晋朝初年，“胡”“羯”并称。假使“羯”就是匈奴，那么用“胡”字就可以代表羯。当时人之所以在“胡”之外又特别指出“羯”者，大概是因为羯与匈奴是不同种族。慕容廆曾致书陶侃说：“今凶羯虐暴，中州人士逼迫势促，其颠沛之危，甚于累卵。”慕容廆与东夷校尉封抽等给陶侃的书中又说：“昔猃狁之强，匈奴之盛，未有如今日羯寇之暴。”3 “羯”既与“胡”分开来说，那么羯之于匈奴，当有不同之处。
然而，羯既是十九种部落之一，又曾与匈奴杂居或受匈奴统治，那么羯种之有匈奴血统也是很自然的。石勒是上党人，上党在当时也有匈奴。他们在塞外时既久已杂处，到了塞内之后继续杂处，则两种族在血统上的互相混合，也是可能的。所以“胡”“羯”并称，一方面固是说明其区别之点，一方面也是说明其关系所在。“羯”不叫作“胡”，而区别于“胡”，这是他们的不同处；可是他们既有密切的关系，也使当时的人们互相混用。
匈奴种族自汉末至晋代，与其他种族血统混合的程度之深固如上述，匈奴的文化在这个时期中与其他民族文化互相影响，也是一件值得注意的事情。上面曾略为指出匈奴的汉化程度之深，同时也应指出，中原北部既为匈奴居留与占据，匈奴的风俗习惯之影响于中原，也是无可怀疑的。
匈奴与其他少数民族的文化也互相影响，我们并不准备在这里讨论这个问题，只想说明一点，就是从其他少数民族采用“单于”这个称号的例子，去说明匈奴文化之影响于其他民族。上面已经指出，“单于”这个称号本来是匈奴最高统治者的称号。到了晋代，“单于”这个称号不仅匈奴人自己已很滥用，其他许多少数民族也往往使用之。例如，鲜卑人早就在用这个称号。到了晋元帝大兴元年（公元318年），帝遣使授慕容廆龙襄将军、大单于称号。石勒、石季龙都即过大单于位，这是羯人采用“单于”称号的例子。苻健称为“天王大单于”，则是氐、羌采用这个称号的例子。这说明，五胡中的其他胡人也都受到匈奴的影响。
从这些例子来看，所谓“百蛮大国”的匈奴，到了三国与晋代，故国固已灭亡，人民散居各处，但是这个民族的血统以及文化，除了残众还部分地保留，也可以在鲜卑、羯、氐、羌等民族中保存。
《晋书·刘元海载记》说：“於扶罗死，弟呼厨泉立，以於扶罗子豹为左贤王，即元海之父也。”从匈奴单于继立制度来说，於扶罗不传子而传弟，也是常有的例子，呼厨泉既立，於扶罗子豹为左贤王，应是下一位单于的继立者。可是刘豹是否曾以任何形式继立为单于，史无明文。《晋书·武帝纪》“泰始元年”条说：“泰始元年（公元265年）冬十二月丙寅，设坛于南郊，百僚在位及匈奴南单于四夷会者数万人……”四夷的酋长或其使者没有说明，而特别标出匈奴南单于参加了司马炎的即位典礼，说明匈奴在各族中的特殊地位。但是，这位“南单于”是哪一位？我们不清楚。《晋书》的《四夷列传》及《刘元海载记》中没有说及呼厨泉的死年，也没有说刘豹继立为单于。《三国志·魏书·邓艾传》中指出，魏废帝嘉平年间（公元249—254年），刘豹是并州右贤王，同时又载邓艾上疏曾数次提到“单于”，并有“今单于之尊日疏”的字句，这是司马炎称帝前十余年的事情。这说明在那个时候还有单于，同时也说明刘豹身为左贤王而没有继立为单于，且已被贬为右贤王。右贤王在匈奴的官位中不仅低于左贤王，而且低于左谷蠡王。
《邓艾传》中所说的“单于”是哪一位？我们也不得而知。但《晋书·匈奴传》说：“泰始七年，单于猛叛。”“猛”姓刘，必是刘渊的亲族，此外又说北狄十九种移居塞内，其中最豪贵者为屠各种。因为这一个种族最豪贵，所以得为单于，统领诸种。这说明，居单于位的是屠各种人。又，《资治通鉴·晋纪一》“泰始七年”条说：“春，正月，匈奴右贤王刘猛叛出塞。”则刘猛又好像不是单于。晋哀帝兴宁二年（公元364年），据《十六国春秋辑补》卷三十三“苻坚·甘露六年”条载：“屠各张罔，聚众数千，自称大单于。”可见屠各人即使有“单于”称号也是僭用，不被中央王朝承认，故不入史传。
当刘豹为左贤王时，右贤王是去卑。到了魏废帝嘉平年间，刘豹被贬为右贤王，此时去卑大概早已死了。假使单于是刘猛，那么单于以下的主要权贵也是姓刘的。比方左贤王，据《晋书·刘元海载记》说是刘宣，这就是刘渊的从祖、刘豹的叔父。
我们上面所说也不过是一种推想。也可能是呼厨泉死后，左贤王刘豹不得继立为单于，乃由刘猛继立。至于刘猛与呼厨泉的关系如何，不得而知，他也可能是呼厨泉的儿子。《晋书·刘元海载记》载，刘宣曾对人说：“我单于虽有虚号，无复尺土之业。”这说明刘宣为左贤王时，“单于”这个称号仍然存在，不过实际上没有统治寸土。因为他与其他匈奴人一样，都处在晋朝统治之下，所以说“自诸王侯，降同编户”。从这种语气来看，这里所说的“单于”应当是刘猛。
总而言之，自曹丕黄初元年更换匈奴南单于呼厨泉的印绶之后，关于匈奴单于的记载就不清楚了。而且，自呼厨泉被曹操留于邺，遣右贤王去卑去管理部众以后，所谓“单于”，也只有其名而无其实了。我们只是推测，刘渊可能是南匈奴单于的后裔子孙，属屠各部族。
晋时的匈奴族可以分成三支来说：一为刘氏建国的汉，后称为前赵；二为赫连氏建国的夏；三为左沮渠氏建国的北凉。第一支在山西，第二支是由山西西徙而来，第三支在河西张掖。第一支是於扶罗单于的后裔，第二支是右贤王去卑的后裔，第三支是匈奴左沮渠的后裔。前二者在汉灵帝中平五年（公元188年）入居内地，后者在什么时候入塞则不得而知。
至晋，中原不仅与原住在内地的匈奴人有交涉，而且又容纳了好多从塞外新移居内地的匈奴人。《晋书·四夷列传》说：“武帝践祚后，塞外匈奴大水，塞泥、黑难等二万余落归化，帝复纳之，使居河西故宜阳城下。后复与晋人杂居，由是平阳、西河、太原、新兴、上党、乐平诸郡靡不有焉。”《资治通鉴·晋纪三》“太康五年”条云：“是岁，塞外匈奴胡太阿厚帅部落二万九千三百人来降。帝处之塞内西河。”又，同书“太康七年”条云：“秋，匈奴胡大博及萎莎胡各帅种落十万余口，诣雍州降。”《晋书·四夷列传》说：“明年（太康八年），匈奴都督大豆得一育鞠等复率种落大小万一千五百口，牛二万二千头，羊十万五千口，车庐什物不可胜纪，来降，并贡其方物，帝并抚纳之。”
《资治通鉴·晋纪三》“太康八年”条胡三省注云：“魏既分塞内匈奴为五部矣，自去年来，匈奴帅种落来降者十有余万口，史不言所以处之之地，此必自塞外来，北匈奴之种落也。”胡三省以为，这些投降而来的是北匈奴的部落，似有商榷之处。我们知道，北匈奴自鲜卑占领匈奴故地，后来又经檀石槐的再征服，北匈奴之投降于鲜卑者固自号为鲜卑人，而不愿投降于鲜卑者也必远逃于西北，只有南匈奴自单于比称臣于汉后，其部一向居于边塞。羌渠单于因为遣其子於扶罗领兵去帮助汉攻击黄巾，遭国人反对而被杀死，於扶罗虽继立为单于，也不得回国，乃与其部众居留内地。於扶罗所率的部众主要是匈奴士卒，人数不会很多，大部分南匈奴人仍留居故地。於扶罗率领入居内地的主要是男丁，所以后来与汉族人通婚，很快汉化。他们不仅改用汉姓，而且学习汉族文化。至于仍住在故地的南匈奴人，人数虽很多，但长期在汉魏政权庇护之下，受汉族文化的影响，也是难免的事情。因为水灾或其他原因请求移居塞内的匈奴人，似应是这些南匈奴人，而不是与中原早已割断或少有关系的北匈奴人。
以上是说塞外投降于中原政权的匈奴人。至于在塞内的，除了上面所举出的在司马炎称帝时其单于曾参加典礼者，其部众之反抗晋王朝的也不少。《晋书·四夷列传》说：“泰始七年（公元271年），单于猛叛，屯孔邪城。武帝遣娄侯何桢持节讨之。桢素有志略，以猛众凶悍，非少兵所制，乃潜诱猛左部督李恪杀猛，于是匈奴震服，积年不敢复反。”但同处接着说：“其后稍因忿恨，杀害长吏，渐为边患。”惠帝时，匈奴又进犯晋朝。《晋书·四夷列传》说：“惠帝元康中，匈奴郝散攻上党，杀长吏，入守上郡。明年，散弟度元又率冯翊、北地羌胡攻破二郡。自此已后，北狄渐盛，中原乱矣。”
《资治通鉴》载郝散的反抗，是在晋惠帝元康四年：“夏，五月。匈奴郝散反，攻上党，杀长吏。秋，八月，郝散帅众降，冯翊都尉杀之。”关于郝散弟度元的反抗，《资治通鉴》系在元康六年：“夏，郝散弟度元与冯翊、北地马兰羌、卢水胡俱反，杀北地太守张损，败冯翊太守欧阳建。”又，《晋书·四夷列传》说：“其国人有綦毋氏、勒氏，皆勇健，好反叛。”然而，晋王朝有时也利用他们来帮助平定内乱。《晋书·四夷列传》说：“武帝时，有骑督綦毋伣邪伐吴有功，迁赤沙都尉。”他甚至利用匈奴人去防御其他各族。
此外，匈奴与其他各族之间互相征伐，也是常有的现象。《资治通鉴·晋纪四》“元康五年”条载：“拓跋禄官分其国为三部：一居上谷之北，濡源之西，自统之；一居代郡参合陂之北，使兄沙漠汗之子猗 统之；一居定襄之盛乐故城，使猗 弟猗卢统之。猗卢善用兵，西击匈奴、乌桓诸郡，皆破之。”
新来的匈奴人既愈来愈多，而原已移居内地的也不少，汉化程度愈来愈深。随着汉族王朝力量的削弱，他们以屠各部族为首，逐渐独树一帜，与汉族王朝对抗。《晋书·四夷列传》记载匈奴的官号与姓氏，虽与《史记》《汉书》《后汉书》大致相同，却也有很多相异之处：“其国号有左贤王、右贤王、左奕蠡王、右奕蠡王、左於陆王、右於陆王、左渐尚王、右渐尚王、左朔方王、右朔方王、左独鹿王、右独鹿王、左显禄王、右显禄王、左安乐王、右安乐王，凡十六等，皆用单于亲子弟也。其左贤王最贵，唯太子得居之。”左右奕蠡王当为以前的左右谷蠡王，左右於陆王、左右渐尚王、左右朔方王、左右独鹿王与左右显禄王，则都与以往的名称不同。可能有的是受了中原的影响，如左右朔方王，或者是受了鲜卑或其他民族的影响。
关于匈奴的姓氏，《晋书·四夷列传》说：“其四姓，有呼延氏、卜氏、兰氏、乔氏。而呼延氏最贵，则有左日逐、右日逐，世为辅相；卜氏则有左沮渠、右沮渠；兰氏则有左当户、右当户；乔氏则有左都侯、右都侯。又有车阳、沮渠、余地诸杂号，犹中国百官也。”《史记》《汉书》说，匈奴的呼衍氏、兰氏其后为须卜氏。《后汉书》于这三姓之外又加林氏。《晋书》则没有林氏，而有乔氏。“呼延”当为“呼衍”，“卜氏”当为“须卜”的简称。这些贵姓一向占有匈奴官职中的重要地位。
关于刘渊与其所建立的汉（或前赵），以及其他匈奴人或其他各族所建立的王朝的历史，见于《晋书·载记》。《晋书·载记》采自崔鸿的《十六国春秋》，这本书在元代已佚，明人嘉兴屠乔孙、项琳别撰百卷。清乾隆年间，仁和汪日桂根据这个本子重订。此外，清末汤球又撰《十六国春秋辑补》。我们这里仍以《晋书》为主，同时用汪日桂重订《十六国春秋》本、汤球的《辑补》以及《广雅书局丛书》中所刊汤球辑的《九家旧晋书辑本》作为参考的资料。
《十六国春秋辑补》卷一《前赵录》“刘渊”条说：
刘渊，字元海，新兴匈奴人，冒顿之后也。先夏后氏之苗裔曰淳维，世居北狄，千有余岁。至冒顿袭破东胡，西走月氏，北服丁零，内侵燕岱，控弦之士四十万。汉祖患之，使刘敬奉公主以妻冒顿，约为兄弟，故子孙遂冒母姓为刘氏。
《晋书·刘元海载记》的记载较为简单，但大意相同。冒顿为夏后氏之苗裔的说法，因不足置信，所以《晋书》没有抄录《史记》《汉书》中的这段话。但是，《十六国春秋》与《晋书·刘元海载记》均以为冒顿妻汉公主，故其子孙冒母姓为刘氏，也有值得商量之处。因为《史记》《汉书》《后汉书》的《匈奴传》中均没有关于匈奴人冒母姓为刘氏的记载。
《晋书·刘元海载记》及《十六国春秋》均说刘渊之父是刘豹。刘豹是於扶罗单于之子，於扶罗是羌渠之子。羌渠与於扶罗的事迹，见于《后汉书·南匈奴列传》。不过我们曾指出，羌渠是不是匈奴单于嫡系或纯粹的匈奴人，值得进一步研究，所以刘渊是否为纯粹的匈奴人，同样是一个问题。
刘渊先世冒姓刘氏，始于他的父亲刘豹。他的祖父於扶罗虽在内地立为单于，然据史书所载，并没有改姓刘，使用的也是匈奴的称号——持至尸逐侯单于。於扶罗死后，他的弟弟呼厨泉继立为单于，也没有关于改姓刘的记载。
匈奴单于改姓刘，是在呼厨泉之后的刘猛。匈奴王侯称刘氏者，除刘豹外，还有刘渊的从祖刘宣。可能是自曹丕篡汉称帝后，或者自呼厨泉死后，匈奴的王侯贵人才开始有改姓刘的。原因是在这个时候，即呼厨泉时代，他们大部分接受了汉族的教育，汉化的程度很深。同时，匈奴单于在此时既只有名无实，一般王侯也正如刘宣所说“降同编户”，不改姓氏，在内地不仅谋生不易，就是称呼也不方便。此外，也有可能是他们既深受汉族文化的影响，有了忠于汉族王朝君主的思想，曹操留呼厨泉于邺而遣右贤王去卑监理其国，引起忠于呼厨泉的匈奴人的不满，致使一些王侯在曹丕篡位后改为刘姓，以示追念汉室。自然，这种情感也是与汉高祖遣宗室女嫁给冒顿，以至后来的王昭君嫁给呼韩邪等好多次和亲有关系的。以后刘渊称汉王时，曾下令称刘邦为“我太祖高皇帝”，不过这时他的这种说法，恐怕主要是因晋室骚乱，想利用刘汉旗号去收拾人心，以增加其声势。
《晋书·刘元海载记》中也有关于刘渊崛兴的记述，完全是汉族帝王秉天命而起的传说模式：
豹妻呼延氏，魏嘉平中祈子于龙门，俄而有一大鱼，顶有二角，轩鬐跃鳞而至祭所，久之乃去。巫觋皆异之，曰：“此嘉祥也。”其夜梦旦所见鱼变为人，左手把一物，大如半鸡子，光景非常，授呼延氏，曰：“此是日精，服之生贵子。”寤而告豹，豹曰：“吉征也。吾昔从邯郸张冏母司徒氏相，云吾当有贵子孙，三世必大昌，仿像相符矣。”自是十三月而生元海，左手文有其名，遂以名焉。龆龀英慧，七岁遭母忧，擗踊号叫，哀感旁邻，宗族部落咸共叹赏……幼好学，师事上党崔游，习《毛诗》《京氏易》《马氏尚书》，尤好《春秋左氏传》《孙吴兵法》……于是遂学武事，妙绝于众，猿臂善射，膂力过人。
《史记》《汉书》《后汉书》记载匈奴风俗，没有述及匈奴妇女拜神祈子。这种传说当然是受汉族文化影响的结果。
刘渊是於扶罗单于的孙儿，他的父亲刘豹曾为匈奴左贤王。曹操分其众为五部时，又以刘豹为左部帅，在匈奴中的地位是很高的。《十六国春秋辑补》卷九“王弥”条说：“弥屯七里涧，王师进击，大破之。弥谓其党刘灵曰：‘晋兵尚强，归无所厝。刘元海昔为质子，我与之周旋京师，深有分契，今称汉王，将归之可乎？’灵然之。”刘渊既为质子于京师，则不仅他的地位很重要，在京师时所认识当时的王公贵人必定也不少，王弥不过是其中的一位。
在他所认识的好多人中，有的对他很好，有的却对他猜忌。王浑与其子王济以及李熹属于前者，孔恂、杨珧属于后者。王浑、王济、李熹之于刘渊都有乡里关系。王浑在刘渊幼时，已命其子王济去结交刘渊，并常常向朝廷推荐刘渊。《晋书·刘元海载记》叙述当时这些人对刘渊的看法是很矛盾的。在汉化匈奴人力量与晋王朝力量对比已发生变化的情况下，晋王朝一方面想利用刘渊帮助自己扶危解难，一方面又存在不相信少数民族的大汉族主义观念。《晋书·刘元海载记》说：
泰始之后，（王）浑又屡言之于武帝。帝召与语，大悦之，谓王济曰：“刘元海容仪机鉴，虽由余、日 无以加也。”济对曰：“元海仪容机鉴，实如圣旨，然其文武才干贤于二子远矣。陛下若任之以东南之事，吴会不足平也。”帝称善。孔恂、杨珧进曰：“臣观元海之才，当今惧无其比，陛下若轻其众，不足以成事；若假之威权，平吴之后，恐其不复北渡也。非我族类，其心必异。任之以本部，臣窃为陛下寒心。若举天阻之固以资之，无乃不可乎！”帝默然。后秦凉覆没，帝畴咨将帅，上党李嘉曰：“陛下诚能发匈奴五部之众，假元海一将军之号，鼓行而西，可指期而定。”孔恂曰：“李公之言，未尽殄患之理也。”熹勃然曰：“以匈奴之劲悍，元海之晓兵，奉宣圣威，何不尽之有！”恂曰：“元海若能平凉州，斩树机能，恐凉州方有难耳。蛟龙得云雨，非复池中物也。”帝乃止。
刘渊的祖父是单于，父为左贤王，又为左部帅，照匈奴的制度，他的父亲当继立为单于。他本人为质子（按，在匈奴有时以太子作质子），可见他在匈奴中的地位是很重要的。后来他率领匈奴人反抗朝廷，就是因为晋王朝猜忌他。《晋书·刘元海载记》说：“后王弥从洛阳东归，元海饯弥于九曲之滨，泣谓弥曰：‘王浑、李熹以乡曲见知，每相称达，谗间因之而进，深非吾愿，适足为害。吾本无宦情，惟足下明之。恐死洛阳，永与子别。’因慷慨歔欷，纵酒长啸，声调亮然，坐者为之流涕。齐王攸时在九曲，比闻而驰遣视上，见元海在焉，言于帝曰：‘陛下不除刘元海，臣恐并州不得久宁。’”齐王攸是当时王室中很重要的人物，见了刘渊之后，也觉得他将来必为祸乱。可见刘渊虽没有做过什么对不起朝廷的事情，但是他的民族背景与才具使汉族统治者忌怕。《晋书·刘元海载记》记载王浑为他进行辩护：
王浑进曰：“元海长者，浑为君王保明之。且大晋方表信殊俗，怀远以德，如之何以无萌之疑杀人侍子，以示晋德不弘。”帝曰：“浑言是也。”会豹卒，以元海代为左部帅。太康末，拜北部都尉。明刑法，禁奸邪，轻财好施，推诚接物，五部俊杰无不至者。幽冀名儒，后门秀士，不远千里，亦皆游焉。杨骏辅政，以元海为建威将军，五部大都督，封汉光乡侯。元康末，坐部人叛出塞免官。成都王颖镇邺，表元海行宁朔将军，监五部军事。
这是晋惠帝时的事情。惠帝昏庸，贾后专权，八王作乱。刘渊因为在充作质子时受到一些汉族统治阶级人士的不公平对待，遂对晋室不满。在匈奴的王侯贵人中，也有另外一些对于晋室的大汉族主义不满者，刘渊的从祖刘宣就是其中的一个。他曾做过北部都尉、左贤王，在匈奴人中是一位很有声望的人。《晋书·刘元海载记》说：“元海从祖故北部都尉、左贤王刘宣等窃议曰：‘昔我先人与汉约为兄弟，忧泰同之。自汉亡以来，魏晋代兴，我单于虽有虚号，无复尺土之业，自诸王侯，降同编户。今司马氏骨肉相残，四海鼎沸，兴邦复业，此其时矣。左贤王元海姿器绝人，斡宇超世，天若不恢崇单于，终不虚生此人也。’于是密共推元海为大单于。”《晋书》中介绍刘宣，说他是一位汉化程度很深的匈奴贵族。《晋书·刘元海载记》说：
刘宣，字士则。朴纯少言，好学修洁。师事乐安孙炎，沉精积思，不舍昼夜，好《毛诗》《左氏传》。炎每叹之曰：“宣若遇汉武，当逾于金日 也。”学成而返，不出门闾盖数年。每读《汉书》，至萧何、邓禹传，未曾不反覆咏之，曰：“大丈夫若遭二祖，终不令二公独擅美于前矣。”并州刺史王广言之于武帝，帝召见，嘉其占对，因曰：“吾未见宣，谓广言虚耳。今见其进止风仪，真所谓如珪如璋，观其性质，足能抚集本部。”乃以宣为右部都尉，特给赤幢曲盖。莅官清恪，所部怀之。元海即王位，宣之谋也，故特荷尊重，勋戚莫二，军国内外靡不专之。
刘渊后来的反抗与称王是得力于刘宣的计谋与策动，刘宣后来也得到刘渊的重用。但开始时，他们都不是从民族对抗立场起兵反晋的，而是西晋封建战争的组成部分。
关于刘渊与成都王颖的关系，《十六国春秋辑补》卷一《前赵录》“刘渊”条有一段记载：“颖为皇太弟，领丞相，自邺悬秉国政，事无大小，皆先关谘，以渊为太弟屯骑校尉。”《晋书·刘元海载记》说：
惠帝伐颖，次于荡阴，颖假元海辅国将军、督北城守事。及六军败绩，颖以元海为冠军将军，封卢奴伯。并州刺史东嬴公腾、安北将军王浚起兵伐颖，元海说颖曰：“今二镇跋扈，众余十万，恐非宿卫及近都士庶所能御之，请为殿下还说五部，以赴国难。”颖曰：“五部之众，可保发已不？纵能发之，鲜卑、乌丸劲速如风云，何易可当邪？吾欲奉乘舆还洛阳，避其锋锐，徐传檄天下，以逆顺制之。君意何如？”元海曰：“殿下武皇帝之子，有殊勋于王室，威恩光洽，四海钦风，孰不思为殿下没命投躯者哉，何难发之有乎！王浚竖子，东嬴疏属，岂能与殿下争衡邪！殿下一发邺宫，示弱于人，洛阳可复至乎？纵达洛阳，威权不复在殿下也。纸檄尺书，谁为人奉之！且东胡之悍不逾吾部，愿殿下勉抚士众，靖以镇之，当为殿下以二部摧东嬴，三部枭王浚，二竖之首可指日而悬矣。”颖悦，拜元海为北单于、参丞相军事。元海至左国城，刘宣等上大单于之号，二旬之间，众已五万，都于离石。
离石对于匈奴人是一个很有历史意义的地方。《晋书·刘元海载记》说：“建武初，乌珠留若鞮单于子右奥鞬日逐王比自立为南单于，入居西河美稷，今离石左国城即单于所徙廷也。”不过，这时刘渊所立的匈奴国，仅是西晋封建战争过程中兴起的一般封国而已。
成都王颖为王浚所败，逃到洛阳。《晋书·刘元海载记》说：“王浚使将军祁弘率鲜卑攻邺，颖败，挟天子南奔洛阳。元海曰：‘颖不用吾言，逆自奔溃，真奴才也。然吾与其有言矣，不可不救。’于是命右於陆王刘景、左独鹿王刘延年等率步骑二万，将讨鲜卑。”王浚之所以能攻败成都王颖，乃得力于鲜卑。这时，刘宣及一些匈奴贵人希望刘渊能联络鲜卑以及其他民族，摆脱晋王朝的统治，重建匈奴故国。刘渊遣将去援救成都王颖，他们不赞成。刘宣等谏曰：
晋为无道，奴隶御我，是以右贤王猛不胜其忿。属晋纲未弛，大事不遂，右贤涂地，单于之耻也。今司马氏父子兄弟自相鱼肉，此天厌晋德，授之于我。单于积德在躬，为晋人所服，方当兴我邦族，复呼韩邪之业，鲜卑、乌丸可以为援，奈何距之而拯仇敌！今天假手于我，不可违也。违天不祥，逆众不济；天与不取，反受其咎。愿单于勿疑。4
可是，刘渊之志不在于恢复塞外匈奴故国，而在于在封建战争过程中取晋室而代之。他对刘宣的建议不予采纳，回答说：
“善。当为崇冈峻，阜何能为培 乎！夫帝王岂有常哉，大禹出于西戎，文王生于东夷，顾惟德所授耳。今见众十余万，皆一当晋十，鼓行而摧乱晋，犹拉枯耳。上可成汉高之业，下不失为魏氏。虽然，晋人未必同我。汉有天下世长，恩德结于人心，是以昭烈崎岖于一州之地，而能抗衡于天下。吾又汉氏之甥，约为兄弟，兄亡弟绍，不亦可乎？且可称汉，追尊后主，以怀人望。”乃迁于左国城，远人归附者数万。5
1 《三国志·魏书·乌丸鲜卑东夷传》注引鱼豢《魏略》。
2 《晋书·刘元海载记》。
3 以上均见《晋书·慕容廆载记》。
4 《晋书·刘元海载记》。
5 《晋书·刘元海载记》。
