狐鹿姑单于死后，子左谷蠡王在汉昭帝始元二年（公元前85年）立为壶衍鞮单于，在位十七年，死于宣帝地节二年（公元前68年）。
狐鹿姑单于死后，匈奴内部的分裂日益严重。《汉书·匈奴传》论其事如下：“初，（狐鹿姑）单于有异母弟为左大都尉，贤，国人乡之，母阏氏恐单于不立子而立左大都尉也，乃私使杀之。左大都尉同母兄怨，遂不肯复会单于庭。”此外，狐鹿姑单于的儿子也因争立而离叛。同传又说：“又单于病且死，谓诸贵人：‘我子少，不能治国，立弟右谷蠡王。’及单于死，卫律等与颛渠阏氏谋，匿单于死，诈矫单于令，与贵人饮盟，更立子左谷蠡王为壶衍鞮单于。是岁，始元二年也。”又说：“壶衍鞮单于既立……左贤王、右谷蠡王以不得立怨望，率其众欲南归汉。恐不能自致，即胁卢屠王，欲与西降乌孙，谋击匈奴。卢屠王告之，单于使人验问，右谷蠡王不服，反以其罪罪卢屠王，国人皆冤之。于是二王去居其所，未尝肯会龙城。”又说：“单于年少初立，母阏氏不正，国内乖离，常恐汉兵袭之。”按匈奴习惯，每年各王侯贵人会龙城三次，有些像西汉的大臣朝见，不肯会龙城是对单于的不尊敬，是一种反抗的态度与行为。左大都尉的同母兄既不会单于庭，左贤王与右谷蠡王又不肯会龙城，这些人都是匈奴最重要的人物，从中可见匈奴内部分裂情况之严重。
照匈奴习惯，狐鹿姑死后，应当由左贤王继立为单于。不知何故，狐鹿姑单于死前对贵人说，其子年少，不能治国，而希望其弟右谷蠡王继立为单于。这位年少之子，就是左谷蠡王。左谷蠡王在匈奴的官位上低左贤王一级。狐鹿姑在左大将死后曾以其子为左贤王，则这位左贤王与左谷蠡王显然为二人，而且此子当比左谷蠡王年长。这二人都为狐鹿姑之子，同时，狐鹿姑单于立其子为左贤王时，是在他死前好几年。此子在立为左贤王时，若已不算太小，则在狐鹿姑单于死时，应该大了，为什么狐鹿姑单于在遗嘱中不以合法的左贤王继立单于，而希望其弟右谷蠡王继立为单于？这是一个疑问。
这次内部分裂，还没有像数十年后的五单于争立那样引起互相残杀。然而，这次争立好像是后来争立的前奏，而且比之以往的伊稚斜攻败於单更为复杂。这是匈奴更趋于衰弱的征兆。从此以后，争立问题成为匈奴内部分裂的一个主要原因。
然而在壶衍鞮时代，匈奴最大的问题恐怕还是外患。自然，外患之来是与内部分裂有关系的。比方不满意单于而投降外人，或者甚至利用外人的力量去恢复或维持自己的地位。所以说，是内部分裂引起外患。
自冒顿至狐鹿姑的一百多年中，匈奴的劲敌主要是西汉王朝。稽粥单于迫走月氏之后，匈奴的东方、西方以及北边都没有足以威胁他的敌人了。这三方面的部落都已为匈奴所征服。大概是在军臣单于时代，只有西边一个受匈奴帮助而复国的乌孙后来强盛起来，不肯朝会单于。匈奴发兵去征伐，结果失败而归。然而在这个时期中，却找不到乌孙攻伐匈奴的记载。在壶衍鞮时代，情形就不同了。除南方的劲敌以外，东方的乌桓也逐渐复兴。北边的丁令与西边的乌孙都乘机对匈奴进行攻击，使匈奴陷入四面受敌的境地。
壶衍鞮即位后，匈奴示意西汉使者，希望和亲。但他即位后二年，又南下侵略代郡，仍是匈奴一面办交涉一面扰乱的传统作风。但是匈奴三十多年来受到西汉的严重打击，加上争立而引起国内不安，匈奴很怕西汉王朝的征伐。自卫青、霍去病以后，匈汉战争的战场多在匈奴的领土以内，匈奴人少物稀，遭到很大的损失，所以卫律与匈奴的贵人们“常恐汉兵袭之”。
卫律既与阏氏谋立年少的单于，这说明他的作用更为重要。卫律本是胡人，但生长于西汉，对于汉朝的文化及优点知之甚详。汉人筑城藏谷的防守战略，是他所熟知的。因此他向匈奴单于献计，也想用这种守卫的方法去抵抗西汉的进攻。《汉书·匈奴传》说：“于是卫律为单于谋‘穿井筑城，治楼以藏谷，与秦人守之’。”匈奴人本来不会穿井，他们是逐水草而居的游牧部落，没有城郭，所住的是穹庐，不是楼室。他们穿井、筑城、治楼要用汉人，就是守城也要用汉人。这里所说的“秦人”就是汉人，因为秦朝威震匈奴，所以匈奴称汉人为“秦人”。这些汉人有的是投降的，有的是战争俘虏。卫律利用这些人去守城，相信这样做则“汉兵至，无奈我何”，于是“即穿井数百，伐材数千”。但是，有些人反对他的这种做法，认为匈奴人不善于在城中守城，治楼、藏谷等于积粮送给汉朝。这种看法可能是从赵信城的经验而来。赵信曾筑城藏谷，后来卫青率兵攻破此城，西汉的兵士就用城里所藏的谷物为食，吃不了或不能带走便用火烧尽。卫律听到胡人不能守城的意见后，也可能是回忆起赵信城的教训，所以井虽是穿了数百，木材伐了数千，便放弃这个计划。
穿井、筑城、治楼的计划既已放弃，匈奴乃用其他方法去讨好西汉，决定遣回被匈奴扣留而不肯投降的西汉使者，这就是苏武以及另一位叫作马宏者。关于马宏，《汉书·匈奴传》说：“马宏者，前副光禄大夫王忠使西国，为匈奴所遮，忠战死，马宏生得，亦不肯降。故匈奴归此二人，欲以通善意。”
马宏归汉后的情形如何，史书没有记载。苏武在离匈奴前及归国后的情况，《汉书·李广苏建传》则说得很清楚。
苏武离开匈奴之次年，也就是昭帝始元七年（公元前80年），匈奴发左、右部二万骑，分为四队，入边为寇。《汉书·匈奴传》云：“汉兵追之，斩首获虏九千人，生得瓯脱王，汉无所失亡。匈奴见瓯脱王在汉，恐以为道击之，即西北远去，不敢南逐水草，发人民屯瓯脱。明年，复遣九千骑屯受降城以备汉，北桥余吾，令可度，以备奔走。”这说明，匈奴的兵力愈来愈衰。它虽然调动二万骑来入寇，但是经过西汉的追击，损失差不多一半，而且熟悉匈奴道途的瓯脱王也被西汉俘虏。匈奴既怕瓯脱王引道攻击，又不得不再向西北迁徙。这与后来的乌桓以至鲜卑的勃兴很有关系。经过武帝的打击，匈奴的左贤王已从原来所居的东部，迁移到原来单于所居的地方。其后又向西跑，现在再向西北走，因而愈与乌孙接近，此后匈奴与乌孙的接触也更多起来。东边的乌桓、鲜卑却得以摆脱匈奴的羁绊。
此时，卫律已死。在狐鹿姑的时代，卫律明白用武力去对付西汉很为吃亏后，极力主张与西汉和亲。在他生前，这种主张并不见得为匈奴一般的大臣贵人所赞成，但是在他死后，匈奴“兵数困，国益贫”，壶衍鞮的弟弟左谷蠡王觉得，卫律生前的主张是有道理的，所以也主张和亲。可是又怕西汉方面未必答应，于是，匈奴常常使其左右将这个意思暗示给西汉使者。同时，匈奴对西汉的侵扰也更为稀少，对西汉使者也愈为厚待，目的是希望能与西汉修和亲之约。西汉对于匈奴这种表示是欢迎的。但是，不久左谷蠡王死了，这种和平局面又不大能够维持下去，战争发生了。《汉书·匈奴传》说：
明年（昭帝元凤三年，公元前78年），单于使犁污王窥边，言酒泉、张掖兵益弱，出兵试击，冀可复得其地。时汉先得降者，闻其计，天子诏边警备。后无几，右贤王、犁污王四千骑分三队，入日勒、屋兰、番和。张掖太守、属国都尉发兵击，大破之，得脱者数百人。属国千长义渠王骑士射杀犁污王，赐黄金二百斤，马二百匹，因封为犁污王。属国都尉郭忠封成安侯。自是后，匈奴不敢入张掖。
数十年来，匈奴愈往西迁，愈觉得酒泉、张掖的重要。他们想取回这些地方，是无可怀疑的。但是，自此以后再“不敢入张掖”了。“张掖”一名，据说是由“断匈奴右臂”“张西汉之掖”而来，现在可以说是名副其实了。
匈奴虽然遭受这次大败，但并不甘心。昭帝元凤三年，匈奴又遣三千余骑入五原，杀略数千人。后来还有数万骑兵南下，在西汉塞边行猎，攻击塞外的亭障，掠取吏民。但此时西汉边郡的防备工作很好，烽火候望制度很精密，匈奴要想侵入很为困难。匈奴入侵的目的本在掠取人民粮畜，西汉既有防备，匈奴无机可乘，入寇也就稀少了。
壶衍鞮单于死前，西汉还曾出三千余骑，分三路并入匈奴，捕得俘虏三千余人，匈奴远逃不敢抵抗。这也可以说明到了壶衍鞮的末年匈奴衰弱的现象。
此外，昭帝元凤三年，西汉曾遣范明友击匈奴，不过这次征伐与乌桓有关。
除了南边的西汉给予匈奴的沉重打击，东方的乌桓（或乌丸）对匈奴也时时骚扰。关于乌桓及其与匈奴的关系，《汉书·匈奴传》与《汉书》其他各处略为记载，但说得最详细的是《后汉书·乌桓列传》：
乌桓者，本东胡也。汉初，匈奴冒顿灭其国，余类保乌桓山，因以为号焉。俗善骑射，弋猎禽兽为事。随水草放牧，居无常处。以穹庐为舍，东开向日。食肉饮酪，以毛毳为衣。贵少而贱老，其性悍塞。怒则杀父兄，而终不害其母，以母有族类，父兄无相仇报故也。有勇健能理决斗讼者，推为大人，无世业相继。邑落各有小帅，数百千落自为一部。大人所召呼，则刻木为信，虽无文字，而部众不敢违犯。氏姓无常，以大人健者名字为姓。大人以下，各自畜牧营产，不相徭役……其约法：违大人言者，罪至死；若相贼杀者，令部落自相报，不止，诣大人告之，听出马牛羊以赎死；其自杀父兄则无罪；若亡畔为大人所捕者，邑落不得受之，皆徙逐于雍狂之地，沙漠之中。其土多蝮蛇，在丁令西南，乌孙东北焉。
乌桓位置应在匈奴之东，在丁令东南而非西南。乌孙则远在匈奴之西，与乌桓并不接近。《后汉书·乌桓列传》又说：
乌桓自为冒顿所破，众遂孤弱，常臣伏匈奴，岁输牛马羊皮，过时不具，辄没其妻子。及武帝遣骠骑将军霍去病击破匈奴左地，因徙乌桓于上谷、渔阳、右北平、辽西、辽东五郡塞外，为汉侦察匈奴动静。其大人岁一朝见，于是始置护乌桓校尉，秩二千石，拥节监领之，使不得与匈奴交通。
西汉迁徙乌桓到匈奴左地与塞外五郡，目的还是防备匈奴。这与武帝遣张骞到乌孙，希望乌孙回敦煌、祁连故地以防备匈奴的政策是一致的。通西域是断匈奴的右臂，连乌桓是断匈奴的左臂。乌桓的迁徙，对于西汉防备匈奴固有其作用，但后来乌桓本身有时也成为西汉的边患，有时还勾结匈奴入寇。《汉书·匈奴传》说：
汉复得匈奴降者，言乌桓尝发先单于冢，匈奴怨之，方发二万骑击乌桓。大将军霍光欲发兵邀击之，以问护军都尉赵充国。充国以为“乌桓间数犯塞，今匈奴击之，于汉便。又匈奴希寇盗，北边幸无事。蛮夷自相攻击，而发兵要亡，招寇生事，非计也”。光更问中郎将范明友，明友言可击。于是拜明友为度辽将军，将二万骑出辽东。匈奴闻汉兵至，引去。初，光诫明友：“兵不空出，即后匈奴，遂击乌桓。”乌桓时新中匈奴兵，明友既后匈奴，因乘乌桓敝，击之，斩首六千余级，获三王首，还，封为平陵侯。匈奴由是恐，不能出兵。
从这段话看来，西汉可以说是一举两得。匈奴既不复出兵，乌桓也为西汉大败。然而这样一来，乌桓不久即入寇幽州，所以西汉又不得不遣范明友去专击乌桓，而且还不止这一次。这正是赵充国所说的“招寇生事”。
此外，北边的丁令也慢慢地叛离匈奴。《汉书》没有“丁令传”，《三国志·魏书》卷三十《乌丸鲜卑东夷传》注云：
丁令国在康居北，胜兵六万人，随畜牧，出名鼠皮，白昆子、青昆子皮。
在冒顿时，丁令曾被匈奴征服。宣帝初年，乌孙击败匈奴，丁令乘机从北边攻伐匈奴，大概这时又脱离匈奴而独立。
壶衍鞮在位的时候，除了南边的西汉、东边的乌桓、北边的丁令，西边的乌孙也给予匈奴很大的打击。《汉书·西域传》“乌孙”条说：
乌孙国，大昆弥治赤谷城，去长安八千九百里。户十二万，口六十三万，胜兵十八万八千八百人。相，大禄，左右大将二人，侯三人，大将、都尉各一人，大监二人，大吏一人，舍中大吏二人，骑君一人……地莽平。多雨，寒。山多松 。不田作种树，随畜逐水草，与匈奴同俗……故服匈奴，后盛大，取羁属，不肯往朝会。东与匈奴、西北与康居、西与大宛、南与城郭诸国相接。
匈奴受西汉攻击，逐渐向西北迁徙，从而与乌孙的接触更多，争端也时起。西汉虽不能说服乌孙迁回敦煌、祁连故地，但自张骞出使乌孙之后，乌孙逐渐亲汉。到了武帝元封六年（公元前105年）西汉与乌孙和亲之后，乌孙与西汉的关系更加密切。这使匈奴对乌孙更加不满。匈奴单于虽然也遣女嫁给乌孙昆莫，但是乌孙与匈奴的关系仍不断恶化。西汉笼络乌孙，主要是为了牵制匈奴。西汉第一位嫁给乌孙的宗室女是江都王建之女细君。细君嫁给乌孙昆莫时，昆莫已很老，而且语言又不通，使细君很为悲愁。她的悲愁之状，表现在她所作的著名的歌中。《汉书·西域传》指出，西汉皇帝听了她的歌后，对她很怜悯。“间岁遣使者持帷帐锦绣给遗焉。昆莫年老，欲使其孙岑陬尚公主，公主不听，上书言状，天子报曰：‘从其国俗，欲与乌孙共灭胡。’岑陬遂妻公主。昆莫死，岑陬代立。岑陬者，官号也，名军须靡。昆莫，王号也，名猎骄靡。后书‘昆弥’云。岑陬尚江都公主，生一女少夫。”细君公主嫁给岑陬后，不过数年就死了。西汉为了继续维持这种友好关系，又遣另一位宗室女嫁给岑陬。这位宗室女在乌孙好几十年，除了嫁给岑陬，还嫁给其季父子肥王。《汉书·西域传》“乌孙”条说：“公主（细君）死，汉复以楚王戊之孙解忧为公主，妻岑陬。岑陬胡妇子泥靡尚小，岑陬且死，以国与季父大禄子翁归靡，曰：‘泥靡大，以国归之。’翁归靡既立，号肥王，复尚楚主解忧，生三男二女：长男曰元贵靡；次曰万年，为莎车王；次曰大乐，为左大将；长女弟史为龟兹王绛宾妻；小女素光为若呼翕侯妻。”
这位解忧公主在肥王死后，还嫁给继立为昆弥的狂王。很值得注意的是，这位狂王就是岑陬所妻匈奴女生的儿子泥靡。他在肥王刚立的时候年纪很小，肥王死时他已长大，继立为昆弥。这时解忧已六十岁左右，嫁给泥靡后，据说还生了一个儿子。《汉书·西域传》“乌孙”条载此事说：
元康二年（公元前64年），乌孙昆弥（肥王）因（常）惠上书：“愿以汉外孙元贵靡为嗣，得令复尚汉公主，结婚重亲，畔绝匈奴，愿聘马骡各千匹。”诏下公卿议，大鸿胪萧望之以为“乌孙绝域，变故难保，不可许”。上美乌孙新立大功，又重绝故业，遣使者至乌孙，先迎取聘。昆弥及太子、左右大将、都尉皆遣使，凡三百余人，入汉迎取少主。上乃以乌孙主解忧弟子相夫为公主，置官属侍御百余人，舍上林中，学乌孙言。天子自临平乐观，会匈奴使者、外国君长大角抵，设乐而遣之。使长罗侯光禄大夫惠为副，凡持节者四人，送少主至敦煌。未出塞，闻乌孙昆弥归靡死，乌孙贵人共从本约，立岑陬子泥靡代为昆弥，号狂王。惠上书：“愿留少主敦煌，惠驰至乌孙责让不立元贵靡为昆弥，还迎少主。”事下公卿，望之复以为“乌孙持两端，难约结。前公主在乌孙四十余年，恩爱不亲密，边竟未得安，此已事之验也。今少主以元贵靡不立而还，信无负于夷狄，中国之福也……”天子从之，征还少主。狂王复尚楚主解忧，生一男鸱靡，不与主和，又暴恶失众。
我们要指出的是，匈奴也是为了想得解忧而攻击乌孙的，因而引起西汉发重兵去帮助。乌孙击匈奴这件事，发生于昭帝末年与宣帝初年，也就是在范明友追击匈奴并大败乌桓之后。《汉书·匈奴传》说：
（匈奴）即使使之乌孙，求欲得汉公主。击乌孙，取车延、恶师地。乌孙公主上书，下公卿议救，未决。昭帝崩……
《汉书·西域传》“乌孙”条说：
昭帝时，公主上书言：“匈奴发骑田车师，车师与匈奴为一，共侵乌孙，唯天子幸救之！”汉养士马，议欲击匈奴。会昭帝崩，宣帝初即位，公主及昆弥皆遣使上书言：“匈奴复连发大兵侵击乌孙，取车延、恶师地，收人民去，使使谓乌孙趣持公主来，欲隔绝汉。昆弥愿发国半精兵，自给人马五万骑，尽力击匈奴。唯天子出兵以救公主、昆弥。”
《汉书·匈奴传》载昆弥上书云：“唯天子出兵，哀救公主！”《汉书·西域传》置公主上书在先，昆弥求救在后，都说明乌孙主要是以解忧公主去感动西汉皇帝，要他出兵攻击匈奴。《汉书·匈奴传》说：
本始二年（公元前72年），汉大发关东轻锐士，选郡国吏三百石伉健习骑射者，皆从军。遣御史大夫田广明为祁连将军，四万余骑，出西河；度辽将军范明友三万余骑，出张掖；前将军韩增三万余骑，出云中；后将军赵充国为蒲类将军，三万余骑，出酒泉；云中太守田顺为虎牙将军，三万余骑，出五原。凡五将军，兵十余万骑，出塞各二千余里。及校尉常惠使护出兵乌孙西域，昆弥自将翕侯以下五万余骑从西方入，与五将军兵凡二十余万众。匈奴闻汉兵大出，老弱奔走，驱畜产远遁逃，是以五将少所得。
又说：
度辽将军出塞千二百余里，至蒲离候水，斩首捕虏七百余级，卤获马牛羊万余。前将军出塞千二百余里，至乌员，斩首捕虏，至候山百余级，卤马牛羊二千余。蒲类将军兵当与乌孙合击匈奴蒲类泽，乌孙先期至而去，汉兵不与相及。蒲类将军出塞千八百余里，西去候山，斩首捕虏，得单于使者蒲阴王以下三百余级，卤马牛羊七千余。闻虏已引去，皆不至期还。天子薄其过，宽而不罪。祁连将军出塞千六百里，至鸡秩山，斩首捕虏十九级，获牛马羊百余。逢汉使匈奴还者冉弘等，言鸡秩山西有虏众，祁连即戒弘，使言无虏，欲还兵。御史属公孙益寿谏，以为不可，祁连不听，遂引兵还。虎牙将军出塞八百余里，至丹余吾水上，即止兵不进，斩首捕虏千九百余级，卤马牛羊七万余，引兵还。上以虎牙将军不至期，诈增卤获，而祁连知虏在前，逗遛不进，皆下吏自杀。擢公孙益寿为侍御史。
又说：
校尉常惠与乌孙兵至右谷蠡庭，获单于父行及嫂、居次、名王、犁污都尉、千长、将以下三万九千余级，虏马牛羊驴骡橐 七十余万……然匈奴民众死伤而去者，及畜产远移死亡不可胜数。于是匈奴遂衰耗，怨乌孙。
常惠与乌孙兵到右谷蠡王庭，所捕获的大量人民、畜产通通为乌孙专有，一点也不给西汉，甚至连常惠的印绶也被乌孙人盗走。《汉书·常惠传》说：“乌孙皆自取卤获。惠从吏卒十余人随昆弥还，未至乌孙，乌孙人盗惠印绶节。惠还，自以当诛。”
出乎常惠意料之外，宣帝却以为五将军出兵皆不得胜利，只有常惠奉出克获，还封他为长罗侯，食邑二千八百五十户。同时，宣帝不但不责备乌孙“自取卤获”，相反，还遣常惠持金币再次出使乌孙，赏赐乌孙贵人有功者。这也是乌孙贵人所意料不到的。西汉这次调动重兵，是武帝以来攻伐匈奴出兵最多的一次。这主要是因为解忧公主的请求，使她免为匈奴所夺，并使乌孙免为匈奴所败。乌孙独吞战利品并盗汉使印绶，西汉不但不责备，而且还赏赐他，这对乌孙来说也是一举两得。但从中也可以看出，西汉对于攻灭匈奴是多么迫切。
从此，匈奴对乌孙更加怨恨。宣帝本始三年（公元前71年）冬，壶衍鞮单于亲自出马，将万骑去攻击乌孙。在初攻乌孙时，匈奴颇获乌孙的老弱民众，但当他要引兵回匈奴时，大雪降下来，一日之间，雪深丈余，人民、畜产冻死不可胜数，能回国者不过十分之一。这又是一次大失败。《汉书·匈奴传》说：
于是丁令乘弱攻其北，乌桓入其东，乌孙击其西。凡三国所杀数万级，马数万匹，牛羊甚众。又重以饿死，人民死者什三，畜产什五，匈奴大虚弱，诸国羁属者皆瓦解，攻盗不能理。
没有多久，西汉又遣兵分三道攻匈奴，捕虏数千人而还，使匈奴陷入四面楚歌的境地，内乱、外患与天灾相迫偕来，愈为衰弱。
壶衍鞮在位的十七年中，匈奴衰弱之甚，是匈奴历史上所没有过的。西汉的边塞在这个时候也很少有事。此时，匈奴又欲与西汉和亲，但这种意图还没有实现，壶衍鞮即于宣帝地节二年死去。
