在东晋、刘宋之际，也就是北魏初年，南北对抗，黄河沿岸的金墉、虎牢、滑台、碻磝四镇是必争之地。几十年后，特别是北魏迁都洛阳之后，四镇都变成了北魏的内地，这时南北对抗，重点在淮河一线。从西往东，义阳（今河南信阳）、寿阳（今安徽寿县）、钟离（今安徽凤阳东北）、淮阴（今属江苏）是淮南四处重镇。南朝保有这几个重镇，淮南、江南可以高枕无忧。北朝争夺到手，就可以进而威胁长江沿岸，使建康的朝廷难以安稳。
北魏迁洛之后，就在太和十九年（495年）攻南齐的义阳、寿阳、赭阳、南郑等地，都没有得手。二十一年，再次攻齐，围南阳、新野，二十二年攻占两城，然而义阳仍旧没有得手。宣武帝景明元年（500年），齐豫州刺史裴叔业怕遭昏君东昏侯杀害，向北朝上表投降。这对北魏无异于一个“天落馒头”，即使彭城王勰和王肃领十万大军前往，但嫌大部队步兵多，走不快，又再派奚康生领一千羽林骑兵赶往寿阳。南齐也立即派崔慧景、萧懿、陈伯之等军前去争夺。这时，魏军势大，崔慧景却志在推翻东昏侯，他便转过头去攻建康，结果，北魏不仅牢固地占有了寿阳，还打败陈伯之等，进而攻占了合肥。
景明四年（梁天监二年，503年），魏元英等攻梁义阳。梁司州刺史蔡道恭以不满五千之众，从十月到次年（梁天监三年、魏正始元年）五月，杀伤了大量魏军。他病重将死时，把守城重责交给堂弟灵恩。灵恩守到八月上旬，因援军马仙琕部兵败，城中势穷力竭，才开城投降。义阳以南有著名的义阳三关：平靖关、黄岘关、武阳关，在今河南、湖北两省界上。三关守将见义阳已失，也都弃关逃走。梁朝只能在关南的南义阳设置司州，把防线移到今湖北省的境内了。
这时梁朝初建，梁武帝力争改变这不利的态势。北魏也企图扩大有利的局面。景明三年（梁天监元年，502年），魏扬州刺史任城王澄本打算用十万兵在一百天内攻占钟离，后因无法征集所需粮食，只得作罢。但在以后两年中，魏军几乎不间断地攻略钟离及其附近各城；梁将姜庆真也于天监三年二月一度袭占寿阳外郭，其时魏任城王澄率军在外，太妃孟氏亲自登城指挥作战，一度出现很紧张的局势。
天监四年（魏正始二年，505年），梁武帝决心大举攻魏，使兄弟临川王萧宏任统帅，出屯洛口（今安徽淮南市东，为洛涧入淮处）。这次梁武帝是用了全力的，军容之盛，北朝人士认为是一百多年以来不曾有过的。
有篇与这次战争有关的文章，即丘迟的《与陈伯之书》，写得十分优美，至今为人传诵。陈伯之是个反复无常的武将，南齐末任江州刺史，降萧衍；梁天监元年起兵反梁，兵败投魏，以后屡次从魏军攻梁。丘迟字希范，吴兴（今浙江湖州）人，当时在临川王宏手下做记室、咨议参军。他奉临川王命，写这封信招陈伯之反正。信写得文情并茂（不过陈伯之是个文盲，不但要让人读，且非解释不会懂），江南故土的风物何等美妙，陈伯之在梁的亲属如何受到优待，投降北朝如何不值得，很能动人。陈伯之被这封信打动，率众八千人投降（以后梁朝自然不让他再带兵了）。不过信里讲的“中军临川殿下，明德茂亲”，却并不符合事实。这位亲王只有搜刮钱财的本领，家中藏钱三亿余万之多，胆却小得出奇。梁武帝用他做统帅，错得不能再错了。
天监五年的军事形势对梁非常有利。陈伯之归降了，张惠绍等攻克宿预（今江苏宿迁东南），昌义之等攻克梁城（今安徽寿县东），韦叡攻克合肥。当此之时，众将都想乘胜继续进攻，他这个统帅却作不出什么决断。接着得到消息，说魏将邢峦所率援军已经渡过淮河，与中山王元英联合，反攻梁城。他心中害怕，便召集众将，商议退兵。吕僧珍了解这位王爷的弱点，怕弄出大毛病来，赞成退兵。好几员大将大起反感，昌义之怒发冲冠，胡子都翘了起来，说：“吕僧珍可斩，焉有百万之师望风而退之理！”马仙琕更怒斥统帅本人，说：“大王怎么可出此亡国之言！”
会议没有作出任何决定。临川王见了众将激昂慷慨的神气，也不敢再提退字，只是下令：“不得前进，违令者斩！”
魏将奚康生派人向元英请求下令进兵，说：“梁军占领梁城以后，许多时候没有行动，一定是畏惧我军，大王只要进据洛水一线，敌军一定会溃退。”元英却主张慎重，他说：“萧临川虽则愚蠢，手下却有韦叡等良将，不可轻敌，只宜观看形势发展，暂时不要和他交锋。”
九月二十七日晚上，洛口一场暴风雨，军中发生了一些骚乱，临川王萧宏以为敌军乘风雨来袭，带了几个侍从，飞马逃走。军人寻不见主帅，谁也不知道发生了什么事情，纷纷逃散。武器甲胄全被抛弃，伤病老弱，无人照顾，加上自相践踏，死伤不下五万人。临川王逃到江边，雇一条小船渡了江，深夜叩城门想进城，却被守城的临汝侯萧渊猷拒绝，只得等到天明，才得进城。昌义之、张惠绍得到洛口消息，都放弃收复的城池，引兵撤退。
这年的战争不限于寿阳方面，梁军在上游也在围攻义阳，洛口兵溃后，只得解围撤走。
梁武帝并不责怪兄弟，只命昌义之赶快去守钟离，防魏军进攻。这是预料得对的。十月，魏元英、萧宝寅果然进兵围钟离，一场激烈的攻防战开始了。
钟离战役是一场苦战。元英预计在八十天内攻下钟离，他筹集了足够的粮食。邢峦本来奉命参加这个战役，他上表说南军长于守城，城壕水深，无法填塞，而且魏军兵力已疲，除非有内应，否则是打不下来的。他请求免予参加。朝廷就派萧宝寅代他。
元英和杨大眼等率军几十万人围攻钟离，昌义之所部守军只有三千人。魏军用车子装土填壕，步兵跟着车辆运土，铁骑紧跟在后，运土的人转身得慢了一点，后面的土倒下来，就连人带土掉下去。壕沟填满了，冲车往城墙上撞去，撞一下，掉一大块泥。守军也储备好大量泥土，撞坏哪里就补哪里。冲车撞得虽重，城墙仍岿然不倒。魏军日夜轮番攻城，前面的爬上去，掉下来，后面的接着再爬，没有人敢退却，死尸堆积得和城墙一样高了，但是仍旧打不进去。
梁武帝先命曹景宗领二十万大军救钟离。天监六年（507年）二月，又命韦叡领兵往钟离，受曹景宗指挥。韦叡接到命令，立刻从合肥出发，十天工夫就赶到了钟离城畔的邵阳洲。曹景宗见韦叡兵到，非常高兴，两人相处得很融洽。
这个洲在淮河中间，魏军在洲的两头造桥，使南北两岸联成一气，北岸的军需可以源源不断地运到南岸，补给攻城的军队。曹景宗军先到，已在洲尾安营筑城。韦叡军到后，在曹营前面，把城筑到洲上，离魏军的城只有一百多步距离。韦叡军中有个筑城专家冯道根，他骑着马在工地上一走，凭着马走的步数，就可以把需要的数据弄得清清楚楚。他指挥兵士连夜施工，天明时，营盘已经屹立在魏军面前，使元英大吃一惊。
曹景宗要守军心安，就派几个精通水性的兵士，潜水到城边，上岸进城，递送文书。城中知道援军已到，士气大振，打起来更有劲了。
元英想先打败援军，使勇将杨大眼率领一万多骑兵猛烈进击。杨大眼是氐人，力能搏虎，作战时常身先士卒，冲锋陷阵，时人以为汉末的关、张也不见得及得上他。南军的韦叡号称韦虎，然而身体瘦弱，从不骑马，坐在木质小轿里指挥作战，勇气和方略则都远胜一时众将。杨大眼指挥骑兵猛冲，韦叡把车辆联结起来构成阵线，骑兵冲不进也冲不动。杨大眼指挥骑兵把车阵围住，韦叡用两千张弩一齐发射，无论什么甲都挡不住，杀伤大量敌军。杨大眼右臂也中了一箭，只得撤退。第二天，元英亲自带队来攻，又被击退。当天晚上，魏军再次进攻，箭像阵雨似地密集向城上射来，韦叡坐在城上，沉着指挥。他的儿子韦黯请他下城避箭，他坚决拒绝。魏军白白地消耗了大量的箭，一无所获，只得又退了下去。
梁武帝定下火攻计，命曹景宗等加高战船，使与桥的高度相等，令两将分工，韦叡攻南桥，曹景宗攻北桥。三月里，春天水发，淮河一下子涨了六七尺。韦叡命冯道根等将校，乘战船进攻邵阳洲上的魏军，另用小船装草，浇上油，推上去烧桥。一时之间，风助火威，满天烟火，那些一下子烧不完的桥和木栅，也被勇士们拔的拔，砍的砍，很快都化为乌有。洲上的魏军走也没有走处，束手待毙，被梁军全部歼灭。梁军将士，人人奋勇当先，喊声震动天地。魏军大败，元英先逃，杨大眼也烧营撤走，所有的营垒陆续崩溃，武器甲胄，悉数抛弃，落水淹死的不下十多万人，梁军斩获的也有此数。韦叡派人进城通报昌义之。昌义之悲喜交集，别的话都来不及讲，只是喊道：“复活了，复活了！”梁军追击，又俘获了五万之众，收集的军资粮食、武器、牛、马、驴、骡不计其数。刚愎自用的元英逃到梁城时，只剩下一人一骑。
淮南争夺战至此告一段落，但是远远没有结束。梁军虽胜，寿阳仍在魏军手里，这始终是梁武帝的心病。
天监七年（魏永平元年，508年），梁在上游方面也取得过短期的优势，但结果仍恢复了原来的态势。
这年秋冬之间，先是魏郢州（魏以义阳为郢州）司马彭珍叛变，引梁兵攻义阳，三关守将也都降梁。继之，悬瓠（今河南汝南）军主（军的主官，中古的军，大体上相当于现代的团或营）白早生利用群众痛恨暴虐的豫州（魏以悬瓠为豫州）刺史司马悦的情绪，杀司马悦，叛魏投梁。两三个月中间，从悬瓠到安陆一带，只剩义阳一城还在魏军手中。但是，这些叛将叛军没有多少战斗力，魏邢峦、元英等一到，他们就支持不住，很快都失败而死。梁将马仙琕的援军也抵敌不住，于天监八年正月放弃义阳三关。梁武帝派韦叡往救，韦叡到了安陆，立即加高城垣，开挖大堑。有人嫌他胆怯，韦叡不以为然，说做将军不能一味靠勇，该怯时就必须怯。他说的“怯”，其实是慎重，这是对的。这次他没有和魏军交锋，因为元英知道韦叡来了，便不敢再进兵。
在以后的几年里，淮南争夺战暂告停顿，到天监十三年（魏延昌三年，514年），梁武帝用降将王足的建议，才决定建筑浮山堰，用淮水灌寿阳。这是个不切实际的计划。梁武帝派水工陈承伯、材官将军祖暅（祖冲之之子）去探察地形，他们都持否定意见，但是梁武帝还是坚持要干。
浮山在今安徽五河县东的淮河南岸，对岸有巉石山。筑堰的办法是从两面沿岸开始，向河中投土，逐步向河心推进，最后合龙截流，使上游水位抬高，淹没寿阳城。
这件事谈何容易。古人肩挑背负，至多用畜力拉车子，一车几百斤，至多上千斤，一车土倒下去，不等第二车到，那土早已被水冲走了。淮河边取的土，陈、祖二人都说沙土漂轻不顶用。梁武帝不信，硬要建造，除劳民伤财外，自然不会有其他效果。
当时梁武帝命康绚驻钟离，主持筑堰工程，徐、扬二州每二十户出五个男丁，役夫和战士共二十万人，从事兴筑。工程起初还算顺利，到十四年（515年）四月，眼看要完工了，被大水一冲，马上垮掉。道理很简单，冬天水浅，施工容易，但是并不结实，夏天发了大水，合龙处水流最急，自然马上冲坍。有人造谣，说是蛟龙兴风作浪所致，又说蛟龙怕铁。梁武帝就命把建康东、西冶（铁工场）的几千万斤铁器全部运去，投将下去，仍旧无法合龙。有人想出一个办法，斫树，把几棵树身做成井栏圈的模样，中间填满石块，上面再加泥土。这个笨家伙虽然比较有用，然而做起来难啊！沿淮上百里以内的树都斫光，木头、石头都用得精光，役夫挑担子，挑得肩部的皮肉都破了。夏天发生疫病，工地上到处都是尸体，满天苍蝇，遍地蛆虫，工地成了人间地狱。几个月过去，冬天到了，天气严寒，淮河、泗水都结了冰，役夫士卒十之七八又都冻死。
北魏朝廷很为寿阳担忧。延昌四年（梁天监十四年，515年），先命杨大眼镇守荆山（今安徽怀远西南），又遣萧宝寅领兵去破坏浮山堰。熙平元年（梁天监十五年，516年）正月，加派李平到寿阳，统辖各军。萧宝寅军攻浮山堰，被康绚击退。北魏打算大量增兵，派任城王澄南征。李平不以为然，说不需兵力，它自然会垮掉。
李平的估计完全正确。天监十五年四月，浮山堰落成。它长九里，下面宽一百四十丈（约四百米），顶部宽四十五丈，高二十丈。堰上种有杞柳，建有营垒。为了减少洪水冲击的力量，还凿开一些分流的管道。上游水位大大地被提高了，出现了方圆几百里的人工湖。寿阳城浸在水里，居民都搬到山冈上居住，房屋坟墓都在水中，可以看得清清楚楚。北魏守将李崇在八公山东南早已筑好魏昌城，又在城西北的硖石搭了浮桥，来应付这个局面。
梁武帝此时想必十分高兴。然而好景不长，九月十三日，淮河暴涨，洪水冲垮了浮山堰。堰垮的时候，声如巨雷，三百里内都可以听到。沿淮河的城堡营寨村落和十多万人都被洪水冲到海里（按普通七年，526年，有“淮堰水盛，寿阳城几没”的记载，胡三省注《通鉴》说“观此，盖淮堰复成也”。胡三省说恐不确，冲坍不会连底部冲光，残址会长期存在，水大时仍会抬高水位）。
梁朝没有再争寿阳的雄心了。北魏也进入了多事之秋（见下篇），淮南前线暂时平静无事了。
有几个人的下落不妨在这里提一下。梁的名将韦叡在梁武帝普通元年（520年）去世，年七十九岁。他字怀文，杜陵（在今陕西西安东南）人，是应当列入古代著名军事家名单的人物。但晚年似乎许久不受重用，原因何在，不得而知。曹景宗、马仙琕也都已去世，昌义之比韦叡晚三年病故。梁代前期的名将至此凋谢已尽。北魏的中山王元英、邢峦、杨大眼也比韦叡死得早。本篇中的一些人物到韦叡去世时差不多都退出历史舞台了。只有梁武帝还健康得很，他的日子还长得很。
