虞允文字彬甫，隆州仁寿人。他的父亲虞祺，考中北宋政和年间进士，官至太常博士、潼川路转运判官。虞允文六岁时即能背诵《九经》，七岁时即能诗善文。因为父亲的缘故入选做官。母亲因病不幸逝世后，虞允文因过度悲伤而身体极度虚弱。安葬母亲后，他整日在母亲墓旁哭泣，墓地旁边有一棵枯死的桑树，有两只鸟儿飞来搭巢。考虑到父亲一人鳏居且身体有病，虞允文七年没有调迁官职，不忍心离开他的父亲半步。父亲逝世后，绍兴二十三年(1153)，才考中进士，授官彭州通判，后又暂且代理黎州、渠州知州。
秦桧独揽朝政大权后，四川的有识之士大多受到排挤压制。秦桧死后，高宗打算广招蜀中名士，中书舍人赵逵首先推荐了虞允文，皇上召他进宫对话，他说，作为一国之君，首先必须敬畏上天，必须安抚天下百姓，必须效法祖先的各种法令制度。又谈到士人风气的弊端，凭文章被提拔的一定要抑制其轻浮举止；凭言谈被提拔的一定要去除其投机、欺瞒的劣行；凭治政被提拔的一定要屏弃其苛刻的行为，这样才可以放心地对他们委以重任。虞允文还对四川地区财赋科纳之弊端进行了认真论述。高宗高兴地接受了他的建议。
虞允文官拜秘书郎，不久又升任礼部郎官。金主完颜亮开始修整汴京，呈现出南侵的意图。王伦从金朝返回后，报告说金人态度恭敬友好，没有丝毫战争迹象。汤思退再次去金国朝拜祝贺，对边境备战仍不闻不问。等到金朝使者施宜生稍微泄露了一点金军加紧备战的消息后，张焘秘密地将这些情况奏知了高宗。完颜亮又悄悄地请画师画出临安城区的湖山等景观带回金国。完颜亮写诗言志，在诗中他准备大举进攻南侵的意图更加明白地表露出来。虞允文上奏疏说“：金人一定会撕毁盟约，其伐兵有五条道路，希望陛下下诏令大臣们加强备战，做好防御准备。”当时正是绍兴三十年(1160)正月。十月，虞允文假借为工部尚书充任使金的贺正使，他与金馆伴一起射箭，一箭击中目标，众人都感到很惊讶。虞允文看到金人大量运输粮草，建造战舰，便向金主告辞回去，完颜亮说“：我准备去洛阳观赏牡丹花。”虞允文回来后，将自己在金国见到的备战情况及完颜亮的言行立即上奏告知皇上，再次强调必须加强淮、海两地的防御力量。
虞允文被任命为中书舍人、直学士院。三衙管军让宦官担任承受之职，虞允文说“：自古以来国家的大权，不是被奸臣篡夺，便是为皇上的亲信把持。秦桧独揽大权达十八年之久，秦桧死后，权力才重归陛下。近来三衙皆与宦官互相勾结，宣和、明受的教训离现在时间并不远。”宋高宗很快醒悟，立即罢免了他们的职务。
金主完颜亮派王全、高景山来南宋祝贺高宗的生日，带来了完颜亮的口信，态度傲慢，出言不逊，想占有淮南之地，指令与哪个宰相大臣议事。高宗于是召集三衙的大将赵密等人商量起兵，侍从、台谏也参予讨论。宰相陈康伯传达了高宗的旨意“：今天不再谈论和议和防守之事，只讨论若宋金开战应如何办。”高宗任命成闵为京、湖制置使，率领五万禁卫军士兵加强防御襄樊、汉江上游一带。虞允文指出“：敌人准备进攻但没选好线路和进攻点，这是金军故意散布虚假的消息以分散我们的兵力，使他们进攻江淮地区的阴谋能够得逞。”朝廷没有听从虞允文的意见，最终派遣成闵出征。七月，金主完颜亮及政府全部迁往汴京。虞允文再次对陈康伯说“：成闵军队现在大约行进在江州、池州之间，应该命令到达池州的军队驻扎在池州，到达江州的军队驻扎在江州。假如金军从长江上游发动进攻，那么驻守在荆湖的军队就能够在前方抵御敌兵，江、池二州的驻军就能够从后方增援；假如敌军从淮西进行南侵，那么驻扎池州的军队就能够从巢县发动反攻，驻扎江州的军队就能够从无为发动反攻，这样就可以一军两用，一举两得。”陈康伯虽认为他说得很有道理，但成闵却将军队驻守在武昌。
九月，金主完颜亮任命李通为大都督，在淮水上游建造浮桥。完颜亮亲自统率，号称雄兵百万，毡制帐篷一座连着一座，征鼓声不绝于耳。十月，金军从涡口渡过淮河。战争爆发前，刘钅奇负责淮东的防务，王权负责淮西地区防务。战争爆发后，王权首先放弃庐州南逃，刘钅奇也向扬州退兵，朝廷上下一片惊恐。高宗又想逃往海上躲避金军，陈康伯竭力劝说高宗亲征。本月二十五日，高宗任命知枢密院事叶义问督视江淮军事，中书舍人虞允文参谋军事。王权又从和州逃回，刘钅奇率军退回镇江，两淮地区大片土地全部沦陷。
十一月九日，完颜亮率大军到达采石附近，同时派遣另一支金军进攻瓜洲。宋高宗命令成闵替代刘钅奇，李显忠替代王权指挥对金作战。刘钅奇、王权被召回罢官。叶义问传达高宗旨意，命令虞允文前往芜湖催促李显忠交出王权的军队，并犒赏驻扎采石的宋军，当时王权的军队还驻在采石。十三日，虞允文到达采石时，王权已经离去，新帅李显忠还没有到任，敌人的骑兵已到达长江北岸，形势十分危急。宋军已没有统帅，将士们三五成群，卸除武装零星地坐在路旁，都是王权手下的败兵。虞允文考虑到坐以等待李显忠到来必将贻误国家大事，毅然招来诸将，勉励他们为国尽忠尽义，说“：金钱和高宗的命令都在这里，等立功以后给你们论功行赏。”众将士回答：“现在既然有了统帅，我们愿意与金人决一死战。”有人问“：你是受命前来犒劳部队的，并没有受命督战，如有人告发你，你难道会任凭他们责难吗？”虞允文斥责他说“：现在是国家存亡的关键时刻，我怎么能逃避不管呢？”
虞允文率部到达江边时，看到长江以北已修筑高台，高台两边相对树起了两部绛色旗帜，两面五彩旗帜，当中建有一间黄色房屋，完颜亮倨傲地坐在当中。有奸细前来报告，前一天金军杀死白马、黑马以祭上天，与众将士约定，第二天渡过长江，早晨在玉麟堂开饭，首先渡过长江的重奖黄金一两。当时金实有士兵四十万，骑兵也超过宋军一倍，宋军总共才有士兵一万八千人。虞允文因此命令宋军将士排成大阵按兵不动，将五艘藏有兵器的战船分为几部分，二艘沿长江东西两岸并列航行，一艘驻扎长江中流，隐蔽好精兵良将枕戈待战，另二艘藏在小港中，以备不测。虞允文将布置完毕时，敌军已经大声叫喊起来，完颜亮亲自摇着小红旗指挥数百艘战船横渡长江而来，眨眼之间，金军抵达长江南岸的船就达到七十艘，径直冲向为数不多力量单薄的宋军，宋军向后稍稍退却了一些。虞允文冲入阵中，抚摸着时俊的背部勉励他说“：你以胆识过人闻名四方，站立在你身后的是你的兄弟姐妹和儿女啊。”时俊立即挥舞双刀冲出军阵奋勇杀敌，将士们不怕牺牲，杀向敌军，与金军展开殊死搏斗。在长江中游宋军用海鳅船冲击金军船队，许多船只被撞沉没，金军大败，死伤过半，但太阳下山时金军还未退却。正巧溃逃的一支士兵从光州到达采石，虞允文指挥旗鼓手从山后转出来敲击战鼓，金军怀疑有宋军援兵到达，吓得立即逃跑了。虞允文又命令弓箭手从后面追赶袭击他们，大败这支溃逃的金兵，杀死金兵四千多人，杀死万户长二人，俘虏千户长五人，活捉女真士兵五百多人。那些在江中未被杀死的金兵，完颜亮对他们不出江作战极为愤怒，将他们全部击杀。虞允文把捷报报告了皇上，并犒赏三军将士，对他们说：“敌军今天大败而归，明天一定会来复仇。”半夜时分，虞允文命令部分将士，乘海船逆流而上，另外派遣部分水军主动进攻长江北岸的杨林渡口。十四日，金军果然来犯，因宋军已有准备，水陆前后夹击敌军，两军再次展开激烈战斗，宋军焚敌船三百艘，金军被打得大败而逃，虞允文再次向皇上上报捷报。完颜亮又派遣使者假传诏令以告知王权，给宋军造成他们早有宿约的假象。虞允文说“：这是敌军的反间计。”于是就写信答复说：“王权已被绳之以法，宋军新的将领将是李世辅，我们愿意在战场上与你们一决雌雄。”完颜亮看到回信后大为恼怒，立即焚烧了他自乘的龙凤车，杀死了梁汉臣和另外两位为金军造船的人，然后率军冲向瓜洲。梁汉臣，是曾向完颜亮献计渡过长江的人。
李显忠到达芜湖后，虞允文对他说：“敌军进入扬州，必然与瓜洲完颜亮所部合兵一处，京口地区没有防备，我应该去京口设防，希望将军能够分部分兵力帮助京口防卫。”李显忠派遣李捧率军一万六千人奔赴京口，叶义问也命令杨存中率部众来京口会合。虞允文回到建康，立即上奏疏说“：金军在采石遭到惨重失败，必然寄希望于在瓜洲侥幸获胜。现在我们精兵良将聚集京口，严阵以待，就能够一战而胜。请求陛下不要将宋军主力调往别处。”
二十一日，虞允文到达京口。金朝重兵驻扎在滁河，建造了三个大闸用以储水，有数尺之深，塞在瓜洲口。此时杨存中、成闵、邵宏渊几支军队都聚集在京口，总数不下二十万人，只有海鳅船数目一百只不到，战船数目仅五十余艘。虞允文建议遇风就使用战船，遇无风日就使用战舰出击，由于战舰数量不多恐怕不够使用。于是到处搜集材料冶炼钢铁，将修马船改造成为战舰，并从平江借来了一些战船，命令张深守卫滁河入口，扼住长江的咽喉，命令苗定驻守下蜀作为后援。二十七日，完颜亮到达瓜洲，虞允文与杨存中到江边视察备战情况，命令宋军将士驾驶车船在长江中流来回开动，绕金山转了三圈，其船回转速度如飞，金军张弓搭箭严阵以待，互相注视，非常惊恐害怕。完颜亮笑着说“：不过是一些纸船罢了。”一员战将跪下启奏“：宋军已做好充分准备，千万不能轻敌，恳请陛下退回扬州，以后慢慢考虑进攻宋军的计划。”完颜亮大怒，准备杀死他这个将领，该将谢罪哀求良久，最后决定鞭打他五十次。十一月二十七日，完颜亮被他的部下杀死。
当初，完颜亮驻兵瓜洲时，得知宋将李宝正由海道进入胶西，成闵率领各路军马正顺流而下，完颜亮更加气愤。回到扬州后，完颜亮召集诸将，约定三天内渡过长江南侵，否则将他们一律处死。金军将领私下商议说：“前进，有被宋军淹毙之祸，后退就必然会有被主帅就地正法的忧虑，我们应怎么办呢？”有一名叫万戴的人说：“杀死郎主完颜亮，与南宋进行和平谈判，我们返回家乡就是生路。”众将领都表示同意。完颜亮有一队身穿紫色兽毛服装的士兵，从不临阵打仗，整日跟随保卫完颜亮，众人对他们很恐惧，有一名叫萧遮巴的人欺骗卫兵说：“淮东的美玉、金银、玉帛都集中放在海陵。”故意怂恿他们去海陵寻宝，卫兵们中计被骗离开后，完颜亮被杀死。
十二月三日，金军后退三十里驻营，并派遣使者要求议和。六日，虞允文上奏疏报告战斗情况。高宗请他入宫面谈，皇上慰问、奖励他并感叹良久，对陈俊卿说“：虞允文天性忠诚厚道，是我的裴度啊。”诏令免去他护驾侍从身份，改赴两淮地区主持对金作战事宜，虞允文到达镇江后，上奏疏阐明收复两淮地区的三条计策，却没有回音。
第二年(绍兴三十二年)正月，高宗到达建康。不久商议移驾回朝，下诏任命主和派杨存中担任江淮荆襄路宣抚使，另以虞允文为副使。主战派官员大失所望，对任命杨存中意见很大，高宗于是改任虞允文为川陕宣谕使。虞允文向皇上辞行，说：“金国完颜亮已被诛杀，新主完颜褒即位时间不长，金国国内形势一片混乱，这是上天帮助我们恢复失地的大好时机。与金和议就会打击朝野上下抗金义士的抗战热情，继续抗金就会振奋朝野上下的抗金士气。”高宗认为他说得很有道理。虞允文到达四川后，与大将吴王..共商赶走金军恢复中原大计，吴王..攻取凤翔，收复巩州。金人增派大批援军争夺吴王..收复的大片土地，四川士人打算放弃这些州郡，虞允文坚持不能放弃。
孝宗即位后，朝中大臣有谈论西部战事的，认为宋军讨伐金人，东部不能超过宝鸡，北部不能超过德顺，并打算任用忠义之士守卫新收复的州郡，官军退守四川。虞允文据理力争，没有取得结果，吴王..于是退兵河池，以上建议都是参知政事史浩提出的，正是他打算放弃陕西，台谏袁季、任古也附和他的意见。虞允文再上奏疏，大概内容是：“恢复国土没有比首先恢复陕西更重要的了，陕西同新近收复州县的安危与德顺之存亡息息相关，德顺一旦放弃，进攻四川的路线就增加许多，西河州、阶州、成州，其地理位置事关重大。”虞允文先后上奏疏十五次，又写信给陈康伯，陈康伯虽与他同属主战派，却也没有回天之力。孝宗准备召请虞允文询问陕西方面的战况，参知政事史浩等人不愿意让他来，于是虞允文以显谟阁学士身份任夔州知州，不久皇上又命他上疏奏事。
隆兴元年(1163)，虞允文入宫回答皇上的提问，史浩一向主张弃地求和，等到升为右相后，立即实现他的主和政策，还亲自为孝宗拟定诏书，其中有这样的词句“：丢弃鸡肋一类没有多大意味的东西，可以消除金人的贪婪之心。”虞允文入宫上奏说“：现在有八条理由说明我们可以继续对金作战。”孝宗问到弃地问题时，虞允文用朝见时所执的手板在地上画，力陈丧失土地的利害。宋孝宗说：“这是史浩使我受害。”虞允文又以敷文阁待制身份任太平州知州，不久又升任兵部尚书、湖北京西宣抚使，又改任制置使。
当时南宋朝廷派遣卢仲贤出使金国商谈和议条件，宰相汤思退又打算放弃唐、邓、海、泗四州，孝宗亲自拟旨以唐、邓二州不是战略要地为由，下令可能考虑放弃，虞允文五次上奏疏据理力争。汤思退大怒，于是上奏说：“这都是因为和议的利害关系与虞允文没有太大影响，故他大谈误国，以此博取主战派的美名。事关国家安危的大事，岂能像演戏一样。”孝宗决定向主和派屈服。汤思退表面上请求皇上召用虞允文，实际上是想去之而后快。虞允文交上官印，仍然请求不要割让四州领土，请求辞职退休。宋孝宗下诏令虞允文以显谟阁学士身份任平江府知州。汤思退最终决定与金议和，将唐、邓二州割让金国。
隆兴二年(1164)，金兵再次入侵南宋，孝宗将汤思退等人罢官，后悔没有听从虞允文的建议。陈俊卿也举荐虞允文，认为他可堪重任，升任端明殿学士、同签书枢密院事。
乾道元年(1165)，虞允文任参知政事兼知枢密院事。这年秋天，金国派遣使者完颜仲前来谈判，金使傲慢无理，目中无人，虞允文请求杀死完颜仲，因朝臣中有不同意见而没有行动。正碰上钱端礼接受李宏玉带一事曝光，这件事牵连了虞允文，被御史章服攻讦而定罪，罢去官职，西归故乡主管宫观。
乾道三年(1167)二月，又召回朝廷，再次担任知枢密院事兼参知政事。吴王..逝世后，朝廷讨论由谁接任他的职务，皇上对虞允文说：“吴王..已经去世，汪应辰恐怕不熟悉军事，这个重任只能交给你了。以后凡事不要效法张浚的迂腐固执，军中各种事情，你应该一一亲临观察指导。”皇上立即任命他为资政殿大学士、四川宣抚使，不久又下诏令虞允文继续担任知枢密院事。虞允文回到四川仅一个月，又被召到朝廷，几个月后又去四川。太上皇宋高宗赏赐虞允文御书《圣主得贤臣颂》，孝宗亲自写跋，虞允文向皇上辞行，孝宗又将自己的一双鞋和甲胄赏赐给他。
虞允文经过郢州时，上奏疏建议修筑黄鹰山城。经过襄阳时，上奏疏建议修筑府城。八月到达汉中，又前往沔阳。九月抵达益昌。离开朝廷前孝宗下手诏要求他重视九件事，一路颠簸到达四川后，虞允文全部按皇上的指示行动，尤其将军政要事放在首位。又上奏疏报告检阅了各支部队实力后，准备按照士兵们体力强壮虚弱的次序将他们分为三部分，上等兵用以作战，中下等兵用以准备军用器械、粮草、服装等行军物质，老弱病残士兵一律辞退。此次行动共裁减士兵一万人，为国家节约军费开支四百万。对于被裁减的士兵中一些立有战功、做出了成绩的人，将他们安置在空缺位子上。兴州、洋州地区的抗金义士，都是一些民兵组织，绍兴初年大约有七万余人，大散关战役中，统帅不发给他们盔甲，却让他们在官军前面冲锋，使他们几乎全军覆灭。虞允文命令利州元帅晁公武经过仔细查对后，共得士兵二万三千九百余人。又得到陕西地区先进的弓箭制造及使用技术，参照绍兴时技术编成一本书，让将士们随身携带。虞允文又将马政交给张松，奏请依历代旧制将茶马分为川、秦司。
当初虞允文在枢密院任职时，萧遮巴曾提议清理军中士兵，虞允文曾奏请三衙把被清除的士兵加以安抚、收编。到此时，金州、洋州、兴元州从金朝归顺者二万人，他们拦在路上诉说被拘捕、囚禁的痛苦，虞允文将官田分给他们，使他们得以重振家业。虞允文打算结交敌将姜挺、白沂，并按照朝廷的指令招募巩人王嗣祖，打算与边境少数民族通好以共同对付金人，又得到蕃僧六彪等与他一同前往，可惜最后没有签订协议。当时邛、蜀十四州皆发生饥荒，向朝廷报告庄稼欠收的奏疏有六十五件，剑州将节余钱帛五万捐献灾区，朝廷没有接受。
乾道五年(1169)八月，虞允文被任命为右仆射、同中书门下平章事兼枢密使。虞允文多次推荐知名人士，如洪适、汪应辰。等到升任宰相后，将各种人才分为三等编入名册，并将所见所闻记录下来，编书为《材馆录》。虞允文所推荐的所有人才，宋孝宗皆全部收用，例如胡铨、周必大、王十朋、赵汝愚、晁公武、李焘是他们当中特别优秀杰出的代表。孝宗对兵员冗多、财政匮乏感到很忧虑，虞允文与陈俊卿商议革除三衙的各种名目繁多的杂役，裁减军队中多余的闲散人员，三军对此没有怨言。
乾道六年(1170)，陈俊卿因奏请留下龚茂良违逆了皇上的旨意，皇上极为愤怒，陈俊卿在浙江亭等待命令，两天都没有得到答复。虞允文请求面见孝宗，竭力阐述君臣之间应以礼相待的道理，多次去御榻前拜见皇上，孝宗于是任命陈俊卿为福州通判。
宋孝宗诏令范成大为祈请使，为了徽、钦二帝的宫寝陵墓的缘故。金人不同意移交给宋朝，并报告准备以三十万骑兵护送徽、钦二帝的宫寝陵墓归宋，朝野上下议论纷纷，一片惊恐，荆、襄二州统帅都请求增加兵力戍卫。虞允文对他们说“：金人刚杀死完颜亮不久，决不会轻举妄动，他们不过是故意虚张声势，吓唬吓唬我们而已。”于是奏请停止增兵。朝野舆论一片哗然，虞允文坚持己见决不动摇，以后金军果然没有入侵南下的行动。
自从庄文太子死后，王储一直未定。虞允文屡次上奏疏，言词恳切希望早立太子，以安定天下。乾道七年(1171)正月，孝宗封两宫尊号，立太子之议终于决定，下诏将第三子恭王赵忄享立为皇太子，另一皇子赵恺以雄武、保宁军节度使身份通判宁国府。皇太子不久就任临安尹。侍卫马军司牧马的地方过去一直设在临安，虞允文认为此地地势狭窄，不利于放牧，请求下令将牧地改为镇江，遇有紧急情况时骑马过江比较便利。三军将士对此颇有怨言，以后议事者以此指责虞允文。
胡铨因任台谏官评议国事过多的缘故被去职，虞允文奏请将他留在经筵。胡铨向朝廷举荐朱熹，孝宗询问虞允文是否认识朱熹？虞允文回答朱熹的才华不在程颐之下，于是朝廷召朱熹入京，朱熹没有来。检鼓院以六条规则限制压抑上书言事的人，虞允文上书力陈不能这样做，皇上听从了他的意见。
恰逢孝宗生日，金国使者乌林答天锡前来拜见，此人是金主完颜褒的女婿，态度恶劣，狂妄自大，坚持要求孝宗降低身份询问完颜褒的日常生活，向金主请安，孝宗不肯答应，乌林答天锡就跪地不起，周围的侍从惊慌失措，无以应对。虞允文请孝宗立即起驾回宫，然后告诉乌林答天锡说“：大宋皇帝既然已经起驾回宫，就不会再回此殿了，金使就随大臣们一起上朝祝寿吧。”乌林答天锡因羞惭而退出朝殿。
宋孝宗认为仆射的名称不太合适，将其改为左、右丞相。乾道八年(1172)二月，任命虞允文为特进、左丞相兼枢密使，梁克家担任右丞相。虞允文曾经举荐梁克家代替自己，皇上没有同意。这个月，虞允文又以病要求解除自己的重要职务，又称赞梁克家老成持重有宰相的气度，到这时，梁克家开始与虞允文一同为相。孝宗又下手诏问虞允文“：我准备提拔一名武将任枢密使，你认为曹勋如何？”虞允文说曹勋人品卑劣，气量狭小，无特殊才能，不可任用此人。不久，皇上任命张说任签书枢密院事，右正言王希吕与台谏官交相弹劾张说。孝宗对王希吕非常厌恶，手诏将王希吕发配到险恶的边远地区。虞允文扣留了手诏，皇上愈加愤怒。梁克家说“：王希吕评论张说，是台谏官的责任，虞允文救王希吕，是为了国家的大体着想。”孝宗怒气逐渐消去，最终减轻了对王希吕的惩罚。
四月，御史萧之敏上书弹劾虞允文，虞允文上奏章等待定罪。皇上去德寿宫拜见高宗，太上皇说：“采石大捷时，萧之敏在哪里？不要听从他的意见，将萧之敏罢官赶走。”孝宗因这件事准备罢黜萧之敏，并在折扇上题诗以挽留虞允文。虞允文认为萧之敏品行端正，请求皇上将其召回宫中以广开言路。孝宗深感他为人宽厚善良，命曾怀将这件事记载在《时政记》里。
宋孝宗诏令选拔谏官，虞允文推荐了李彦颖、林光朝和王质三人，他们三人皆为人耿直、光明磊落，并以文学才能著称于当时，因此虞允文荐举他们，很长时间却没有答复。曾觌也推荐一人，立即赐进士，提拔为谏议大夫。虞允文、梁克家据理力争，皇上不肯听从。虞允文请求离职，被授予少保、武安军节度使、四川宣抚使，并加封为雍国公。向孝宗辞行，孝宗告诉他进取的方法，并期待着有一天与他会师于河南。虞允文说“：将来要防备内外不能遥相呼应。”皇上回答：“假如蜀军出征而我们迟迟不率军队出发，就是我有负于你；假如我率军出征而你迟迟未能响应，就是你有负于我。”孝宗亲自来到正宫，敬酒赋诗，以隆重的仪式欢送他，并赐给他宗庙祭器。
乾道九年(1173)，虞允文到达四川。当时驻川官军每月仅发给一石五斗米，无法赡养家人，虞允文捐献宣抚司三十万钱用以换米，按官兵家中人口数目增加供给。虞允文订立七条民户养马以供军用的规则，从民间搜求大批良马，奏请皇上同意后挑选大批青壮年进行训练，作为战争储备力量。当初，北部边界有一名叫寇邻的人，有部众数万人，活动在商州、虢州一带，虞允文主持朝政后他按时向南宋政府交纳赋税，等到虞允文到达四川后，再次派人致书虞允文，虞允文没有立即答复他们，仅仅打算拖延羁縻他们。时间不长，寇邻的密谋被金人发觉，金人秘密派人将他逮捕。叶衡上奏疏向孝宗报告了这件事，虞允文上奏为自己辩解，并请求去职，只领俸禄，没有得到答复。
孝宗曾经对虞允文说：“靖康之耻，我将与丞相共同雪洗。”又说“：我只有功业不如唐太宗，富庶不如汉文帝、汉景帝。”因此虞允文向皇上许诺共同恢复中原，以图统一大业。虞允文到达四川一年后，仍没有确定进兵日期。宋孝宗赐密诏催促他，虞允文回答军需还没有准备完毕，皇上很不高兴。
淳熙元年(1174)，虞允文去世。四年后，孝宗到白石举行阅兵大典，看到士兵都年轻力壮，很有战斗力，对手下大臣说“：这都是虞允文实行优胜劣汰，对士兵进行裁减淘汰的结果。”不久下诏追赠虞允文太傅，赐谥“忠肃”。
虞允文身材高大，相貌雄伟，身高六尺四寸，为人慷慨，光明磊落，胸怀大志，一言一行都很有分寸，一看便知是可以委以重任的人才。他早年曾以文学才能效力于台阁，晚年时时政日益艰难，前后出任将相近二十年，孜孜不倦，忠诚勤恳，任劳任怨，没有任何怨言。他曾经为《唐书》、《五代史》做注释，收藏在他家中。著有诗文十卷，《经筵春秋讲义》三卷，《奏议》二十二卷，《内外志》十五卷，皆流传于后世。
虞允文有子三人：公亮、公著、杭孙。孙八人，都爱好学习、研究，其中只有刚简最为知名，嘉定中叶，帝屡召不至，官终利路提点刑狱。
