王俭字仲宝，是琅笽临沂人，祖父昙首，曾任宋的右光禄。父亲王僧绰，官至金紫光禄大夫。王俭出生时，其父遇害，叔父僧虔收养了他。过了几年，他便袭封爵位为豫宁侯，受封的时候，王俭流涕呜咽。
王俭幼时便很有神采，专心笃学，手不释卷。丹陽尹袁粲知道了他的名声，便说给宋明帝，明帝便把陽羡公主许配给王俭，拜官驸马都尉。皇上因为王俭的嫡母武康公主参与了太初年间的巫蛊事件，不能享受公主的婆婆的名义，要开墓分葬，王俭便通过有关人士向皇上自陈，并暗中以死请求皇上，这事才算过去。
起初王俭任秘书郎，太子舍人，破格提拔为秘书丞。他上表请求校阅古代典籍，仿照《七略》撰写《七志》四十卷，上表献给皇上，此表的辞采非常典雅。又撰定《元徽四部书目》。母亲去世，王俭服丧结束后被任命为司徒右长史。依照《晋令》，公府长史要穿朝服，宋大明以来穿红衣服。王俭上书说应该恢复旧规矩，当时讨论没被通过。
苍梧王暴虐，王俭很忧惧，便向袁粲要求出京做地方官，援引晋新安公主婿王献之为吴兴太守的先例，王俭被补为义兴太守。后还朝任黄门郎，转任带吏部郎。升明二年(478)，迁任长兼侍中，他考虑到父亲最后一任也是这个职务，坚决辞让了。
王俭察知太祖(萧道成)为人雄异，便先做了太祖领军府的衣裾，太祖任太尉后，便援引王俭为右长史，恩礼隆重而且亲密，受到专门任用。转任左长史。后来皇上授太祖太傅之职，也是王俭活动的结果。王俭少年时便有做宰相的抱负，人们在谈论时也都很推许他。当时即将举行禅位大典，王俭佐命，所有礼仪诏策，都出王俭之手，褚渊只写了禅诏文，还让王俭参与修改。齐王府开始设置建制时，王俭迁任右仆射，领吏部，当时才二十八岁。太祖曾从容对王俭说：“我现在要以青溪为鸿沟。”王俭回答说：“天应民从，但愿不要有楚、汉争斗之事。”建元元年(479)，改封王俭为南昌县公，食邑二千户。次年，转任左仆射，领吏部之职仍旧。
皇上拆掉了宋明帝的紫极殿，用它的材料建宣扬门。王俭与褚渊及叔父王僧虔连名上表谏止说：“我们认为德是立身的基础，俭是行走的车船。晋代将建春台时，公卿们都发议论，汉代要造北宫时，大臣们都来规劝。这二个君主，一个是列国常侯，一个是守文中主，尚且能够乐于接受谏诤，何况陛下是圣哲天子呢。我们这些人的责任重大，愿意就以前的诏令，发表点意见。陛下自从登基御宇以来，简约节省的品德已经照耀天下了。外面建造的乾华殿，朴素简洁，而现在要用紫极殿的旧材料来建宣陽门，我们便有些弄不明白了。我们觉得把心病转到胳膊腿上来，这不是良医的高明；害怕影子脚印便发足奔跑，也不是获得安静的方法。况且农活正忙，田园事多，现在反而停下争取丰收的劳动，来大兴土木之役，这不是宣扬您的伟大品德所该做的。如果说门在宫南，属于重陽之处，年月稍久，渐渐破旧的话，这只要适当修理调整一下就行了，不必大事改作。如果我们的建议有道理的话，就请付诸施行。”皇上手诏表示采纳并予以奖赏。宋朝时京城的外六门设有竹篱，这年初，有人挖到了白虎樽，传说“白门三重门，竹篱穿不完”。皇上鉴于这话，要改建都墙。王俭又谏止，皇上答复说：“我要让后世无以复加！”当时朝廷初奠基，一切制度都在草创之中，王俭懂得旧事，问无不答。皇上曾感叹说：“《诗》中说：‘维岳降神，生甫及申。’现在上天也为我生了一个王俭呀！”
就在这一年，王俭上表请求解除他的吏部职务，表中说：“臣下我考察了古代的身边的君臣关系，发现没有谁能像我这样得到陛下如此的恩幸。为什么这样说呢？子房碰到汉后，公达逢着魏君，史书上都当作美谈，君子们都称颂他们的高义。二臣都怀有王佐之才，受到这样的待遇也不是什么偏一爱一，而两位君主专权威武，未免不够宽裕，怎么能够和平常之人，到宽弘大量的对待，同日而语呢？这些我都铭记在心，感戴莫名，即使让我倾家丧命，只要能对陛下有一丁点儿益处，我也应该尽力驱驰，报答万一，岂能允许有一丝儿形饰，碌碌无为？至于选拔各类人才合理任用，这乃是风教的首要工作，玉石朱素，都要同此判定。我不是说我的工作没有一点一毛一病，但我品裁评定，的确是不曾懈怠。虽然我自南齐书己很努力，但由于识力有限不能称意，如果再让我这样不合适地干下去，彼此都会被壅塞；如果让我专心于本职工作，那还差不多能够胜任。况且前代掌管选辟工作，未必其在代来，为什么现在，非我不可呢？我这倾心为国，并不是什么退让，既然我们关系休戚相联，难道需要用地位和职务才能表明亲密么？陛下如果不能根据这个道理满足我的愿望，那么我以后就不敢再希望得到您的特别一爱一护了。频频冒犯您的威严，甘愿受到您的惩处。”皇上答应了。加王俭侍中，他坚决辞让，又恢复了他的散骑常侍之职。
皇上举行私宴招待几个大臣，让大家各献技艺。褚渊弹琵琶，王僧虔弹琴，沈文季唱《子夜》歌，张敬儿跳舞，王敬则表演了空中接刀的杂技。王俭说：“臣下我什么也不通，只知道背诵书本。”于是跪在皇上跟前背诵司马相如的《封禅书》。皇上笑道：“这是盛德君主的事情，我哪里担当得起。”后来皇上让陆澄背诵《孝经》，从“仲尼语”诵起。王俭说：“陆澄真是所谓博而寡要，我请求背诵。”于是背诵了《君子之事上》章。皇上说：“很好！现在更觉得张子布没什么稀奇的了。”
不久王俭便以本官领太子詹事，加兵二百人。皇上驾崩，，在遗诏中任命王俭为侍中、尚书令、镇军将军。世祖即位，配给王俭班剑仪仗二十人。永明元年(483)，王俭进号卫军将军，参掌选事。永明二年，领国子祭酒、丹陽尹，本官仍旧。配给鼓吹一部。永明三年，领国子祭酒。叔父王僧虔去世，王俭上表请求解职，皇上不批准。又领太子少傅，本州中正，解除丹陽尹。按照旧规定太子敬待二傅是一样的，到这时朝廷中讨论对待少傅用宾友之礼。
这一年，一精一简了总明观，在王俭的宅第里开学士馆，把四部书全都充实到王俭家来，又诏王俭以家为府。永明四年(486)，以本官领吏部。王俭长于礼学，一精一通朝仪，每次大讨论，引证先儒言论，没有人能比过他。入坐丞郎，没有谁能说别的。令史来谘事，宾客满席，而王俭应接评判，毫无留滞。十天到学馆一次，监试学生，满院子的读书人，剑卫令史，仪伏排列，场面十分盛大。王俭还设计了解散髻，斜插帻簪，朝野羡慕，互相效仿。王俭经常对人讲：“江左风一流宰相，惟有谢安。”言下之意自己就像是谢安那样的风一流宰相。世祖对王俭非常信赖，选拔官员，王俭只要奏请没有不批准的。
永明五年(487)，世祖让王俭即本号开府仪同三司，王俭坚决辞让。永明六年，又重申前命。此前，皇上诏王俭三日一还朝，尚书令史出外咨询事情，皇上考虑到这样太麻烦，又诏王俭回到尚书下省，每月只有十日出外接受谘询。王俭请求解除自己在吏部的职务，皇上不批准。永明七年，又上表说：“臣下我近年来要求辞去在吏部职务，要说的陛下也都知道了，有关原因也在您身边多次陈述，我的赤诚朝野都晓得，人们在谈论时也没说什么不好，可是陛下您就是不答应。我听人说过智慧还不如明时，这话正像是针对我说的一样。像我这样愚妄平庸之人，无足取用，只是赶上了好机会，遂登上了高位。然而树叶该落了，不必借助风力；太陽该昏暗了，不必等待萤烛的光亮。暗的去明的来，五德交替运行，圣人不是孤立地治理天下，八元一齐放射光辉。我适逢其时，叨得其位，经常总管重要部门，并且负责吏部工作。已经经历了两朝十年。如今人也老了，后辈们也长大了。人物迁移，逝者将半。也没能选择到优秀人才和突出官员。我活着时算不了能官，死后还会招来《大车》之讥。至于珥貂衣衮等礼仪方面的问题，四辅六教等文教方面的工作，虽然自知不很胜任，但只要一精一简了我的职务，即使责任重大，我还是可以勉力而为的。至于品评人物选择人才，我最害怕堵塞了人才的道路。虽然我夜以继日殚一精一竭虑，多次尝试，都不成功。我占据这个职位岁月之久，近世很少有人能比。不仅自己满怀愧悔，而且还要影响到国家。如今满朝人物，群才争妍，可以经过广泛选拔授以此职，自古以来便是如此。我冒犯威严陈述这些，希望皇上一定要给予体谅。至敬无文，我就不敢多写了。”皇上批准了。改领中书监，还参与吏部的一些工作。
就在这一年，王俭生病了，皇上亲临探视，去世时才三十八岁。吏部尚书王晏在启文中说到了王俭的丧礼问题，皇上答复说：“王俭年富德盛，志用正隆，岂料暴疾，未有及时救护，便忽然去世，让我痛酷弥深。艰难的时期，他离开了我们，但他的情义我们永远不忘。想来悲切，不能自胜。痛苦又有什么办法呀？他去了又能有什么办法呀！”下诏命卫军文武官员及中央机关各部门军队仪仗一律停止活动等待举行葬礼。
又下诏说：“慎终追远，是历朝历代的通规，褒德纪勋，更是严格的常策。已故侍中、中书令、太子少傅、领国子祭酒、卫军将、开府仪同三司、南昌公王俭，体道秉哲，风宇渊旷。从少年时代起，便清誉远扬。登朝任职以后，更是万民瞩望。皇业初创时期，他就参与奠基，又协助君主发展和巩固政权；南齐书宏伟的谋略盛大的功德，都将载入史册刻铭勒石。后来协助我统治天下，功绩卓著。他的忠诚和美德，都是光辉的榜样。文化教育庄严肃穆，百官政务有条不紊。他是令人景仰的大臣，我们对他一直怀有深厚的感情和重大的期望。正当他正位论道，不断纠正帝王的职责，辅弼大化，襄赞隆平之时。可惜天命不延，忽焉逝世，这让我心灵震恸。特追赠王俭太尉，侍中、中书监、公等职爵仍旧，赐给符节，加羽葆鼓吹，增加班剑仪仗为六十人。葬礼比照已故太宰文简公褚渊的先例办理。冢墓棺奢由官家营办。谥号为‘文宪公’。”
王俭没什么嗜欲，一心扑在国务上，车马服装都很朴素，家中没有留下什么钱财。他的著作手迹，很受当时人看重。少年时撰写《古今丧服集记》并文集，都在世间传播。当今皇上受禅，下诏为王俭立碑，降爵为侯，食邑千户。
本史作者认为：褚渊、袁粲都接受了宋明帝顾命之托，袁粲既已为刘宋死节，而褚渊便经常受到世人的指责。请让我来讨论一下这个问题：汤、武的行为，是和尧、舜、伊、吕的心思很不一样的，也不同于稷、契。除了这些人，其他人的风范就不足为证了。自从金、张世族，袁、杨鼎贵，于是尽忠服义，都由汉氏来决定，华美的文词受到重视，便起于这个时代。魏氏君临天下时间短促，沿用前代。也养成了后朝。晋氏登上皇位，跟着干的那帮人，名义上虽说是魏臣，实际上已属于晋氏，所以主位虽改，臣任如初。从此世禄之盛，已习惯为老标准，而羽仪之隆，也受到人们的羡慕，君臣之节，徒有虚名。贵仕素资，皆由门庆，平流进取，坐至公卿，于是便知殉国的感情是有根据的，而保家的念头最应关切。于是天下迅速变革，一宠一贵才能到手，陵阙虽然不同，看上去如同一样。中行、智伯，未有异遇。褚渊在泰初时期王业初运时，清正的前途已经显现，数年之间，不愁没有地位。既然是由于民望所归而被引用，当然也可以因民望所归而离开他(宋氏)。给人的爵禄很轻，而要人长期为自己效力，用恩不专，却要人为自己拼命，这便是做君主的共同误会，也是一般人的不足。
赞语：褚公呀褚公，你的道德早已内充。人们的评价虽然不一致，但你的家道照样兴隆。辅世主从容不迫，留下的话一柄一你可以不听。文宪呀文宪，你有美好的风仪和辅相的资质。你称述霸业王道，理顺了各种典礼。两朝君主都对你寄以厚望，你赢得了宫廷上下的深情厚意。
