王儉，字叫仲實，生下來以後他的父親王僧綽就遇害了，被叔父王僧虔所收養。幾年後世襲爵位豫寧縣侯。拜祭接受茅土的時候，流下眼淚，哭聲嗚咽。年幼時努力學習，手不釋卷。賓客中有的加以稱頌讚美，王僧虔說：“我不擔心這孩子將來沒有名聲，正是怕他名聲太大呀。”於是親手寫了崔子玉的《座右銘》贈給他。丹陽尹袁粲聽到了他的名聲，等見了他以後說：“這是宰相的家門。鬆柏豫章雖然還小，但是已經有棟梁的氣象了，終究要擔當國家大事。”便告訴了宋明帝，選他與陽羨公主結婚，任命為駙馬都尉。皇帝認為王儉的母親武康公主參與了太初年(453)的巫蠱之事，不可以做婆母，打算挖掘墳墓分開埋葬。王儉托人代自己表達意見，秘密地以死相請，所以事情沒有辦成。
十八歲時，除去平民布衣出任秘書郎、太子舍人，越級升任秘書丞。依照《七略》寫成《七誌》四十卷，上表獻給朝廷。又寫成《元徽四部書目》。母親去世服喪三年，服喪結束後，擔任司徒右長史。按照晉朝的法令，公府中的長史也穿朝服，宋朝大明(457～464)以來穿朱紅衣服。王儉上書說明應該恢複舊製，當時朝中討論沒有批準。後來蒼梧王暴虐，王儉告訴袁粲請求外出任職，援引晉朝新安公主的丈夫王獻之任職吳興為例，補任他為義興太守。
升明二年(478)，擔任長兼侍中，因為他的父親是在這個職位上去世的，所以堅決辭讓。在此以前，齊高帝做宰相，打算援引當時的賢者參與共創大業，那時候謝擔信任長史，高帝夜間召見謝籫，支開別人和他談了很久，謝籫沒有說話。隻有兩個小童在玩弄蠟燭，高帝顧慮謝籫為難，便拿了蠟燭讓小童走開，謝籫還是沒有說話，高帝於是呼喊左右來人。王儉平時知道高帝雄奇異常，後來請求在閑暇的時候告訴給高帝說：“功勞高的人不給獎賞，自古以來並非一人。以您今日的地位，想要麵朝北方而做別人的臣子，難道可以嗎？”高帝嚴肅地將他打斷，而神采和悅。王儉於是又說：“王儉蒙受您的特殊看待，所以才說出了難以說出的話，為什麽卻這樣深深地拒絕？宋朝景和、元徽時代的皇帝那麽荒婬暴虐，如果不是您怎麽能夠平安地渡過？但是人情淡薄，不能持久，您如果再略微地加以推脫，那麽在世人中的威望就失去了，難道隻是大業永遠毀掉，就是七尺之軀哪裏可以保全？”高帝笑著說：“您的話不是沒有道理。”王儉又說：“您有現在的名位，所以是經常宰相，應該禮貌地拒絕各地諸侯，微微作些變革的表示。應當先讓褚公知道，我請求領命前往。”高帝說：“我應當自己前往。”過了不兩天，高帝自己去找褚彥回，長談了許久，才對他說：“我做了個夢說是應當得官。”褚彥回說：“現在授的官剛剛這樣，恐怕一二年間不能就給提升。而且吉利的夢未必就立即實現。”高帝回來告訴了王儉，王儉說：“褚彥回這是沒有明達事理。”虞整當時是中書舍人，對文辭十分精通，王儉便自己告訴了虞整，讓他寫作詔書。等到高帝做了太尉，任用王儉為右長史，不久轉為左長史，專門受到任用。重大慶典將要舉行，禮節儀式詔令策書，都出自王儉，褚彥回隻寫祭祀詔書，又讓王儉參與謀慮製定策略。
齊台建立，王儉升為尚書右仆射，兼管吏部，當時年齡二十八歲。提拔了許多人。當時有個姓譚的士人，去拜見王儉請求做官，王儉對他說：“齊桓公消滅了譚國，怎麽還會有您？”回答說：“譚子逃奔到莒國，所以自然有我。”王儉讚賞他善於引證，終於得到了官職。高帝曾經從容地對王儉說：“我現在應當以青溪作為鴻溝。”王儉答道：“上天相應，人民歸順，恐怕不會有楚、漢相爭的事情。”
當時朝廷禮儀剛剛在創立，衣服的規則，還沒有固定的標準，王儉提議說：“漢景帝六年，梁王入朝，前來拜謁的中郎身穿金貂衣服出入殿門。左思《魏都賦》說‘陪伴的人非常眾多，金貂服飾一齊閃光’，這是藩國的侍臣穿貂皮衣服的明文。晉朝的《百官表》上說‘太尉參軍四人，上朝穿戴武冠’，這又是關於宰相府的明文。”又懷疑百官敬奉齊王的禮儀，王儉又說：“晉王接受天命，勸進的表章中說，‘衝等情意眷眷’，直稱名字就應該盡到禮儀。”而世子的禮製沒有定下來，王儉又說：“《春秋》記載曹國的世子來朝見，以上公的禮儀來對待，比他的國君低一等。現在齊公的爵位是九命，禮儀居各藩國之首，世子也應該與眾不同。”全都照他說的執行。世子鎮守石頭城，仍然把它作為世子宮，王儉又說：“魯國有靈光殿，是漢朝以前的例子，處理政事為崇光殿，外麵的房舍為宣德殿，以散騎常侍張緒為世子詹事，軍馬服飾全部依照東宮的製度。”
高帝登上帝位，與王儉議論輔佐承受天命的功臣，從容地對他說：“卿的謀劃之功，沒有人可以相比，卿隻有二千戶，我心裏覺得太少。趙充國還能自己薦舉去西陵任職，何況卿和我友情不同尋常！”王儉說：“過去宋太祖創業，輔佐接受天命的各位大臣，封爵不過二千戶，拿我和他們相比，隻覺得超過了他們。”皇上笑著說：“張良推辭封侯，哪能超過這呢！”
建元元年(479)，改封他為南昌縣公。當時都城雜亂，而且有很多奸人盜賊，皇上打算立符編伍，家家互相檢查。王儉勸諫說：“京城繁盛，四方匯集，如果一定要拿符信，事情既煩瑣，道理上也不夠開通，正如謝安所說的‘不這樣怎麽能成為京師’。”於是便停止了。這一年，有關部門奏請製定盛大郊祭的禮儀，王儉認為應該在今年十月對宗廟進行大祭，從此以後，過五年再作大祭。建元二年正月初四，在南郊祭天，就在這一天回來在明堂舉行了祭禮；又在十四日在北郊祭天，都沒有其他配享。高帝聽從了他的建議。第二年轉任左仆射，像從前一樣兼管人才選拔。
起初，宋明帝的紫極殿用的是珍珠簾幕綺羅柱子，上麵裝飾著金玉，是江東所沒有的，高帝打算用這些材料築造宣陽門，王儉與褚彥回以及叔父王僧虔聯名上表進諫，皇上親手撰寫詔書采納了他們的意見。宋朝時代，宮門外六門牆上設有竹籬，這年年初，有人發掘出了一個白虎樽，上麵有字說“白門三重門，竹籬穿不完”。皇上對這些話頗有感觸，便改造另立宮牆。王儉又進諫，皇上回答說：“我想讓後世的人無以複加。”朝廷剛剛建立，製度正在創建，王儉對所有的谘詢無不作出決斷。皇上常說：“《詩經》上說‘嵩嶽之神顯靈聖，呂侯申伯降人間’，今天則為我生了王儉啊！”這年他堅決請求解除選拔人才的職務，被批準。
高帝駕臨樂遊苑的宴會，對王儉說：“卿愛好音樂，為什麽和朕相同？”王儉說：“沐浴著唐堯時代的風氣，則家家都有德行，而既然同在齊國聽《韶》樂，則都會不知肉味。”高帝稱讚回答得妙。後來駕臨華林園宴會，讓各人發揮自己的技藝。褚彥回彈琵琶，王僧虔、柳世隆彈琴，沈文季唱《子夜來》，張敬兒跳舞。王儉說：“臣什麽也不會，隻知道背誦書本。”於是跪在皇上前麵背誦了司馬相如的《封禪書》。皇上笑著說：“這是歌頌盛德的事情，我怎麽可以承當！”後來皇上讓陸澄背誦《孝經》，從“仲尼居”開始，王儉說：“陸澄可以說是淵博而缺乏要領。臣請求背誦一段。”於是背誦了《君子之事上章》。皇上說：“很好，這樣張子布就不再讓人覺得奇特了。”這時侯王敬則脫掉朝服裸露著上身，用大紅絲紗纏上發髻，揮舞著胳膊表演拍張雜技，叫喊聲震動左右。皇上不高興地說：“哪見過三公這個樣子！”回答說：“臣依靠拍張，所以得了三公的職位，不可忘了拍張。”當時認為是著名的對答。
王儉不久以本官兼做太子詹事，增加衛兵三百人。當時皇太子妃去世，左衛將軍沈文季原來是她的宮中官員，不清楚是否應該服喪。王儉論證說：“漢、魏以來，宮中的臣僚要首先具備仆人的品質，具體表現在三個方麵。生前既然盡力敬奉，死後哪能不給服喪？從前庾翼死了妻子，王允、滕含還說府中官吏應有如對諸侯的妻子‘小君’的服喪，何況是宮中臣僚的重要名分，應該依照禮數為舊時君上的妻子服‘齊衰’三月而後除去。”皇上逝世，遺詔指示以王儉為侍中、尚書令、鎮軍。每次上朝，令史總有三五十人隨同，谘詢辨析，不曾阻滯。褚彥回當時做司徒、錄尚書，笑著對王儉說：“觀看讓他們分析評判十分快樂。”王儉說：“他們之所以能夠合乎我的心意，實在是由於具備明公您不用言語的自然教化。”武帝即位，配給他儀仗二十人，晉升封號為衛將軍，掌管選拔人才的事情。當時有關部門認為前代繼承皇位，有的仍借以前的郊祭祭天祈年，有的另外進行郊祭重新開始，晉、宋兩朝以來，不曾劃一。王儉說：“晉明帝太寧三年(325)在城南郊祭，當年九月逝世；漢成帝即位，第二年改元，也進行郊祭。簡文帝鹹安二年(372)在城南郊祭，當年七月逝世；孝武帝即位，第二年改元，也進行了郊祭。宋朝元嘉三十年(453)正月在南郊祭天，二月逝世；孝武帝繼承皇位，第二年又進行了郊祭。這是兩代的明確例子，大略可以仿照。現在聖明的君主繼續大業，幽明兩界眾心歸依，要講教化，則頻繁郊祭也不嫌多，要論事務，則國家年號剛剛改換，祭天並以祖宗配享，孝、敬兩者兼求。看來明年正月適於在南北二郊奉酒食祭天，並虔誠地在明堂祭祖。從此以後，依舊是隔一年一次。”有關部門又提出，明年正月上旬的辛日應在南郊祭天，而立春在上旬的辛日之後，郊祭在立春以前，這是值得懷疑的。王儉說：“宋朝的景平元年(423)正月初三辛醜在南郊祭天，這月的十一日立春。元嘉十六年(439)正月初六辛未在南郊祭天，這月的初八立春，這些都是近代的明顯例證。”都遵從了他的說法。
永明二年(484)，他兼任丹陽尹。三年，兼任國子祭酒，又兼任太子少傅。舊時太子以同樣的禮節敬重太、少二傅，到現在朝廷議論以賓客朋友的禮節接待少傅。宋朝時代國家學校廢毀，沒有機會修複，宋明帝泰始六年(470)，設置總明觀以聚集學士，有的稱之為東觀，設置了東觀祭酒一人，總明訪舉郎二人；儒、玄、文、史四科，每科設置學士十人，其餘令史以下的職位各有差別。這一年，因為國家學校已經建立，撤銷了總明觀，在王儉的宅院裏開設了學士館，以總明觀的四部圖書充實進來。又詔令王儉以家為府衙。四年，以本官兼管吏部。在此以前宋孝武帝喜愛文章，天下都以文章相比高，不以專攻經書為正業。王儉幼年就留意《三禮》，尤為擅長《春秋》，發言講論，即使倉促必合儒教，因此官紳紛紛趨附，都很推尚經學，儒教由此大興。何承天《禮論》三百卷，王儉謄抄為八帙，又另外抄錄條目為十三卷。朝廷儀式、舊時典章，晉、宋以來施行的舊製度，依次記錄，熟練回憶，沒有遺漏掉的。因此在朝值班處理事情，決斷有如流水。常常廣博議論多方引證，先前的儒者很少有這樣的例子，朝廷的各級官員，沒有能超過的。令史詢問事情，賓客滿席，王儉應接講解，毫無停滯。十天回來一次，監考學生，戴著頭巾站在庭堂中，並有帶劍的侍衛和令史，儀容很盛。他鬆散開頭巾，斜插著簪子，朝廷中和社會上的人們都很羨慕，群起仿效。王儉常常對人們說：“江東的風流宰相，隻有謝安。”大概是用來比喻自己的。武帝非常重用和信賴他，在對士人的選用上，他的奏議沒有不批準的。
永明五年(487)，王儉在本職基礎上加封開府儀同三司，他堅決推讓。六年，重申以前的任命。在此以前詔令王儉每三天回朝一次，尚書令史要出外去向他谘詢事情，皇上覺得往來很麻煩，詔令王儉回到尚書下省，每月允許十天外出。王儉啟奏請求解除選拔人才的職務，皇上不答應。七年，他又上表堅持請求，被批準了，改為兼管中書監。參與掌管選拔人才的事情。這年他生了病，皇上親自前去探望。後來去世，年齡三十八歲。詔令禁衛軍的文武官員以及台閣配備的兵士儀仗，都參加陪葬。又詔令追贈他為太尉，加賜褒羽、樂隊，增加儀仗為六十人，葬禮依照太宰文簡公褚彥回的舊規模。加諡號為文獻公。
王儉很少嗜好和欲望，專以治理國家為自己的事業，車馬衣服樸素隨便，家中沒有遺留的財物。他的撰著和批示，為當時的人們所重視。他少年時代便有成為宰相的誌向，曾寫詩說：“稷契匡虞夏，伊呂翼商周。”生了兒子，字叫玄成，取仍然世代為宰相的意思。寫有《古今喪服集記》和文集，一起流行在世上。梁武帝接受禪讓，詔令為王儉立碑，封為侯爵。
王儉的弟弟叫王遜，宋朝升明年間(477～479)擔任丹陽丞，由於劉彥節的事情被告發，沒有受到封賞。建元初年，擔任晉陵太守，曾說過怨恨的話。王儉恐怕招來禍患，通過褚彥回把這事上報，中丞陸澄據實奏表檢舉。詔令讓王儉盡忠報效朝廷，特發判決書寬免王遜，把他流放到遠方的永嘉郡，他在路上被朝廷殺死。
長子王騫繼承了王儉的爵位。
十八歲時，除去平民布衣出任秘書郎、太子舍人，越級升任秘書丞。依照《七略》寫成《七誌》四十卷，上表獻給朝廷。又寫成《元徽四部書目》。母親去世服喪三年，服喪結束後，擔任司徒右長史。按照晉朝的法令，公府中的長史也穿朝服，宋朝大明(457～464)以來穿朱紅衣服。王儉上書說明應該恢複舊製，當時朝中討論沒有批準。後來蒼梧王暴虐，王儉告訴袁粲請求外出任職，援引晉朝新安公主的丈夫王獻之任職吳興為例，補任他為義興太守。
升明二年(478)，擔任長兼侍中，因為他的父親是在這個職位上去世的，所以堅決辭讓。在此以前，齊高帝做宰相，打算援引當時的賢者參與共創大業，那時候謝擔信任長史，高帝夜間召見謝籫，支開別人和他談了很久，謝籫沒有說話。隻有兩個小童在玩弄蠟燭，高帝顧慮謝籫為難，便拿了蠟燭讓小童走開，謝籫還是沒有說話，高帝於是呼喊左右來人。王儉平時知道高帝雄奇異常，後來請求在閑暇的時候告訴給高帝說：“功勞高的人不給獎賞，自古以來並非一人。以您今日的地位，想要麵朝北方而做別人的臣子，難道可以嗎？”高帝嚴肅地將他打斷，而神采和悅。王儉於是又說：“王儉蒙受您的特殊看待，所以才說出了難以說出的話，為什麽卻這樣深深地拒絕？宋朝景和、元徽時代的皇帝那麽荒婬暴虐，如果不是您怎麽能夠平安地渡過？但是人情淡薄，不能持久，您如果再略微地加以推脫，那麽在世人中的威望就失去了，難道隻是大業永遠毀掉，就是七尺之軀哪裏可以保全？”高帝笑著說：“您的話不是沒有道理。”王儉又說：“您有現在的名位，所以是經常宰相，應該禮貌地拒絕各地諸侯，微微作些變革的表示。應當先讓褚公知道，我請求領命前往。”高帝說：“我應當自己前往。”過了不兩天，高帝自己去找褚彥回，長談了許久，才對他說：“我做了個夢說是應當得官。”褚彥回說：“現在授的官剛剛這樣，恐怕一二年間不能就給提升。而且吉利的夢未必就立即實現。”高帝回來告訴了王儉，王儉說：“褚彥回這是沒有明達事理。”虞整當時是中書舍人，對文辭十分精通，王儉便自己告訴了虞整，讓他寫作詔書。等到高帝做了太尉，任用王儉為右長史，不久轉為左長史，專門受到任用。重大慶典將要舉行，禮節儀式詔令策書，都出自王儉，褚彥回隻寫祭祀詔書，又讓王儉參與謀慮製定策略。
齊台建立，王儉升為尚書右仆射，兼管吏部，當時年齡二十八歲。提拔了許多人。當時有個姓譚的士人，去拜見王儉請求做官，王儉對他說：“齊桓公消滅了譚國，怎麽還會有您？”回答說：“譚子逃奔到莒國，所以自然有我。”王儉讚賞他善於引證，終於得到了官職。高帝曾經從容地對王儉說：“我現在應當以青溪作為鴻溝。”王儉答道：“上天相應，人民歸順，恐怕不會有楚、漢相爭的事情。”
當時朝廷禮儀剛剛在創立，衣服的規則，還沒有固定的標準，王儉提議說：“漢景帝六年，梁王入朝，前來拜謁的中郎身穿金貂衣服出入殿門。左思《魏都賦》說‘陪伴的人非常眾多，金貂服飾一齊閃光’，這是藩國的侍臣穿貂皮衣服的明文。晉朝的《百官表》上說‘太尉參軍四人，上朝穿戴武冠’，這又是關於宰相府的明文。”又懷疑百官敬奉齊王的禮儀，王儉又說：“晉王接受天命，勸進的表章中說，‘衝等情意眷眷’，直稱名字就應該盡到禮儀。”而世子的禮製沒有定下來，王儉又說：“《春秋》記載曹國的世子來朝見，以上公的禮儀來對待，比他的國君低一等。現在齊公的爵位是九命，禮儀居各藩國之首，世子也應該與眾不同。”全都照他說的執行。世子鎮守石頭城，仍然把它作為世子宮，王儉又說：“魯國有靈光殿，是漢朝以前的例子，處理政事為崇光殿，外麵的房舍為宣德殿，以散騎常侍張緒為世子詹事，軍馬服飾全部依照東宮的製度。”
高帝登上帝位，與王儉議論輔佐承受天命的功臣，從容地對他說：“卿的謀劃之功，沒有人可以相比，卿隻有二千戶，我心裏覺得太少。趙充國還能自己薦舉去西陵任職，何況卿和我友情不同尋常！”王儉說：“過去宋太祖創業，輔佐接受天命的各位大臣，封爵不過二千戶，拿我和他們相比，隻覺得超過了他們。”皇上笑著說：“張良推辭封侯，哪能超過這呢！”
建元元年(479)，改封他為南昌縣公。當時都城雜亂，而且有很多奸人盜賊，皇上打算立符編伍，家家互相檢查。王儉勸諫說：“京城繁盛，四方匯集，如果一定要拿符信，事情既煩瑣，道理上也不夠開通，正如謝安所說的‘不這樣怎麽能成為京師’。”於是便停止了。這一年，有關部門奏請製定盛大郊祭的禮儀，王儉認為應該在今年十月對宗廟進行大祭，從此以後，過五年再作大祭。建元二年正月初四，在南郊祭天，就在這一天回來在明堂舉行了祭禮；又在十四日在北郊祭天，都沒有其他配享。高帝聽從了他的建議。第二年轉任左仆射，像從前一樣兼管人才選拔。
起初，宋明帝的紫極殿用的是珍珠簾幕綺羅柱子，上麵裝飾著金玉，是江東所沒有的，高帝打算用這些材料築造宣陽門，王儉與褚彥回以及叔父王僧虔聯名上表進諫，皇上親手撰寫詔書采納了他們的意見。宋朝時代，宮門外六門牆上設有竹籬，這年年初，有人發掘出了一個白虎樽，上麵有字說“白門三重門，竹籬穿不完”。皇上對這些話頗有感觸，便改造另立宮牆。王儉又進諫，皇上回答說：“我想讓後世的人無以複加。”朝廷剛剛建立，製度正在創建，王儉對所有的谘詢無不作出決斷。皇上常說：“《詩經》上說‘嵩嶽之神顯靈聖，呂侯申伯降人間’，今天則為我生了王儉啊！”這年他堅決請求解除選拔人才的職務，被批準。
高帝駕臨樂遊苑的宴會，對王儉說：“卿愛好音樂，為什麽和朕相同？”王儉說：“沐浴著唐堯時代的風氣，則家家都有德行，而既然同在齊國聽《韶》樂，則都會不知肉味。”高帝稱讚回答得妙。後來駕臨華林園宴會，讓各人發揮自己的技藝。褚彥回彈琵琶，王僧虔、柳世隆彈琴，沈文季唱《子夜來》，張敬兒跳舞。王儉說：“臣什麽也不會，隻知道背誦書本。”於是跪在皇上前麵背誦了司馬相如的《封禪書》。皇上笑著說：“這是歌頌盛德的事情，我怎麽可以承當！”後來皇上讓陸澄背誦《孝經》，從“仲尼居”開始，王儉說：“陸澄可以說是淵博而缺乏要領。臣請求背誦一段。”於是背誦了《君子之事上章》。皇上說：“很好，這樣張子布就不再讓人覺得奇特了。”這時侯王敬則脫掉朝服裸露著上身，用大紅絲紗纏上發髻，揮舞著胳膊表演拍張雜技，叫喊聲震動左右。皇上不高興地說：“哪見過三公這個樣子！”回答說：“臣依靠拍張，所以得了三公的職位，不可忘了拍張。”當時認為是著名的對答。
王儉不久以本官兼做太子詹事，增加衛兵三百人。當時皇太子妃去世，左衛將軍沈文季原來是她的宮中官員，不清楚是否應該服喪。王儉論證說：“漢、魏以來，宮中的臣僚要首先具備仆人的品質，具體表現在三個方麵。生前既然盡力敬奉，死後哪能不給服喪？從前庾翼死了妻子，王允、滕含還說府中官吏應有如對諸侯的妻子‘小君’的服喪，何況是宮中臣僚的重要名分，應該依照禮數為舊時君上的妻子服‘齊衰’三月而後除去。”皇上逝世，遺詔指示以王儉為侍中、尚書令、鎮軍。每次上朝，令史總有三五十人隨同，谘詢辨析，不曾阻滯。褚彥回當時做司徒、錄尚書，笑著對王儉說：“觀看讓他們分析評判十分快樂。”王儉說：“他們之所以能夠合乎我的心意，實在是由於具備明公您不用言語的自然教化。”武帝即位，配給他儀仗二十人，晉升封號為衛將軍，掌管選拔人才的事情。當時有關部門認為前代繼承皇位，有的仍借以前的郊祭祭天祈年，有的另外進行郊祭重新開始，晉、宋兩朝以來，不曾劃一。王儉說：“晉明帝太寧三年(325)在城南郊祭，當年九月逝世；漢成帝即位，第二年改元，也進行郊祭。簡文帝鹹安二年(372)在城南郊祭，當年七月逝世；孝武帝即位，第二年改元，也進行了郊祭。宋朝元嘉三十年(453)正月在南郊祭天，二月逝世；孝武帝繼承皇位，第二年又進行了郊祭。這是兩代的明確例子，大略可以仿照。現在聖明的君主繼續大業，幽明兩界眾心歸依，要講教化，則頻繁郊祭也不嫌多，要論事務，則國家年號剛剛改換，祭天並以祖宗配享，孝、敬兩者兼求。看來明年正月適於在南北二郊奉酒食祭天，並虔誠地在明堂祭祖。從此以後，依舊是隔一年一次。”有關部門又提出，明年正月上旬的辛日應在南郊祭天，而立春在上旬的辛日之後，郊祭在立春以前，這是值得懷疑的。王儉說：“宋朝的景平元年(423)正月初三辛醜在南郊祭天，這月的十一日立春。元嘉十六年(439)正月初六辛未在南郊祭天，這月的初八立春，這些都是近代的明顯例證。”都遵從了他的說法。
永明二年(484)，他兼任丹陽尹。三年，兼任國子祭酒，又兼任太子少傅。舊時太子以同樣的禮節敬重太、少二傅，到現在朝廷議論以賓客朋友的禮節接待少傅。宋朝時代國家學校廢毀，沒有機會修複，宋明帝泰始六年(470)，設置總明觀以聚集學士，有的稱之為東觀，設置了東觀祭酒一人，總明訪舉郎二人；儒、玄、文、史四科，每科設置學士十人，其餘令史以下的職位各有差別。這一年，因為國家學校已經建立，撤銷了總明觀，在王儉的宅院裏開設了學士館，以總明觀的四部圖書充實進來。又詔令王儉以家為府衙。四年，以本官兼管吏部。在此以前宋孝武帝喜愛文章，天下都以文章相比高，不以專攻經書為正業。王儉幼年就留意《三禮》，尤為擅長《春秋》，發言講論，即使倉促必合儒教，因此官紳紛紛趨附，都很推尚經學，儒教由此大興。何承天《禮論》三百卷，王儉謄抄為八帙，又另外抄錄條目為十三卷。朝廷儀式、舊時典章，晉、宋以來施行的舊製度，依次記錄，熟練回憶，沒有遺漏掉的。因此在朝值班處理事情，決斷有如流水。常常廣博議論多方引證，先前的儒者很少有這樣的例子，朝廷的各級官員，沒有能超過的。令史詢問事情，賓客滿席，王儉應接講解，毫無停滯。十天回來一次，監考學生，戴著頭巾站在庭堂中，並有帶劍的侍衛和令史，儀容很盛。他鬆散開頭巾，斜插著簪子，朝廷中和社會上的人們都很羨慕，群起仿效。王儉常常對人們說：“江東的風流宰相，隻有謝安。”大概是用來比喻自己的。武帝非常重用和信賴他，在對士人的選用上，他的奏議沒有不批準的。
永明五年(487)，王儉在本職基礎上加封開府儀同三司，他堅決推讓。六年，重申以前的任命。在此以前詔令王儉每三天回朝一次，尚書令史要出外去向他谘詢事情，皇上覺得往來很麻煩，詔令王儉回到尚書下省，每月允許十天外出。王儉啟奏請求解除選拔人才的職務，皇上不答應。七年，他又上表堅持請求，被批準了，改為兼管中書監。參與掌管選拔人才的事情。這年他生了病，皇上親自前去探望。後來去世，年齡三十八歲。詔令禁衛軍的文武官員以及台閣配備的兵士儀仗，都參加陪葬。又詔令追贈他為太尉，加賜褒羽、樂隊，增加儀仗為六十人，葬禮依照太宰文簡公褚彥回的舊規模。加諡號為文獻公。
王儉很少嗜好和欲望，專以治理國家為自己的事業，車馬衣服樸素隨便，家中沒有遺留的財物。他的撰著和批示，為當時的人們所重視。他少年時代便有成為宰相的誌向，曾寫詩說：“稷契匡虞夏，伊呂翼商周。”生了兒子，字叫玄成，取仍然世代為宰相的意思。寫有《古今喪服集記》和文集，一起流行在世上。梁武帝接受禪讓，詔令為王儉立碑，封為侯爵。
王儉的弟弟叫王遜，宋朝升明年間(477～479)擔任丹陽丞，由於劉彥節的事情被告發，沒有受到封賞。建元初年，擔任晉陵太守，曾說過怨恨的話。王儉恐怕招來禍患，通過褚彥回把這事上報，中丞陸澄據實奏表檢舉。詔令讓王儉盡忠報效朝廷，特發判決書寬免王遜，把他流放到遠方的永嘉郡，他在路上被朝廷殺死。
長子王騫繼承了王儉的爵位。