王湘绮于咸同间朝野之人，无不相识，所闻所见，史料甚多。尝论咸丰故事，且为梁璧园书一长卷，稿不可骤得，亦未刊入《湘绮楼集》中，兹就记忆所及，述之于后。惟原稿乃随手写成文字，殊不顺适，若欲如伏生之背诵尚书，实未能也。
咸丰乳母，即恭忠王母康慈贵妃，其乳育文宗（咸丰），奉太后命也。故文宗与恭王如亲兄弟。文宗即位之日，即命恭王入军机，恩礼有加。惟仅册贵妃为太贵妃，恭王不悦，屡以尊号为请，文宗不应。太贵妃有疾，文宗与恭王，皆日省视。一日，太贵妃睡未醒，文宗入室，宫监欲报，文宗摇手止之，令勿惊扰。太贵妃见床前人影，以为恭王，即问曰：“汝何尚在此？”我之所有，尽与汝矣。彼性情不易知，莫惹嫌疑也。文宗知其误，即呼“额娘”，太贵妃亦知是误，回首一视，仍向内卧，不再发言，猜忌之心，遂萌于此，而恭王不知也。
又一日，文宗入室时，遇恭王自室出，即问病状如何？恭王跪泣，言病已笃，似欲得封号以瞑者。文宗但曰：“哦！哦！恭王至军机，即传旨入具册礼，礼官奏请，文宗依奏上尊号，而不肯议礼，且减削太后丧仪，谓遵遗诏。遂愠恭王，令出军机，自此益疏远矣。庚申之难，令恭王留守。文宗至热河而疾，惟恭王与醇王不在侧。恭王乃奏请省视，文宗已病重，强起扶枕批奏曰：“相见徒增伤感，不必来觐。”故肃顺拟遗诏，亦不召恭王。肃顺本郑王裔，而与袭郑王名端华者异母，以辅国将军升户部尚书，入军机，人有才能，因受主知，遇事专擅。
有怡亲王者，乃世宗之弟，袭王名载垣。载垣与载华，皆依肃顺。文宗出都时，未备供养，后妃均不得食，仅以豆乳充饥，而肃顺有食担，供文宗酒肉。后食本进自膳房，专责外臣，不能私进。孝贞、孝钦两后不知其例，恨肃顺。及至热河，照常进膳，孝贞乃言流离之际，不必看席，文宗是其言，以告肃顺。肃顺对以所费不多，一旦骤减，人必惊异。文宗善其对，告孝贞曰：“肃顺以为不可，于是孝贞等益恶肃顺。”
旋文宗大行，八臣受顾命。孝贞诏顾命臣，以防壅阁为词，所有疏奏，仍由内发。军机拟旨，后阅过，加同道堂小印发出。同道堂印，古玉印也。曩者，文宗晏朝，孝贞至御寝，召侍寝者至，跪而责之。文宗视朝后，还寝。见宫监森然，知后升坐，乃细步窥之，为后瞥见，起而迎入。即坐后坐，指跪者问曰：“此何人也？后跑奏曰：“祖宗遗法，寝兴有定，今帝因醉，过辰尚未出朝，不知者必疑我无教，故责问彼辈，因何劝帝多饮？”文宗笑曰：“此是我过，宜恕之。”后谓跪者曰：“主子宥汝，日后再醉，唯汝是问。”文宗有惭色，所佩仅同道堂古玉印，即以赐后，故后遂以此为信。
大行之后，御史高延祜，缘后意，请垂帘。后以其奏章示顾命臣。肃顺曰：“按祖法当斩。”孝贞曰：“不用其言可也，何必深求。”而于肃顺更加切齿。军机上奏议斩摺，留不发。于是军机三日不视事，孝贞问故，则对以前摺未尽下。孝贞涕泣检奏与之，谪高为披甲奴。醇王福晋，孝钦妹也，孝贞亦视若己妹，见之泣曰：“肃顺等欺我至此，我家独无人在耶？”福晋曰：“七爷在此。”孝贞喜曰：“可令入见。”明晨，醇王入直庐，肃顺问其何为，醇答召见。肃顺笑曰：“焉得有此？”令其退出。醇王出立阶侧，旋有宫监来窥，直庐军机，至晏不叫出起（召见之人，必分班一见为一起，军机到齐为头起），欲先召见醇王也。窥至三次，不见醇王，乃自语曰：“七爷何以不来？”醇王在阶侧闻之，应声曰：“待之久矣。”遂引醇王入见。肃顺虽于直庐见之，不能阻也。孝贞以前事告醇王，王曰：“非恭王莫办。”后即令驰还京师，召恭王。三日，两王俱至。恭王递牌谒梓宫，后见孝贞，孝贞申言前事。王曰：“非还京不可。”孝贞曰：“其如外国何？”王曰：“奴才可保无异议。”孝贞乃命恭王传旨回銮，命肃顺护梓宫随发，至京师时，即发诏拿问顾八臣。
怡、郑两王在直庐，恭王以诏示之，问遵旨否？载垣曰：“那有不遵！”即备车送宗人府。遣醇王迎提肃顺，于芦殿旁执交刑部。肃顺临刑骂曰：“坐被人算计，乃以累我。”肃依祖制谏阻垂帘者，反弃市矣！怡、郑两王同时赐死，时人不知其故，呼曰“三凶”。
先是以祺祥纪元，至此始改同治。两后一帝，设三御座。大惩肃党，与游宴者，多罹于法。恭王任事，颇能委权督抚，博采舆论，时政号为清明。但宫监贪婪，虽亲王亦须贿赂。亲王既例不亲出纳，而庄产又多，为典主者所侵蚀。一入枢廷，需索更大。恭王甚以为虑，乃商诸福晋父某总督，而得门包充用之法，财用虽足，贿赂公行矣。恭王既得亲信，每于罢朝之后，继以立谈，宫监进茶，两宫必命给六爷。一日，召对过久，王攀御案茶瓯欲饮，旋悟为御茶，乃还值处，两宫微笑。是日盖忘给茶也。
孝钦侍监名小安者，恃宠索取。王戒以宫中宜节用。小安曰：“何事多费？”王不能举，但曰，即如磁器，每月例供一份，所存不少。于是小安悉屏御磁，尽用粗磁。孝钦异之，小安对以六爷有责言。孝钦曰：“约束乃及我也。”蔡御史知之，劾王贪恣。后以奏示王，王问谁奏？后答蔡寿琪。王亟曰：“彼非好人。”后怒，布王罪状，有“暖昧不明，难深述之”等浯，朝野大骇。外国使臣亦探问事由，后意乃解，令王供职如初。顾因此而疑忌被斥者八人。恭王自此，愈形谨饬，卒得贤谥。小安则以擅离京师罪，斩首历城。
湘绮又谓：“孝钦与恭王，均有过人之敏智，惜为财累，德宗之世，更专言财货，和款外债，动辄巨兆，为清室开国以来未有之奇局”云。
张之洞曾谓王湘绮云：“我为博学，君为鸿词，合为一人，始可应博学鸿词考试。”湘绮答曰：“若必如此，又从何处得同考之人？前代诸科所选，博学者多，鸿词者少，不博不鸿者，几乎过半，学风极盛之时，尚且如此，全才诚不易也。语云：‘学然后知不足。’今之少年，不学而足，中兴人物，并无中兴学风，可叹！”之洞闻言默然。（录《湘绮师说》）
制艺取士，虽无意识，求工颇难。巴陵吴獬，湘乡李希圣，均以制艺得名，夏寿田乃其后劲。湘绮与长公子伯谅书中，所谓“夏不觚，李为政”者，乃夏寿田乡举题为“觚不觚、觚哉觚哉”，李希圣举题为“为政以德”两章也。湘绮书札，用当时语，读者多不能解；唯长公子伯谅，能悉其语。伯谅死，而湘绮楼诗文笺注无人矣。（录《碧湘街笔记》）
王湘绮长公子名伯谅，性极迂拙。其弟子张正阳，则貌愚而心实巧。一日，侍坐湘绮楼，湘绮曰：“饱食终日，无所用心，难矣哉，是为王伯谅。群居终日，言不及义，好行小慧，难矣哉，是为张正阳。孔子以为难者，我皆教之，难矣！”然湘绮实优遇正阳，以彼喜涉其家世，使湘绮难容行役之妇人，故责其好行小慧，笺启中曾指张席卷，为逐金妪不遂，拂衣而去。伯谅亦复博闻强记，迁、固之书，皆能记诵，殊不可谓无所用心也。伯谅死，湘绮心伤，二次入川，辞尊经书院山长还乡。
萧少玉为湘绮弟子，尝随湘绮至鄂，便谒张之洞，即为湘绮呈名片。阍者问曰：“老者何人？汝又何人？”少玉答曰：“请谒者王举人，传帖者萧举人。”之洞俱延入，以上宾礼之。民国时，湘绮应袁世凯之聘，又过湖北，其时段芝贵为湖北将军，迓之入署，随行者为周妪。湘绮谓周妪曰：“汝欲看段大少爷，即此人也，有何异处？”段殊恧然。此类举动，酷似六朝人，世说中上品也。
湘绮称曾重伯广钧为神童，易实甫顺鼎为仙童。重伯少而多智，湘绮为计时日，读书若干，无论如何神速，亦不能到，故曰神童。仙人则为久居山林者，忽然下凡，如入山阴dao上。实父乃诗文字画，子女玉帛，无不好者，故曰仙童。
湘绮先生在船山时，湖南巡抚陆春江赴衡拜谒，先生不纳。陆去半日，先生买小舟追百余里回拜。或以问，答曰：“前之不纳，示不敢当，后之远追，又以示敬。”先生言行，多似六朝人，今之兴来即往，正与山阴访戴，兴尽而返，同一作风也。衡阳某学堂谋夺寺产，和尚控办学人，且以二百元贿周妪求先生函陆抚说项，但先与周妪约定，事败则须退还。后先生不允致书，事果失败，然钱已为周妪用去。和尚索之急，先生曰：“令和尚来见我，亲还之。”先生乃书一字条，其文为：“学堂以夺寺产为主义，凡和尚求见者，须贽敬二百元。”付诸阍者。明日和尚来，先生令其至阍者处看条示，和尚无言，嗒然而返。
某次课期，先生出赋题，某生赋中有“船中一枝曲，曲中是何人”二语。先生批曰：“是耒阳人。”或问其故，答曰：“耒阳驶船人喜吹小笛，此生殆写实非用典。”
湘绮一生，不受人侮，成名之后，亦不通融。尝谓人曰：“晚年至江宁，张孝达权江督，以忌辰不出，苦留余驻一日。问何为，云未答拜耳。因告之曰：‘前曾涤丈在江督任，未答拜而招饮，余辞而去，彼名位年辈俱过我，可责以简傲；君今后吾，虽呼召我不嫌。’”以此观之，湘绮入世，貌似逍遥，实则处处留心，丝毫不苟也。
湘绮着《湘军志》，叙李秀成事，词涉曾国荃，略云：“李秀成者，寇所倚渠首。初议生致阙，及后见俘寇皆跪拜秀成，虑生变，辄斩之。群言益哗，争指目曾国荃。国荃自悲艰苦，负时谤，诸将如多隆阿、杨岳斌、彭玉麟、鲍超等，欲告去，人辄疑与国荃不和，且言江南财货，尽入军中，左宗棠、沈葆桢每上奏，多讥江南军。曾国荃病疥，因请疾归乡里。”此数语为曾沅甫所疾恶，遂为《湘军志》毁板之因。湘绮则曰：“此实为沅甫发愤，乃沅甫切齿恨我，不知文之人，殊不可与言文，以此知令尹子兰之不可及也。”
湘绮自云：“十五岁时，从塾师读书，专习制艺，忽得《文选》，见‘离骚经’而悦之，诵八遍而熟。一日，偶于案头窃看，即有人自后掣书去，视之，则塾师也。当科举盛行之时，其他诗文谓之‘杂学’。潘伯寅虽早达，而不工八比，遂为名士所重。张孝达、李仲约皆知‘杂学’者，京师人云，有两个半翰林，不知谁当其半。湘绮尝问李、张，皆云不知。李云作此语者，自必命为半个翰林也。”又云：“李篁仙志在翰林，而喜吟咏，自谓才子，曾至湘军营中，见罗忠节，值罗睡醒，褰帽问曰：‘有《近思录》无？’”按：湘绮此言，不过数字，将罗泽南迂腐之状，完全写出。李篁仙与罗泽南之不类，更不待言矣。
湘绮又言：“罗于鏖战时，必披衣拍胸，以当炮子，殆亦《近思录》之效也。刘霞仙则胆怯，而炮火独烧其狐皮马褂。张幼樵在马江时，戴铜盆而走，反为直截了当。”此数语更形容尽致。
湘绮谓张孝达是看书人，曾涤丈是读书人。所谓读书人者，能通经以致用；看书人则书是书，人是人，了不相涉，即所谓记问之学，博而寡要者也。
