高谷，字世用，扬州兴化人。永乐十三年(1415)，中进士，被选为庶吉士，授予中书舍人。仁宗即位后，改为春坊司直郎，不久升为翰林侍讲。英宗即位后，开讲经筵。杨士奇推荐高谷和苗衷、马愉、曹鼐四人侍奉皇上讲读。正统十年(1445)，他由侍讲学士升为工部右侍郎，入内阁参预机务。

景泰初年，他升为尚书，兼翰林学士，仍掌内阁事务。英宗将回来时，迎接的礼仪太薄，千户龚遂荣投书给高谷，说礼仪应当隆重些，可以援引唐肃宗迎回太上皇的故事。高谷把它装在衣袖中带入朝廷，拿出来给群臣看，说“：武夫尚且知礼，何况儒臣呢？”众人都称赞他说得好。胡氵荧、王直想报告皇上。高谷说：“迎接之礼已经重又议上去了，皇上久没下决定。如果又呈进这封信，使皇上知道朝野同心，这可能也是一助。”都御史王文认为不可。后来言官把这书信奏了上去。皇上质问从哪儿得来，高谷回答说“：从臣这儿。”随即他上书恳请皇上照龚遂荣的建议办。皇上虽然没有听从，但也不加罪。

二年(1451)，高谷升为少保、东阁大学士。更换太子后，他被加封为太子太傅，支给二职俸禄。应天、凤阳受灾，命高谷祭祀三个祖陵，赈济贫民。七年，他进升为谨身殿大学士，仍兼东阁大学士。内阁有七人，他们之间意见多不合。高谷清明正直，所持的意见也正。王文是高谷所推荐，却屡次排挤高谷。高谷多次请求解除机要职务，皇上不许。都给事中林聪因忤逆权贵要人被判死罪，高谷力救，结果他只受到薄惩。陈循和王文陷害考官刘俨、黄谏，皇上命礼部和高谷复阅试卷。高谷极力说刘俨等人无私，并说：“权贵子弟与寒士竞争，本已不可，何况他们不安义命，想因此而陷害考官呢？”皇上于是赐陈循、王文的儿子考中，只黜退了林挺一人，这事得以过去了。

英宗复位后，陈循、王文等人都被责备斥出，高谷也因病辞职。英宗觉得高谷是长者，对廷臣说：“高谷在内阁时，议迎驾之礼和南宫之事，曾对朕有帮助。赐给他金帛袭衣，派给驿船送他回去。”不久又赐给敕书奖励。

高谷辞职之后，杜门谢绝宾客。有人问到景泰、天顺年间的事，他总是不回答。天顺四年(1460)正月，去世，终年七十岁。

高谷身材英俊，喜欢朴素，虽然官当到台司之职，但家中仅是破屋瘠田而已。成化初年，赠予他太保，谥文义。