皇甫绩字功明，安定朝那人。

祖父皇甫穆，魏国的陇东太守。

父亲皇甫道，北周的湖州刺史、雍州都督。

皇甫绩三岁就成了孤儿，为外祖父韦孝宽所养育。

他曾与诸位表兄下棋，韦孝宽因他懒于学业，对他很严，但可怜他是孤儿，年纪又小，特别原谅他。

皇甫绩叹气说：“我没有父母教训，养在外祖父家，如不克己律己，自我勉励，怎能成人？”他十分激动，让别人打他三十棍子。

孝宽听说此事，对着他流泪。

他于是精心好学，略涉经书史书。

北周武帝在当鲁公时，引皇甫绩为侍读。

建德初，他转任宫尹中士。

周武帝曾在云阳宫避暑，当时周宣帝为太子、监国。

卫刺王造反作乱，京城城门已关上了，百官多有逃遁者。

皇甫绩听说大难，急忙赴难，在玄武门遇上皇太子。

太子下楼来，拉着皇甫绩的手，悲喜交集。

武帝听说此事，嘉奖皇甫绩，升他为小宫尹。

宣政(578)初，录他前后功勋，封他为义阳县男爵，授他为几伯下大夫，累功转任为御正下大夫。

周宣帝去世后，隋高祖总理万机，皇甫绩对此有功，这事记载在《郑译传》里。

升为上开府，转任内史中大夫，晋爵为郡公爵，食邑千户。

不久授他为大将军。

开皇元年(581)，出京任豫州刺史，增加食邑，连前总共二千五百户。

继而授他为都官尚书。

几年后，转任晋州刺史。

将赴任，跪拜高祖说：“我实在平庸，见识浅，对国家无益。

因此常想赴难以报国家的大恩。

现在陈国还在，按我看来，有三个条件，可以灭他。”皇上问其缘故，皇甫绩回答说：“以大吞小，这是一；以有道伐无道，这是二；接纳陈国的叛臣萧岩，对我国有供词，这是三。

陛下若命鹰扬之将，我请求参加其中，出点头发丝那么大的小力。”皇上嘉奖其壮志，慰劳他，而打发他去。

平定陈国后，授他为苏州刺史。

高智慧等人在江南造反，苏州州民顾子元发兵响应，因此让他进攻皇甫绩。

两边相持了八十天。

顾子元一向感激皇甫绩的恩典，在冬至日，派人送上牛肉和酒。

皇甫绩在给顾子元的信里说：“皇上承受天命，与神灵相通，受禅于北周，抛弃干戈。

大隋国东边超过了蟠木，东方朔也未去过；西边包括了流沙，张骞都没去过；北边到黄龙府之外，与各酋长来往；南边到了葱岭、榆关，那里的百姓下跪，请求派官吏去治理。

金陵的百姓，死而复生；吴郡、会稽的臣民，白骨上又出生了肉。

你们只应感恩戴德，放声歌唱，怎能够自比疯狗，反咬主人。

你不是我的臣民，何必尽上酒之礼？我是大隋国的将领，何必与你搞外交？即便是易子析骸，也未能相告，何况你是足食足兵，高城深沟，你只需坐待援兵，对付我就绰绰有余了，何必劳你学着轻薄的风俗，说些假话，想阻拦我这个忠臣的心，白白地想迷惑我军骁雄的大志呢？想用这些来指望我们放了你，那是不可能的。

你要好好地想想你的活路，并晓谕百姓，如能迷途知返，现在还不晚。”顾子元得到书信，就在城下叩头认罪。

杨素的援兵也到了，合兵打破了叛军。

授皇甫绩为信州总管、十二州诸军事。

不久因病请求退休，有诏调他回京，赐他御药。

宫中的使者去看望他，络绎不绝，相望于道。

在家中去世，时年五十二岁。

谥号叫“安”。

他儿子皇甫亻思继承爵位。

大业年中(605～616)，皇甫亻思官至尚书主爵郎。