皇甫遇，常山真定人。为人有勇力，浓须，善射。年少时跟随唐明宗征伐，在唐当武胜军节度使，所到之处对民苛暴，以诛敛为能事，宾客助手都弃官逃走，以避祸。

晋高祖时，历任义武、昭义、建雄、潭阳四镇节度使，后转为神武统军。契丹入侵，攻陷贝州，出帝用高行周为北面行营都部署，遇为马军右厢排阵使。那时，青州杨光远据城造反，出帝派遣李守贞及遇分兵守郓州。遇等到达马家渡，契丹军正准备渡河援助光远，遇等击败契丹。因功升义成军节度使、马军都指挥使。

开运二年(945)，契丹进攻西山，派先锋赵延寿包围镇州，杜重威不敢出战。延寿分兵大肆抢掠，攻破栾城、柏乡等九县，南至邢州。当时是除夕，出帝与近臣饮酒过量，得病，不能出征，便派北面行营都监张从恩会合马全节、安审琦及遇等防御。从恩等军到达相州，设阵安阳河南面，派遇与慕容彦超率数千骑去看敌阵。遇渡过漳河，遇敌，与数万敌军转战十余里，到榆林被契丹军围困，遇马中箭跌倒，得他的仆人杜知敏的马继续作战。知敏被契丹所擒，遇对彦超说：“知敏是义士，怎能失掉他！”立即和彦超跃马入敌群，取知敏回来。契丹兵与遇大战自午时到未时，解围又复合围，更出生力军，其势非常强盛。遇提醒彦超说：“今天的形势是战还是走呢？战或许能生存，走就会死。死战，还能够报国。”张从恩和诸将奇怪遇为什么去侦察敌情不回来报告，都说遇已经陷于敌人包围之中了。不久有快马报告遇等被围，安审琦率兵准备去救，从恩怀疑报告的人有诈，不想去，审琦说：“成败在天，我应当与你同患难，就是契丹不南来，我们失了皇甫遇，有啥面目见天子！”立即引骑兵渡河，诸军都相继北进，离契丹军十几里，契丹军看见救兵到了，立即解围而去。遇和审琦等收军而回，契丹军也北去。那时契丹军已经深入内地，人马都困乏，退兵时，诸将都没能追赶，从恩率遇等退守黎阳，契丹因此安然退去。

开运三年(946)冬，以杜重威为都招讨使，遇为马军右厢都指挥使，屯兵中渡。重威已经秘密投降契丹，伏兵幕中，召所有将领列坐，告诉众将他已经投降契丹了，遇和众将都吃惊得说不出话。重威拿出降表，遇和众将低着头，依次自写姓名，立即率兵解甲出去投降。契丹派遇与张彦泽先入京城，遇走到平棘，割断咽喉而死。