皇甫遇，常山人。父親皇甫武，流離寓居太原，曾任遮虜軍使。皇甫遇小時喜好勇武，到年長時，須發卷曲，善於騎馬射箭。後唐明宗還在藩鎮時，把他收留在部下，曆次跟隨作戰，屢建功績。明宗即位後，升為龍武軍都指揮使，遙任嚴州刺史，出征東川，擔任行營左軍都指揮使。應順、清泰年間，曆任團練防禦使，不久遷任鄧州節度使。所到之處，為官苛刻暴戾，以殺戮搜刮為要務，幕客多私下離去，以逃避他的牽累。
晉高祖進入洛陽後，皇甫遇移鎮中山，不久朝廷聽說他與鎮州安重榮結為親家，便調任他鎮守上黨，又改鎮平陽，都是因為用小人主事，政事敗壞混亂的原因。到鎮守河陽時，在所轄境內建造別墅，開掘泉水，以用來灌溉，所經過的墳墓，全部加以毀壞，境內百姓因朝廷正姑息州郡主帥，沒有誰敢上訴。少帝即位後，他罷官回到朝廷。開運二年，契丹南犯，皇甫遇跟隨少帝到了澶州，在鄆州北渡口發生戰爭，契丹大敗，淹死的有幾千人，因功被任為滑州節度使。
開運三年(946)，契丹國主率兵進駐邯鄲，皇甫遇與安審琦、慕容彥超等前去抵禦。皇甫遇將要渡過漳河，契丹先頭部隊大軍殺來，皇甫遇向後撤退，轉戰二十餘裏到達鄴都南麵的榆林店。皇甫遇對安審琦等說：“敵眾我寡，逃跑就沒有活路，不如血戰一場。”於是從辰時戰到未時，打了一百多個回合，受傷的兵士非常多。皇甫遇的坐騎也中箭死去，他的隨從杜知敏把戰馬給他，皇甫遇得馬後又投入戰鬥，戰了很久，形勢才逐漸緩解。杜知敏已被敵軍俘獲，皇甫遇對慕容彥超說：“知敏在危急之中，把戰馬給了我，這是義舉，怎能讓他落在敵人手中！”於是與慕容彥超躍馬奪取杜知敏而回，敵人騎兵都欽佩他們的勇壯。不一會兒剩下的軍隊又與敵人合戰，皇甫遇不能解脫。當時安審琦已經到了安陽河，對統帥張從恩說：“皇甫遇等沒有回來，一定是被敵人騎兵包圍了，如不馬上援救，則要被俘虜了。”張從恩說：“敵軍勢氣正盛，沒有誰可以抵抗，將軍獨自前往有何益？”安審琦說“：成敗是命中注定的，假若不能成功，就與他一同死去，如果失去了這二位將領，將以何麵目去見天子！”
於是率領鐵騎向北渡河奔去解圍。契丹軍隊看見塵土飛揚，以為是援軍大量來到，便引兵退去。皇甫遇與慕容彥超多處受傷，但得以生還，當時各軍將士感歎說“：這三人都是猛將啊！”皇甫遇曆官至檢校太師、同中書門下平章事。
開運四年(947)，契丹又南侵，皇甫遇跟隨杜重威經營滹水一帶，杜重威與契丹講和，皇甫遇沒有參與其中，到投降契丹後，心裏極為不平。當時契丹國主打算派皇甫遇先進入汴州，他推辭了，還私下對人說“：我身蒙國恩，位兼將相，既然沒有死在戰場上，又有何麵目以見舊主！反而接受偽命來圖謀他，我不忍心。”第二天，走到趙郡，止歇在縣舍中，他看著跟隨的人說“：我已經二天沒有吃飯了，病得很重，君王受辱則為臣者當死，我不再南行了。”因此切斷自己的咽喉而死，遠近的人聽說後都認為他有節義。後漢高祖登上帝位，下詔追贈中書令。
後周廣順三年(953)一月，皇甫遇的妻子宋國夫人霍氏上奏，請求度為尼姑，周太祖準允了，並賜紫衣尼服，賜號貞範大師，法名惠圓，又賜僧齡十年。
晉高祖進入洛陽後，皇甫遇移鎮中山，不久朝廷聽說他與鎮州安重榮結為親家，便調任他鎮守上黨，又改鎮平陽，都是因為用小人主事，政事敗壞混亂的原因。到鎮守河陽時，在所轄境內建造別墅，開掘泉水，以用來灌溉，所經過的墳墓，全部加以毀壞，境內百姓因朝廷正姑息州郡主帥，沒有誰敢上訴。少帝即位後，他罷官回到朝廷。開運二年，契丹南犯，皇甫遇跟隨少帝到了澶州，在鄆州北渡口發生戰爭，契丹大敗，淹死的有幾千人，因功被任為滑州節度使。
開運三年(946)，契丹國主率兵進駐邯鄲，皇甫遇與安審琦、慕容彥超等前去抵禦。皇甫遇將要渡過漳河，契丹先頭部隊大軍殺來，皇甫遇向後撤退，轉戰二十餘裏到達鄴都南麵的榆林店。皇甫遇對安審琦等說：“敵眾我寡，逃跑就沒有活路，不如血戰一場。”於是從辰時戰到未時，打了一百多個回合，受傷的兵士非常多。皇甫遇的坐騎也中箭死去，他的隨從杜知敏把戰馬給他，皇甫遇得馬後又投入戰鬥，戰了很久，形勢才逐漸緩解。杜知敏已被敵軍俘獲，皇甫遇對慕容彥超說：“知敏在危急之中，把戰馬給了我，這是義舉，怎能讓他落在敵人手中！”於是與慕容彥超躍馬奪取杜知敏而回，敵人騎兵都欽佩他們的勇壯。不一會兒剩下的軍隊又與敵人合戰，皇甫遇不能解脫。當時安審琦已經到了安陽河，對統帥張從恩說：“皇甫遇等沒有回來，一定是被敵人騎兵包圍了，如不馬上援救，則要被俘虜了。”張從恩說：“敵軍勢氣正盛，沒有誰可以抵抗，將軍獨自前往有何益？”安審琦說“：成敗是命中注定的，假若不能成功，就與他一同死去，如果失去了這二位將領，將以何麵目去見天子！”
於是率領鐵騎向北渡河奔去解圍。契丹軍隊看見塵土飛揚，以為是援軍大量來到，便引兵退去。皇甫遇與慕容彥超多處受傷，但得以生還，當時各軍將士感歎說“：這三人都是猛將啊！”皇甫遇曆官至檢校太師、同中書門下平章事。
開運四年(947)，契丹又南侵，皇甫遇跟隨杜重威經營滹水一帶，杜重威與契丹講和，皇甫遇沒有參與其中，到投降契丹後，心裏極為不平。當時契丹國主打算派皇甫遇先進入汴州，他推辭了，還私下對人說“：我身蒙國恩，位兼將相，既然沒有死在戰場上，又有何麵目以見舊主！反而接受偽命來圖謀他，我不忍心。”第二天，走到趙郡，止歇在縣舍中，他看著跟隨的人說“：我已經二天沒有吃飯了，病得很重，君王受辱則為臣者當死，我不再南行了。”因此切斷自己的咽喉而死，遠近的人聽說後都認為他有節義。後漢高祖登上帝位，下詔追贈中書令。
後周廣順三年(953)一月，皇甫遇的妻子宋國夫人霍氏上奏，請求度為尼姑，周太祖準允了，並賜紫衣尼服，賜號貞範大師，法名惠圓，又賜僧齡十年。