羊玄保，泰山南城人。祖父羊楷，是晉朝的尚書都官郎。父親羊綏，是中書侍郎。
羊玄保開始擔任宋武帝的鎮軍參軍，少帝景平年間(423～424)，逐步升遷為司徒右長史。衛將軍王弘對他十分器重，曾對左長史庾登之、吏部尚書王準之說：“你們二位賢士聰明俊朗，很多東西可以會悟通達，然而寬弘美好的聲望，自然應當共同推重羊君。”不久，入朝擔任黃門侍郎。
羊玄保善於下棋，品第居第三。文帝也好下棋，和他用郡官做賭注，結果羊玄保戰勝，所以便讓他補任了宣城太守。在此以前劉式之為宣城訂立了官吏對付叛逃的政策，一個人如果不能抓到，就以公文通知伍、裏的官吏扭送州郡的有關部門，能抓到此人的人賞官位二級。羊玄保認為這樣做很不恰當，議論道：“臣探討叛逃的緣由，都是出於極端的逼迫。現在訂立了特殊的政策，對於現實十分苛苦。又考慮這個政策僅隻是在一個地區實施，如果它是正確的，則應該與天下統一起來；如果它是不正確的，那就也不應該在一個郡中單獨實行。”從此詔令停止那項政策。
他曾曆任丹陽尹、會稽太守、太常、吳郡太守。文帝因為羊玄保廉潔樸素沒有貪欲，所以頻頻地安排他在名郡任職。為政雖然沒有特殊的治績，而離開以後通常一定被人思念。他不經營錢財利益，家產儉省微薄。文帝曾經說：“一個人做官不僅必須要有才幹，也必須要有運氣。每次有了好的官位出缺，我不曾不先想起羊玄保。”元凶劭弑君自立，讓他做吏部尚書，兼任國子祭酒。到了孝武帝入京討伐，朝中人士大多向南逃走，劉劭把官員們全部召集過來，橫握鋼刀憤怒地說：“你們都可以走了。”大家都很害怕，沒有人敢說話。羊玄保麵不改色，慢慢地說道：“臣願意以死報效朝廷。”劉劭因此而緩和下來。
孝武帝即位，任命他為金紫光祿大夫，以謹慎恭敬受到重視。大明五年(461)，升任散騎常侍、特進。羊玄保從少年到老年，對祭奠非常謹慎，四季的珍奇新鮮出產，凡是沒有經過祭獻的，自己決不先嚐。死後，追加諡號為定子。
他的兒子羊戎少年有才氣，但卻人品輕薄，行為很不檢點，說話好用雙聲。江夏王劉義恭曾經設齋，讓羊戎放好座位，過了一會兒江夏王出去了，因為座位太窄，他便自己把它拉寬。羊戎說：“官家狹窄，令人討厭，要再加寬八分。”江夏王笑著說：“卿哪裏是隻善於雙聲，乃是一位善辯之士哩。”文帝好與羊玄保下棋，有一次一個宮使前來，羊玄保說：“今天皇上為什麽要召見我？”羊戎說：“金溝清淺，銅池碧波，光景美好，該是下棋。”羊玄保常常嫌他輕狂，說“這孩子一定會毀掉我家”。羊戎官居通直郎，因為與王僧達一道毀謗當朝政治，被賜命自殺。死後，孝武帝引見羊玄保，羊玄保謝罪說：“臣沒有金日石單的明察，因此辜負了皇上。”皇上很讚美他的話。羊戎有兩個弟弟，文帝一起賜名叫羊鹹、羊粲，對羊玄保說：“希望能讓你的兩個兒子有正始時代的林下餘風。”
羊玄保善於下棋，而何尚之也極愛這種遊戲。吳郡的褚胤七歲時便進入了高品級，等他長大，為當時的冠軍。褚胤的父親褚榮期與臧質一同叛逆，褚胤應當隨從殺死。何尚之堅持請求說：“褚胤下棋的高妙，超過古代，冠於當今。魏韜違犯了法令，因為才高而獲赦免，父親被殺兒子寬大處理，這種例子很多。特請給予他一個活命，使一種奇異的技藝不致斷絕。”結果沒有得到批準，當時的人對此十分惋惜。
羊玄保開始擔任宋武帝的鎮軍參軍，少帝景平年間(423～424)，逐步升遷為司徒右長史。衛將軍王弘對他十分器重，曾對左長史庾登之、吏部尚書王準之說：“你們二位賢士聰明俊朗，很多東西可以會悟通達，然而寬弘美好的聲望，自然應當共同推重羊君。”不久，入朝擔任黃門侍郎。
羊玄保善於下棋，品第居第三。文帝也好下棋，和他用郡官做賭注，結果羊玄保戰勝，所以便讓他補任了宣城太守。在此以前劉式之為宣城訂立了官吏對付叛逃的政策，一個人如果不能抓到，就以公文通知伍、裏的官吏扭送州郡的有關部門，能抓到此人的人賞官位二級。羊玄保認為這樣做很不恰當，議論道：“臣探討叛逃的緣由，都是出於極端的逼迫。現在訂立了特殊的政策，對於現實十分苛苦。又考慮這個政策僅隻是在一個地區實施，如果它是正確的，則應該與天下統一起來；如果它是不正確的，那就也不應該在一個郡中單獨實行。”從此詔令停止那項政策。
他曾曆任丹陽尹、會稽太守、太常、吳郡太守。文帝因為羊玄保廉潔樸素沒有貪欲，所以頻頻地安排他在名郡任職。為政雖然沒有特殊的治績，而離開以後通常一定被人思念。他不經營錢財利益，家產儉省微薄。文帝曾經說：“一個人做官不僅必須要有才幹，也必須要有運氣。每次有了好的官位出缺，我不曾不先想起羊玄保。”元凶劭弑君自立，讓他做吏部尚書，兼任國子祭酒。到了孝武帝入京討伐，朝中人士大多向南逃走，劉劭把官員們全部召集過來，橫握鋼刀憤怒地說：“你們都可以走了。”大家都很害怕，沒有人敢說話。羊玄保麵不改色，慢慢地說道：“臣願意以死報效朝廷。”劉劭因此而緩和下來。
孝武帝即位，任命他為金紫光祿大夫，以謹慎恭敬受到重視。大明五年(461)，升任散騎常侍、特進。羊玄保從少年到老年，對祭奠非常謹慎，四季的珍奇新鮮出產，凡是沒有經過祭獻的，自己決不先嚐。死後，追加諡號為定子。
他的兒子羊戎少年有才氣，但卻人品輕薄，行為很不檢點，說話好用雙聲。江夏王劉義恭曾經設齋，讓羊戎放好座位，過了一會兒江夏王出去了，因為座位太窄，他便自己把它拉寬。羊戎說：“官家狹窄，令人討厭，要再加寬八分。”江夏王笑著說：“卿哪裏是隻善於雙聲，乃是一位善辯之士哩。”文帝好與羊玄保下棋，有一次一個宮使前來，羊玄保說：“今天皇上為什麽要召見我？”羊戎說：“金溝清淺，銅池碧波，光景美好，該是下棋。”羊玄保常常嫌他輕狂，說“這孩子一定會毀掉我家”。羊戎官居通直郎，因為與王僧達一道毀謗當朝政治，被賜命自殺。死後，孝武帝引見羊玄保，羊玄保謝罪說：“臣沒有金日石單的明察，因此辜負了皇上。”皇上很讚美他的話。羊戎有兩個弟弟，文帝一起賜名叫羊鹹、羊粲，對羊玄保說：“希望能讓你的兩個兒子有正始時代的林下餘風。”
羊玄保善於下棋，而何尚之也極愛這種遊戲。吳郡的褚胤七歲時便進入了高品級，等他長大，為當時的冠軍。褚胤的父親褚榮期與臧質一同叛逆，褚胤應當隨從殺死。何尚之堅持請求說：“褚胤下棋的高妙，超過古代，冠於當今。魏韜違犯了法令，因為才高而獲赦免，父親被殺兒子寬大處理，這種例子很多。特請給予他一個活命，使一種奇異的技藝不致斷絕。”結果沒有得到批準，當時的人對此十分惋惜。