源延之弟源思禮，後賜名為懷，為人謙恭寬雅，有大度。高宗在位末年，源懷任侍禦中散。父親源賀告老辭去官爵，皇帝令源懷承襲父親的爵位，授任他為征南將軍。不久任持節、督諸軍，屯駐在大沙漠之南。源懷還朝，被授予殿中尚書之職，出任長安鎮將、雍州刺史。源懷為官清廉而有好的政績，善於撫恤百姓，所任之處盜賊止息，流民全都相繼還家。一年多以後，源懷再次被授任為殿中尚書，加授侍中，參與都曹事。源懷又督率諸軍征討蠕蠕，六路大將都受他的節製調度。後遷任尚書令，參加議定朝廷法律命令。後來按例降爵位為公。任司州刺史。源懷跟從皇帝南征，加授為衛大將軍，負責中軍事務。源懷由於為母親服喪而辭去官職。皇帝賜給他帛三百匹、穀一千石。太和十九年(495)，源懷被授予征北大將軍、夏州刺史之職，轉任都督雍岐東秦三州諸軍事、征西大將軍、雍州刺史。
景明二年(501)，源懷被召回朝任尚書左仆射，加賜為特進。當時皇帝有令，由於奸邪的官吏犯了罪以後，每每有許多人逃遁而未被追究，這些人有了過失就逃走，都感到怡然自得。從今以後，凡是犯罪的人不問其罪行輕重，隻要是藏匿逃竄者全部流放到邊遠之地。如果長期躲避不出來，就讓他的兄弟代替他遠徙。源懷於是向皇帝上表啟奏說：“按照朝廷的條令製度：犯罪而逃跑的吏員不在赦免之列。我私下考慮聖上的恩德，此事同先前寬宥的政策有所不同，過去許多被流放還在半路的人，尚且能獲赦免而得以回還，何況有的人並未犯罪，還要把他們遣徙到邊戍嗎？查地方官犯罪，逃走的人甚多，他們俸祿已經十分優厚，尚且還有這種過失，及至他們蒙受恩宥，忽然又得以返還。如今惟獨苦了一般的吏員，恐怕不是平等之法。如果讓我掌管此事，我以為應當寬免他們。”書表呈上以後，門下省認為現行條令已經頒布，就把他所奏之事駁回不予準許。源懷又重新上奏說：“臣以為朝廷法令貴在執行通暢，治政崇尚簡明切要，設立刑罰之法，目的在於懲治犯罪之人。假若符合道理，法令就不在乎是否繁多；執行法令可以通暢，豈能容允製度的嚴苛。這就是古今的達政，濟世之常規。我考察現行的條例製度，被授予勳品以下的人，因犯罪被揭發而逃亡的，一律不予寬宥，還要流放他們的妻兒。這雖然是想要抑製和阻絕奸邪之路，但這不是通用的法式。我又查尋條例規定，違犯職守的敗壞法紀的，專門懲辦九品官以下的人，難道九品以上的官員，人人都堅貞清白嗎？各州郡的地方官，一般都清廉有威望，至於有貪婪汙濁的人，因事實被揭發而逃竄，但遇到恩赦可以免罪。勳品以下的官員，獨獨與這種規定不一致。像這樣做，就是寬待縱容九品以上的官員，而嚴責品位以外的吏員，使得對官吏的培育安撫有差別，恩惠與懲罰不均等。又有圖謀叛逆罪惡滔天的人，遇到恩宥尚且可以免罪，而吏員犯了輕微的罪過，獨獨不受到赦免，致使大赦之法不能通行，開生之路受到阻塞，上違古代典憲，下悖現時法律，依臣之愚見，認為應當停止。”書表奏上以後，世宗采納了他的意見。
這一年，源懷被任命為車騎大將軍、涼州大中正。源懷向皇帝上書說：“南方賊寇遊弋於長江、揚子江，經常挑起戰亂，驕奢婬逸之風日益滋長。其貴臣重將，所剩無幾，崇信奸佞之徒，親昵yan宦之人，內外離心離德，骨肉猜忌叛逆。蕭寶融在荊郢僭位，其雍州刺史蕭衍率軍向東攻襲，上遊的軍隊已逼近其京城郊野。廣陵、京口守將各自持兵而兩邊觀望，鍾離、淮陰一帶相互鼎峙而靜觀得失。秣陵孤立危急，閉門不出。江南的君子小人，全都遭受災禍，翹首北望，朝不保夕。這實在是上天賜予的大好時機，實行吞並的難得機遇。我朝可以乘其蕭牆之釁，借其分崩之機，發兵向東占據曆陽，兼程指向瓜步，沿長江鎮戍，直達於荊郢。然後振奮我軍雷電之威，廣布我朝山河之信，那麽長江西麵之地，不用兵就自會來降，吳會一帶地方，指日可以占領。昔日王士治曾經說過，孫皓倘若暴死，另外擁立賢主，其文武之官，各得其任，就會是我們的勁敵。如果蕭衍舉事成功，其上下同心一致，那麽非但我朝今後圖謀很難，而且會使我揚州境內受到危逼。為什麽這樣說呢？壽春距離建鄴，隻七百裏地而已，那一帶的山川水陸，蕭衍都十分熟悉。倘若江南沒有風波，其君臣效力盡職，借水憑舟，轉眼而至，壽春都不能自保，對江南又能怎樣呢？如今蕭寶卷政權有土崩瓦解之勢，其邊城無援軍救助，掃蕩長江地區，的確就在今日。臣蒙受皇上深重的恩幸，以上想法不敢不照直陳述。”世宗下詔說：“不君不臣，是江南的常弊，有粟不食，那也就在於此。上天將要消亡它，諸臣又願攻取它，人事天道都順應，誰說不是大好時機？而且養虎遺患，是仁者所不為。況且十月五日，蕭衍軍已從水路大舉進攻，江南大傷小亡之勢，久來應有所定。假使上天懲罰蕭寶卷，蕭衍獲勝，那麽蕭衍主佐江南，必然又是亂亡遺孽，皇靈怎能長久保..他呢？如今朕所倚仗的，正是由於南方百姓企望聖德，邊地書信相繼而至，對於痛苦勞悴的百姓，理應救助接濟。如果像這樣做，揚州的兵力，已經配積不少，隻需速速派任城王元澄，委付他進行處置，另外加以慰勉，令其籌劃邊地戰事的計策。”後來由於蕭衍舉事成功，就將此事停止下來。
源懷又上表說：“昔日世祖仙逝，南安王在位，出外祭拜東廟，被賊臣宗愛所弑。當時高宗避難，潛藏在園苑之中，宗愛圖謀不軌，皇位尚未確立。臣之亡父先臣源賀與長孫渴侯、陸麗等人迎立高宗，繼承皇位。陸麗由於懷抱高宗入宮，為高宗所親近和賞識，被封撫軍大將軍、司徒公、平原王。興安二年(453)，朝廷追論定策之功，進封先父爵位為西平王。皇興末年(471)，顯祖準備傳皇位給京兆王。先父當時都督諸將，屯駐在武川，被征召到京師，特地向他征詢意見。先父堅持認為不可，顯祖許久才同意他的意見。就令先父持節將皇帝璽綬授予高祖。到了太和十六年(492)，陸麗之子陸睿呈狀於秘書省，說他的亡父與先父迎立高宗，朝廷追記其功，封陸睿為巨鹿郡開國公。臣當時回鄉為母親守喪，未能依例受封。到了太和二十年(496)，授任臣為雍州刺史，在出發之時，麵奏先帝，申述先父往日的功勳。當時皇帝命臣暫且赴任，不久當另有裁斷。及至二十一年，高祖駕幸雍州，臣又向皇帝陳說，當時蒙聖上敕旨，說待將臣召回朝廷後定當封授。自從高祖晏駕之後，就再未提及此事。臣私下考慮先父在遠曾迎立高宗，使大魏江山不墜；在近則效力於顯祖，使社稷有歸。像這樣的功勳，超出當世。陸睿憑他父親之功而獲得河山之賞，臣有家勳，卻未沾茅土之賜。得失懸殊，請聖上予以裁斷處理。”皇帝下詔說：“朝廷老前輩元丕，所說的情況與你申述的一樣，訪之於史官，其言大體也是如此。可依例授爵為馮翊郡開國公，食邑九百戶。”
皇帝又令源懷任使持節，加授侍中、行台之職，巡行北部邊境六鎮、恒燕朔三州，賑濟貧乏，兼采風俗，考論官員政績名次，所有事情的得失，都由他先行決斷然後上奏。自從京都遷到洛陽，北方邊地遙遠，加之連年大旱，百姓貧困不堪。源懷奉命巡行安撫，賑濟有方，及時轉運，通濟有無。當時皇後的父親於勁勢傾朝野，於勁之兄於祚與源懷原先就有婚姻之親，當時任沃野鎮將，頗多受賄之事。源懷將要巡行到他的鎮所，於祚出城在道旁迎接，源懷根本不同他說話，即刻彈劾於祚並免去他的官職。懷朔鎮將元尼須是源懷年輕時的好友，也多有貪汙受賄之事，他置酒宴請源懷，對源懷說：“我的生命是長是短，全在於你一句話，難道不能對我給以寬待嗎？”源懷說道：“今天的聚會，乃是源懷與故友飲酒之處，而不是判斷案情之所。明天到公庭之上，才是令人檢舉鎮將罪狀的地方。”元尼須無言以對，惟有流淚而已。源懷不久就上表彈劾元尼須。他奉公不屈，都皆如此類。
源懷又向世宗上表說：“自景明以來，北方邊地連年遭受旱災，高原陸地，不適於經營養殖，隻有少量水田，尚可耕耘。然而各鎮主將和幕僚，擅自占有豐腴的田地，把貧瘠荒蕪的土地給予百姓，百姓因此而困敝不堪，這種現象日益嚴重。特請求將各鎮的水田，就地分給普通百姓，先貧後富進行分配。若因分配不公平，有一人怨憤而上訴者，鎮將以下連署之官，每人扣去一季的俸祿，有四人以上上訴的各扣去俸祿一年。北方邊鎮，事情與內地不同，往日設置官職，完全沒有差別。單就沃野一鎮而言，從鎮將以下達八百餘人，黎民百姓怨聲載道，都說官員繁冗。邊地事情不多，確實少於京城地區，請求將各鎮主帥的屬員減去五分之二。”皇帝下詔說：“你的奏表具有撫恤百姓之心，已敕令有司全部依允所奏之事，下達施行作為永久的標準。像這類不能使百姓得益，有損教化傷害政事的現象，你可全部列舉上報朝廷。”當時百姓被豪強欺淩壓製，多年來積累的冤情太多，一時間前來申訴的，一天就有上百人。源懷對有利於北方邊地的事，所收集上報朝廷的，共有四十餘條，都被嘉獎和采納。
正始元年(504)九月，有邊報說蠕蠕部將率十二萬騎兵六路並進，想要直趨沃野、懷朔，南侵恒州、代州。世宗下詔命令源懷以本官加授使持節、侍中，出朝據守北部邊地，指授方略，征發士卒，各種所應處置之事，都憑源懷隨時應變、見機行事。又詔令源懷之子直寢源徽跟隨源懷北行。詔賜馬一匹、細鎧一具、禦槊一枝。源懷拜受完畢，就在他家的前庭跨鞍持槊，躍馬大呼，環顧前來送行的賓客說道：“我氣力雖已衰弱，還是能夠像這樣出征。蠕蠕人畏壯輕老，我也未必就可以欺侮。今日承奉朝廷的作戰方略，總領驍悍之眾，足以生擒其部族主帥，獻俘於朝廷宮闕之下。”時年六十一歲。源懷一到雲中，蠕蠕人聞風逃遁。
源懷隨即到達恒、代二州，巡視各鎮左右要害之地，確定可以築城置戍之處。一處一地測量其戍城的高低，計算其城牆的厚薄，考察其儲存糧草兵器的方便，犬牙交錯相互救援的形勢，一共表奏五十八條。表章說：“蠕蠕人不受轄製，自古至今都如此。四處遊牧如鳥集散，擇水草之地為家，中國深以為患者，都是這類部族。曆代君王想要驅除它，都沒有能夠製服。雖然北邊拓展到榆中，再遠到達大沙漠，但曆代智臣勇將，也都竭盡其力量和謀算，胡人雖屢次逃遁，中國卻因此而疲憊不堪。當時的先哲們，思考自然萬物之至理，推廣百姓所熟悉的生業。比較中原的粒食邑居之民、蠶衣儒步之士，與邊遠的茹毛飲血之類、鳥宿禽居之徒，親自衡量其短長，因此製定適當的防備策略。知道修築堅固的城郭，可以一勞而永逸。自從皇魏統一中國，建都於平城，威震天下，德冠宇宙。現在定都於洛陽，離北地遙遠。代州上表說北地邊防鞏固，高車族在外反叛，隨即遭受旱災，戎馬甲兵，十分缺少八分。臣去年再次鎮守陰山，排除繁雜的事務，派尚書郎中韓貞、宋世量等考察各處險要，了解便於防守的地形。以原有鎮所東西相望為標準，使地勢互相連接，於其中築城置戍，分兵把守要害，平時勸農積粟，戰時隨時出兵征討。這樣就做到了增廣有利的地形，軍隊氣勢也更加強盛。而且北方沙漠之地，夏季缺乏水草，有時雖有少量泉水，也無濟於大眾。倘若胡人有非分之意，也要等到秋冬之際，因氣候有利才敢行動。如果到了冬天，到處冰沙凝凍，北邊遊騎之寇，終究不敢來攻城，也不敢越過戍城南下，這樣一來北方就沒有憂患了。”世宗聽從了他的建議。現今北方邊鎮東西九座戍城就是那時構築的。源懷遷任驃騎大將軍。
當時武興氐王楊紹先的叔父楊集起反叛朝廷，皇帝令源懷任使持節、侍中、都督平氐諸軍事，率兵進行征討，所有興廢之事，由他見機行事全權處理。邢巒、李煥一同奉命受他節度。正始三年(506)六月，源懷去世，終年六十三歲。世宗詔令賜給他東園製造的棺木、朝服一套、衣一件、錢二十萬、布七百匹、蠟三百斤，追贈他為司徒、冀州刺史。兼吏部尚書盧昶上奏皇帝說：“太常寺給源懷議定諡號說，源懷一生崇尚寬柔，氣質操守正直，依照定諡號之法，以寬柔正直而善終曰‘靖’，應定諡號為靖公。司徒府的議論則說，源懷在陝西任地方長官，使百姓得到恩惠教化，在朝廷任尚書令，百官稱他有仁義，按照諡法規定，布德執義曰‘穆’，應當諡為穆公。兩者所定的諡號不相同。”皇帝下詔說：“司徒府和太常寺所持的意見，並不十分得當，愛民好施曰‘惠’，可以諡為惠公。”
源懷性情寬容簡約，不喜歡繁複瑣碎，他經常對別人說：“作為一個朝廷命官，治理世務應當提綱舉要，何必過於仔細呢。就好比做房子，隻要外觀高峻，梁柱平正，基牆牢固，風雨不入，就很好了。至於刀斧痕跡不平整，砍削不細密，這不是房屋的毛病。”源懷生性不愛飲酒，但喜歡以酒待人，樂於結交朋友，擅長音律，雖然在白發之年，每逢安逸閑暇的時候，常常自己撫弄絲竹。源懷共有七個兒子。
景明二年(501)，源懷被召回朝任尚書左仆射，加賜為特進。當時皇帝有令，由於奸邪的官吏犯了罪以後，每每有許多人逃遁而未被追究，這些人有了過失就逃走，都感到怡然自得。從今以後，凡是犯罪的人不問其罪行輕重，隻要是藏匿逃竄者全部流放到邊遠之地。如果長期躲避不出來，就讓他的兄弟代替他遠徙。源懷於是向皇帝上表啟奏說：“按照朝廷的條令製度：犯罪而逃跑的吏員不在赦免之列。我私下考慮聖上的恩德，此事同先前寬宥的政策有所不同，過去許多被流放還在半路的人，尚且能獲赦免而得以回還，何況有的人並未犯罪，還要把他們遣徙到邊戍嗎？查地方官犯罪，逃走的人甚多，他們俸祿已經十分優厚，尚且還有這種過失，及至他們蒙受恩宥，忽然又得以返還。如今惟獨苦了一般的吏員，恐怕不是平等之法。如果讓我掌管此事，我以為應當寬免他們。”書表呈上以後，門下省認為現行條令已經頒布，就把他所奏之事駁回不予準許。源懷又重新上奏說：“臣以為朝廷法令貴在執行通暢，治政崇尚簡明切要，設立刑罰之法，目的在於懲治犯罪之人。假若符合道理，法令就不在乎是否繁多；執行法令可以通暢，豈能容允製度的嚴苛。這就是古今的達政，濟世之常規。我考察現行的條例製度，被授予勳品以下的人，因犯罪被揭發而逃亡的，一律不予寬宥，還要流放他們的妻兒。這雖然是想要抑製和阻絕奸邪之路，但這不是通用的法式。我又查尋條例規定，違犯職守的敗壞法紀的，專門懲辦九品官以下的人，難道九品以上的官員，人人都堅貞清白嗎？各州郡的地方官，一般都清廉有威望，至於有貪婪汙濁的人，因事實被揭發而逃竄，但遇到恩赦可以免罪。勳品以下的官員，獨獨與這種規定不一致。像這樣做，就是寬待縱容九品以上的官員，而嚴責品位以外的吏員，使得對官吏的培育安撫有差別，恩惠與懲罰不均等。又有圖謀叛逆罪惡滔天的人，遇到恩宥尚且可以免罪，而吏員犯了輕微的罪過，獨獨不受到赦免，致使大赦之法不能通行，開生之路受到阻塞，上違古代典憲，下悖現時法律，依臣之愚見，認為應當停止。”書表奏上以後，世宗采納了他的意見。
這一年，源懷被任命為車騎大將軍、涼州大中正。源懷向皇帝上書說：“南方賊寇遊弋於長江、揚子江，經常挑起戰亂，驕奢婬逸之風日益滋長。其貴臣重將，所剩無幾，崇信奸佞之徒，親昵yan宦之人，內外離心離德，骨肉猜忌叛逆。蕭寶融在荊郢僭位，其雍州刺史蕭衍率軍向東攻襲，上遊的軍隊已逼近其京城郊野。廣陵、京口守將各自持兵而兩邊觀望，鍾離、淮陰一帶相互鼎峙而靜觀得失。秣陵孤立危急，閉門不出。江南的君子小人，全都遭受災禍，翹首北望，朝不保夕。這實在是上天賜予的大好時機，實行吞並的難得機遇。我朝可以乘其蕭牆之釁，借其分崩之機，發兵向東占據曆陽，兼程指向瓜步，沿長江鎮戍，直達於荊郢。然後振奮我軍雷電之威，廣布我朝山河之信，那麽長江西麵之地，不用兵就自會來降，吳會一帶地方，指日可以占領。昔日王士治曾經說過，孫皓倘若暴死，另外擁立賢主，其文武之官，各得其任，就會是我們的勁敵。如果蕭衍舉事成功，其上下同心一致，那麽非但我朝今後圖謀很難，而且會使我揚州境內受到危逼。為什麽這樣說呢？壽春距離建鄴，隻七百裏地而已，那一帶的山川水陸，蕭衍都十分熟悉。倘若江南沒有風波，其君臣效力盡職，借水憑舟，轉眼而至，壽春都不能自保，對江南又能怎樣呢？如今蕭寶卷政權有土崩瓦解之勢，其邊城無援軍救助，掃蕩長江地區，的確就在今日。臣蒙受皇上深重的恩幸，以上想法不敢不照直陳述。”世宗下詔說：“不君不臣，是江南的常弊，有粟不食，那也就在於此。上天將要消亡它，諸臣又願攻取它，人事天道都順應，誰說不是大好時機？而且養虎遺患，是仁者所不為。況且十月五日，蕭衍軍已從水路大舉進攻，江南大傷小亡之勢，久來應有所定。假使上天懲罰蕭寶卷，蕭衍獲勝，那麽蕭衍主佐江南，必然又是亂亡遺孽，皇靈怎能長久保..他呢？如今朕所倚仗的，正是由於南方百姓企望聖德，邊地書信相繼而至，對於痛苦勞悴的百姓，理應救助接濟。如果像這樣做，揚州的兵力，已經配積不少，隻需速速派任城王元澄，委付他進行處置，另外加以慰勉，令其籌劃邊地戰事的計策。”後來由於蕭衍舉事成功，就將此事停止下來。
源懷又上表說：“昔日世祖仙逝，南安王在位，出外祭拜東廟，被賊臣宗愛所弑。當時高宗避難，潛藏在園苑之中，宗愛圖謀不軌，皇位尚未確立。臣之亡父先臣源賀與長孫渴侯、陸麗等人迎立高宗，繼承皇位。陸麗由於懷抱高宗入宮，為高宗所親近和賞識，被封撫軍大將軍、司徒公、平原王。興安二年(453)，朝廷追論定策之功，進封先父爵位為西平王。皇興末年(471)，顯祖準備傳皇位給京兆王。先父當時都督諸將，屯駐在武川，被征召到京師，特地向他征詢意見。先父堅持認為不可，顯祖許久才同意他的意見。就令先父持節將皇帝璽綬授予高祖。到了太和十六年(492)，陸麗之子陸睿呈狀於秘書省，說他的亡父與先父迎立高宗，朝廷追記其功，封陸睿為巨鹿郡開國公。臣當時回鄉為母親守喪，未能依例受封。到了太和二十年(496)，授任臣為雍州刺史，在出發之時，麵奏先帝，申述先父往日的功勳。當時皇帝命臣暫且赴任，不久當另有裁斷。及至二十一年，高祖駕幸雍州，臣又向皇帝陳說，當時蒙聖上敕旨，說待將臣召回朝廷後定當封授。自從高祖晏駕之後，就再未提及此事。臣私下考慮先父在遠曾迎立高宗，使大魏江山不墜；在近則效力於顯祖，使社稷有歸。像這樣的功勳，超出當世。陸睿憑他父親之功而獲得河山之賞，臣有家勳，卻未沾茅土之賜。得失懸殊，請聖上予以裁斷處理。”皇帝下詔說：“朝廷老前輩元丕，所說的情況與你申述的一樣，訪之於史官，其言大體也是如此。可依例授爵為馮翊郡開國公，食邑九百戶。”
皇帝又令源懷任使持節，加授侍中、行台之職，巡行北部邊境六鎮、恒燕朔三州，賑濟貧乏，兼采風俗，考論官員政績名次，所有事情的得失，都由他先行決斷然後上奏。自從京都遷到洛陽，北方邊地遙遠，加之連年大旱，百姓貧困不堪。源懷奉命巡行安撫，賑濟有方，及時轉運，通濟有無。當時皇後的父親於勁勢傾朝野，於勁之兄於祚與源懷原先就有婚姻之親，當時任沃野鎮將，頗多受賄之事。源懷將要巡行到他的鎮所，於祚出城在道旁迎接，源懷根本不同他說話，即刻彈劾於祚並免去他的官職。懷朔鎮將元尼須是源懷年輕時的好友，也多有貪汙受賄之事，他置酒宴請源懷，對源懷說：“我的生命是長是短，全在於你一句話，難道不能對我給以寬待嗎？”源懷說道：“今天的聚會，乃是源懷與故友飲酒之處，而不是判斷案情之所。明天到公庭之上，才是令人檢舉鎮將罪狀的地方。”元尼須無言以對，惟有流淚而已。源懷不久就上表彈劾元尼須。他奉公不屈，都皆如此類。
源懷又向世宗上表說：“自景明以來，北方邊地連年遭受旱災，高原陸地，不適於經營養殖，隻有少量水田，尚可耕耘。然而各鎮主將和幕僚，擅自占有豐腴的田地，把貧瘠荒蕪的土地給予百姓，百姓因此而困敝不堪，這種現象日益嚴重。特請求將各鎮的水田，就地分給普通百姓，先貧後富進行分配。若因分配不公平，有一人怨憤而上訴者，鎮將以下連署之官，每人扣去一季的俸祿，有四人以上上訴的各扣去俸祿一年。北方邊鎮，事情與內地不同，往日設置官職，完全沒有差別。單就沃野一鎮而言，從鎮將以下達八百餘人，黎民百姓怨聲載道，都說官員繁冗。邊地事情不多，確實少於京城地區，請求將各鎮主帥的屬員減去五分之二。”皇帝下詔說：“你的奏表具有撫恤百姓之心，已敕令有司全部依允所奏之事，下達施行作為永久的標準。像這類不能使百姓得益，有損教化傷害政事的現象，你可全部列舉上報朝廷。”當時百姓被豪強欺淩壓製，多年來積累的冤情太多，一時間前來申訴的，一天就有上百人。源懷對有利於北方邊地的事，所收集上報朝廷的，共有四十餘條，都被嘉獎和采納。
正始元年(504)九月，有邊報說蠕蠕部將率十二萬騎兵六路並進，想要直趨沃野、懷朔，南侵恒州、代州。世宗下詔命令源懷以本官加授使持節、侍中，出朝據守北部邊地，指授方略，征發士卒，各種所應處置之事，都憑源懷隨時應變、見機行事。又詔令源懷之子直寢源徽跟隨源懷北行。詔賜馬一匹、細鎧一具、禦槊一枝。源懷拜受完畢，就在他家的前庭跨鞍持槊，躍馬大呼，環顧前來送行的賓客說道：“我氣力雖已衰弱，還是能夠像這樣出征。蠕蠕人畏壯輕老，我也未必就可以欺侮。今日承奉朝廷的作戰方略，總領驍悍之眾，足以生擒其部族主帥，獻俘於朝廷宮闕之下。”時年六十一歲。源懷一到雲中，蠕蠕人聞風逃遁。
源懷隨即到達恒、代二州，巡視各鎮左右要害之地，確定可以築城置戍之處。一處一地測量其戍城的高低，計算其城牆的厚薄，考察其儲存糧草兵器的方便，犬牙交錯相互救援的形勢，一共表奏五十八條。表章說：“蠕蠕人不受轄製，自古至今都如此。四處遊牧如鳥集散，擇水草之地為家，中國深以為患者，都是這類部族。曆代君王想要驅除它，都沒有能夠製服。雖然北邊拓展到榆中，再遠到達大沙漠，但曆代智臣勇將，也都竭盡其力量和謀算，胡人雖屢次逃遁，中國卻因此而疲憊不堪。當時的先哲們，思考自然萬物之至理，推廣百姓所熟悉的生業。比較中原的粒食邑居之民、蠶衣儒步之士，與邊遠的茹毛飲血之類、鳥宿禽居之徒，親自衡量其短長，因此製定適當的防備策略。知道修築堅固的城郭，可以一勞而永逸。自從皇魏統一中國，建都於平城，威震天下，德冠宇宙。現在定都於洛陽，離北地遙遠。代州上表說北地邊防鞏固，高車族在外反叛，隨即遭受旱災，戎馬甲兵，十分缺少八分。臣去年再次鎮守陰山，排除繁雜的事務，派尚書郎中韓貞、宋世量等考察各處險要，了解便於防守的地形。以原有鎮所東西相望為標準，使地勢互相連接，於其中築城置戍，分兵把守要害，平時勸農積粟，戰時隨時出兵征討。這樣就做到了增廣有利的地形，軍隊氣勢也更加強盛。而且北方沙漠之地，夏季缺乏水草，有時雖有少量泉水，也無濟於大眾。倘若胡人有非分之意，也要等到秋冬之際，因氣候有利才敢行動。如果到了冬天，到處冰沙凝凍，北邊遊騎之寇，終究不敢來攻城，也不敢越過戍城南下，這樣一來北方就沒有憂患了。”世宗聽從了他的建議。現今北方邊鎮東西九座戍城就是那時構築的。源懷遷任驃騎大將軍。
當時武興氐王楊紹先的叔父楊集起反叛朝廷，皇帝令源懷任使持節、侍中、都督平氐諸軍事，率兵進行征討，所有興廢之事，由他見機行事全權處理。邢巒、李煥一同奉命受他節度。正始三年(506)六月，源懷去世，終年六十三歲。世宗詔令賜給他東園製造的棺木、朝服一套、衣一件、錢二十萬、布七百匹、蠟三百斤，追贈他為司徒、冀州刺史。兼吏部尚書盧昶上奏皇帝說：“太常寺給源懷議定諡號說，源懷一生崇尚寬柔，氣質操守正直，依照定諡號之法，以寬柔正直而善終曰‘靖’，應定諡號為靖公。司徒府的議論則說，源懷在陝西任地方長官，使百姓得到恩惠教化，在朝廷任尚書令，百官稱他有仁義，按照諡法規定，布德執義曰‘穆’，應當諡為穆公。兩者所定的諡號不相同。”皇帝下詔說：“司徒府和太常寺所持的意見，並不十分得當，愛民好施曰‘惠’，可以諡為惠公。”
源懷性情寬容簡約，不喜歡繁複瑣碎，他經常對別人說：“作為一個朝廷命官，治理世務應當提綱舉要，何必過於仔細呢。就好比做房子，隻要外觀高峻，梁柱平正，基牆牢固，風雨不入，就很好了。至於刀斧痕跡不平整，砍削不細密，這不是房屋的毛病。”源懷生性不愛飲酒，但喜歡以酒待人，樂於結交朋友，擅長音律，雖然在白發之年，每逢安逸閑暇的時候，常常自己撫弄絲竹。源懷共有七個兒子。