鍾繇到達長安後，致信馬騰、韓遂等人，為他們陳述利弊禍福，馬騰、韓遂都送自己的一個兒子到朝廷為人質。
建安七年（202年），袁尚派高幹、郭援率軍數萬，與南匈奴單于欒提呼廚泉進攻河東郡，並派使者與韓遂等關中諸將聯合出兵，曹操派鍾繇對抗，而鍾繇派張既勸說馬騰支援曹操。
馬騰派馬超率精兵一萬多人，連同韓遂等的軍隊，與鍾繇合擊大破郭援等。獻帝拜馬騰為徵南將軍、韓遂為徵西將軍，允許他們開府辟召掾屬。
建安十年（205年），曹操派張既徵集馬騰、韓遂等人擊敗了高幹、張晟軍，斬殺了反叛的衛固等人。
建安十四年（209年），韓遂派自己的女婿閻行前往拜謁[yè]曹操，曹操厚待閻行，上表朝廷授閻行為犍為太守。
閻行趁機請讓他的父親入朝任職，閻行西還見韓遂，把曹操勸韓遂入朝的話告訴他。並趁機勸韓遂歸附曹操，勸他先派一個兒子入朝作為人質。韓遂說：“暫且再觀望幾年！”後來就派自己的兒子與閻行的父母一起入朝。
建安十五年（210年），韓遂親自率軍，討伐之前殺雍州刺史邯鄲商而反叛的武威太守張猛，留閻行守舊營，張猛派兵向東抵禦。他手下的官吏百姓畏懼韓遂，於是反而一同攻張猛，張猛登樓自焚而死。
建安十六年（211年）三月，曹操派鍾繇討張魯。讓夏侯淵等率軍出河東與鍾繇合兵。而馬超等九部意圖反叛，推舉韓遂為都督。
韓遂當時剛討平張猛回師，馬超便勸韓遂一同起兵。閻行勸諫韓遂，不想讓他與馬超聯合。韓遂不聽，於是向東至華陰。
韓遂等人的軍隊十萬，進軍至潼關。七月，曹操西征，與馬超聯軍夾關對峙。曹操軍駐紮在蒲阪，想要西行渡河，馬超聽說後對韓遂說：“可以在渭河北岸據守，不到二十天，河東糧盡，敵軍自己便會走了。”
但是被韓遂拒絕。曹操被馬超進攻，險些無法渡河，賴帳下校尉丁斐在河岸放出大量牛馬，使馬超軍爭相追趕牛馬，馬超控制不住，曹操因此得以成功渡河。
九月，曹操採取賈詡的計策，離間聯軍。當時，韓遂請求與曹操相見，曹操與韓遂本來是老朋友，於是，他們兩人來到陣前，馬頭相交，在一起說了很長時間，沒有說到軍事，只是談論京都的往事與老朋友們，高興時拍手歡笑。
當時，馬超等部隊中的關中人與胡人都來圍觀，前後重重疊疊，曹操笑著對他們說：“你們是想來看曹操嗎？我也是一個人，並沒有四隻眼兩張嘴，只是智謀多一些罷了。”
會面結束後，馬超等人問韓遂說：“曹操說了些什麼？”韓遂說：“沒有說什麼。”馬超等有了疑心。另一天，曹操又給韓遂寫了一封信，信中圈改塗抹了許多地方，好象是韓遂所改的，馬超等更加懷疑韓遂。
曹操於是與馬超等約定日期，進行會戰。曹操先派輕裝部隊進行挑戰，與馬超等大戰多時，才派遣精銳騎兵進行夾擊，大破馬超等，斬殺成宜、李堪等。韓遂、馬超逃奔涼州。
建安十七年（212年）五月，曹操將韓遂子孫在京師的人全部誅殺，於是將親自寫信給閻行，說明了閻行的父親正被關押，並威脅閻行。
韓遂聽說閻行的父親還活著，想要讓他一同遇害，以此來堅定閻行的意志，於是強行把自己的小女兒嫁給閻行，閻行不得已而娶韓遂女。曹操果然懷疑閻行。
建安十九年（214年）春，進入氐王千萬部落中，佔據顯親，夏侯淵想要襲取顯親，韓遂逃走。
夏侯淵繳獲遂韓遂軍糧，追擊至略陽城，留下負責監查的部將守衛輜重，自己親率精銳步騎突襲焚燬長離羌屯，斬首頗多。
聽聞訊息的韓遂軍中羌兵紛紛回援各自的部落，韓遂不得已，果然率軍來救，而與夏侯淵對陣。諸部將眼看韓遂軍力龐大，非常頭痛，準備紮營挖塹做持久戰。夏侯淵擊鼓奮擊，大破韓遂軍。
建安十九年（214年），讓閻行別領西平郡。閻行糾集他的部曲欲殺韓遂投降，響應夏侯淵，乘夜攻擊韓遂不下。
韓遂極為失意，向成公英表示自己打算從羌中撤退至蜀地，依附劉備。成公英反對，認為韓遂興軍數十年，如今雖然失敗了。
但是不應該丟棄自己在西州建立的威信而轉投他地，向韓遂獻計先躲入羌氐部落中重新招攬部眾，等待機會捲土重來。
韓遂從計，連同數千名追隨者退走羌中，由於韓遂曾經有恩於羌人，所以得到羌人的保護。
建安二十年（215年），夏侯淵回漢中，留下閻行，韓遂結集羌胡數萬兵眾攻破閻行。
不久，韓遂便病死，田樂、陽逵、麴演、蔣石等於是斬下韓遂頭顱送於曹操（一說被部下殺害），享年七十餘歲。
早年在涼州起兵，殺傅燮，敗張溫，董卓、孫堅、皇甫嵩等名將亦都曾在其手上失利。後來與馬騰一同割據關西，對馬騰形成壓制。袁尚派高幹襲擊河東郡時，韓遂派兵幫助曹操。
在《三國演義》中，韓遂形象與正史有一些出入。為幷州刺史，與馬騰結為異姓兄弟，同鎮西涼，曾隨馬騰勤王，進攻李傕等人，因軍糧不足被擊敗。
後馬騰被曹操誘入京城，遇害。出於兄弟之誼，韓遂與馬騰之子馬超聯合，起兵進攻曹操，欲為馬騰報仇。
幾番交戰之後，馬超、韓遂中曹操離間之計，馬超對韓遂起疑，韓遂手下密謀降曹，被馬超發現，砍斷左手，成為殘疾之人。最終，馬超敗走，韓遂降於曹操，被封為西涼侯。