。回到汉朝京城，朝廷把李广交给执法官，被判了一个斩首。最后李广拿出身家财产赎罪，才免去死罪被削职为民。之后，李广在家闲居数年，与灌强一起隐居蓝田，常到南山打猎，曾在一天夜里带着一名骑马随从外出，和别人在田间饮酒。归来走到霸陵亭，霸陵尉喝醉了，大声呵斥禁止他们通行。李广随从说：“这是前任李将军。”但是今非昔比，成为普通人的李广报名号不好使了，廷尉说：“现任将军尚且不许通行，何况前任呢！”便扣留了李广，让他停宿在霸陵亭下。

没过多久，匈奴入侵杀死辽西太守，于是汉武帝重新启用李广，任他为右北平太守。李广提了个要求，让霸陵尉一起赴任，然后找机会把这个当年冒犯过自己的人给杀了。李广驻守右北平后，匈奴人敬畏李广的威名，几年内没有骚扰辽西地区。没过多久，石建去世，于是皇上召李广接替石建任郎中令。

公元前123年，李广又受任后将军，随大将军卫青的军队从定襄出塞，征伐匈奴，许多将领因斩敌首级符合定额以战功被封侯，而李广的军队却没有战功。