天下豪杰，并将马援推荐给王莽。王莽于是任命马援为新城大尹。公元24年，新朝灭亡，马援和哥哥增山连率（官名）马员一起离开了各自的任所，跑到凉州避难。公元25年，刘秀即位后，马员到洛阳投奔光武帝。马援则羁留在西州，受到隗嚣的器重，被任命为绥德将军。

同年，隗嚣派马援去跟公孙述拉近关系。马援跟公孙述原本是同乡，私下里也有一些交情，本以为这次老友见面会把酒言欢，没想到自立为王的公孙述却摆起了架子，于是返回陇右后建议隗嚣不要跟公孙述合伙。公元28年，马援携带隗嚣的书信到洛阳，在宣德殿面见刘秀，两人一见之下互相都很欣赏，后马援要回西州时，光武帝派太中大夫来歙持节相送。马援回来后向隗嚣报告了这次出行的情况，隗嚣同意跟刘秀合伙，并且派长子隗恂到洛阳去做人质。马援带着隗恂来到洛阳后，刘秀一直没有安排他职务。于是马援便上书刘秀，请求率领宾客到上林苑去屯田。刘秀答应了他的请求。此时，隗嚣听信部下挑拨意图反叛，马援再三劝阻无效后领兵出战，打败了隗嚣。此后，马援深受刘秀赏识。

公元35年，刘秀任命马援为陇西太守，派步骑三千在临洮击败先零羌，后挥师追击其他零散羌族部落，并取得胜利。