时间长了，谁也不喜欢他。母亲死后，明明穷得没钱办丧事，韩信却找到了一处风水宝地安葬了母亲。在古代一个人做了大官后，可以追封自己已逝的亲人的，史书记载“令其旁可置万家”，意思是坟墓可以安置一万户人家来供奉他母亲的坟墓，这在古代是很大官才做得到的，而且是一种很光荣的事，也是追念母亲的一种孝顺体现。《史记》中的《淮阴侯列传》里记载：“韩信虽为布衣时，其志与众异。其母死，贫无以葬，然乃行营高敞地。余视其母冢，良然。”韩信的这一举动，表明他青年穷困时期便胸怀大志，自信将来能成就一番事业。

韩信早年最为人津津乐道的事情就是胯下之辱。据说有一天，韩信佩剑经过淮阴街市，有些手脚勤快养家糊口之人看不惯韩信一副穷酸样，四体不勤，五谷不分，还装模作样带把剑，实在是滑稽。于是，在众人的怂恿下，一位鲁莽少年站了出来，拦住韩信说：“虽然你长得人高马大，没事还老喜欢带把剑晃悠，但是我知道你其实是个缩头乌龟。”在那个时候，只有贵族身份的人才有资格带剑，因为当时冶金技术并不高，铸一把好剑很不容易。

韩信没有搭理他。少年更来劲了，高声喊道：“你要是不怕死，捅我一刀；要是不敢，从我胯下钻过去我就饶了你。”众目睽睽之下，韩信一言不发，盯着少年看了一会儿，然后弯下腰，匍匐在地上，从这个少年的胯下钻了过去。这件事成为韩信的笑柄，大家都以为韩信真的是个胆小鬼。