十分尊敬他，比如张珪、赵世延这样的名臣对他尤其礼敬。凡有什么疑惑，一定会亲自到虞集门下咨询、求教。所以，他的名声在当时特别大。人们都以结识这样一个彬彬儒者为荣。

他在朝做官，一尘不染，两袖清风，家无余财，归老退居之后，家中人口也多。慕名的人络绎不绝，结伴而至，有的人出于尊敬甚至争着给他送房子地产。但他从来不苟且为人作文，以迎合世俗。有一个人，资产为一方之首，在本地有权有势。死了之后，他的儿子托人请求虞集为他父亲写一篇墓志铭，以重金中统钞五百锭为见面礼，虞集不为所动，使求文者惭愧感叹而去。求教者送来的礼物，他都慷慨地用在了来访的宾客身上，从不因为家境不富裕而有所吝惜。所以，人们愈加尊重他。

虞集评价人，一定要先看他的度量见识，如果他认为一个人的度量不大，见识不远，决不会去沽名钓誉，与世俗混而为一。他评价文章，一丝不苟，一定要做到精而益精，善而又善方才罢休，凡文意有违反经书的，文辞再美，也不会夸奖一句。他的这种评人品文的做法，即使招致他人诽谤甚或忤怒权贵，也不改变。他的这种评价方式是很准确的。比如他评价元明善的文章，元明善就很欣赏。御史中丞马祖常很欣赏一个人，但虞集认为这个人虽小有才华，但度量、见识不足，认为这个人不会有好结果。马祖常几次想让虞集在推荐书上签名，虞集不签，惹得马祖常很不高兴。后来，这个人果然事败身死，到这时，人们才叹服虞集有先见之明，都认为他有知人之能。