建武二十七年（51年），第五伦被举为孝廉，补任淮阳国的医工长，随同淮阳王到他的封国。刘秀召见他，深感他与众不同。
建武二十九年（53年），随从淮阳王至京城，与其他官属一同被接见，刘秀向他询问政事，第五伦趁机对奏为政之道，刘秀非常高兴。第二天，又特地召见他入宫，和他一直谈到天黑。刘秀和第五伦开玩笑说：“听说爱卿曾殴打岳父，不让兄长和你一起吃饭，有这种事吗？”第五伦回答说：“臣三次娶妻，她们都没有父亲。少年时曾遭饥荒之苦，实在不敢随便请人吃饭。”刘秀大笑。