这些事情让张良觉得要真正的远离朝政，免去这些纠缠，乐得清闲，只有隐居。特别是一代功臣先后都因故被害致死，朝廷的险恶，更坚定了他辞职归乡的意念。于是，他向汉王递交了辞呈，说是因为身体不好，需要去民间休养身体。当时他也确实是身体不行。及至淮南王英布谋反，高祖亲征平叛，张良已是病体虚弱，只能强起出送，所以才得到高祖的恩准。

高祖平息英布的叛乱之后，心情颇是不错。待高祖回朝，子房便面奏高祖，请求隐居修行。高祖当然情不甘意不愿，他知道，子房对于他的重要，而且，他还封子房为少傅，要子房辅佐太子。