吕氏之父会看面相，而吕氏则会观天象。吕氏之父就是因为看中了刘邦的面相而把女儿许配于当时非常落魄的刘邦的，后来吕氏又观天象找到了行踪不定的刘邦。于是，刘邦让吕氏观天象而知道了张子房的所在。

一日，子房正在打坐修炼，突然有一种预感。于是掐指一算，原来是王者之气在移动。登山观看时，已见山下人头攒动，彩旗飘舞，浩浩荡荡，就知道是高祖来了。只见卫队到了山下分成两半，一半打黄旗，一半打白旗。高祖骑着高头大马，正往山上走来。

离开洛阳已经很多时日了，虽说是隐居，但是心里总还是挂念着高祖，跟随高祖这么多年，南征北战，有着深厚的感情。高祖对他不薄，他对高祖也是一片忠心。眼见着高祖一步一步地走近，他的眼睛不禁湿润了，恨不得三步并着两步把高祖迎上山。可是，他知道高祖这么大老远的跑来，肯定是要他下山的。见了面，旧情难却，再也无法推脱了，不如不见的好。于是，他挥泪步下山头，躲进了附近的山洞。