张师山原名天竺山，因白云缭绕，故易名白云山。汉高祖六年，军师张良功成隐退，遍游名山大川，至此山观望良久曰："此地虽无大富大贵，但亦是无大灾大难矣"，遂在此避谷。为纪念他，后人又改山名为张师山。山顶有南北西三门，麻石垒墙。古称白云岩，为平江四十八岩之一。山中有三崖，名为金崖、穿崖、吊崖，金崖是张打坐修炼成仙之处。山巅有白云古寺，寺中有三代方丈，名为班禅、志哪、青远，功德圆满，现合葬于山腰茶园里，立三清墓碑。寺中原有张良塑像，像前有"汉天一柱"四字（毁于"文革")，相传为汉高祖所书。汉高祖曾亲临此山，邀张良复出未果。崇祯十六年，李自成挥军南下，占领全湖北，在此筑寨驻防，因有现存的城墙城门。乾隆五年平江虎患成灾，此山亦有大虫伤害人畜，是年七月，山民刘握蛟在此山击毙老虎一只，后又毙狼数匹，平息虎狼之患。

张良字子房，是助汉高祖刘邦夺取天下，建立西汉王朝的功臣之一。刘邦对张良也是格外的器重，无论是在夺取政权之前，还是得天下之后，很多重大的事情，刘邦都是问计于张良之后才实施的。也可以说是到了言听计从的状态。