文字记载子房祠的历史是从明代中期开始的。宣德初年，徐州大旱，漕运总督陈瑄（1365－1433）乞雨子房山，应验后，陈瑄便在山上修建子房庙。正统《彭城志》：“子房山在城东五里，山上今有子房庙。”这些都说明子房祠最初是建在山顶的。嘉靖《徐州志》卷之八说“留侯庙，在子房山。宣德初，平江伯陈瑄建山上。景泰间，徐州知州宋诚徙山左，新之。”也就是说从景泰以后，子房庙被迁移到今天的山腰上，俯瞰黄河。到了嘉靖年间，子房庙改称子房祠了。崇祯五年至八年，霍维华重修子房祠，建来鹤厅于山上。

最近在网上看到子房山东山寺志：“公元582年(隋开皇二年)靖嵩在子房山建崇圣寺，崇圣寺是子房山最早建造的佛寺，与现在的东山寺一脉相承，有史可稽。”
查一下，释靖嵩(537～6l4)，河北固安人（范阳方城人），隋朝高僧，俗姓张。15岁出家。78岁卒徐州彭城。靖嵩北齐时代在邺都为法主。后北周武帝宇文邕毁灭佛法，清理寺院，靖嵩避地江南，受到陈宣帝的器重，陈宣帝远揖德音。承风迎引。令侍中袁宪至京口城礼接登岸。帝又使驸马蔡凝宣敕云。至人为法以身许道。法师等善明治乱归寄有叙。可谓怀道正士。深可嘉之。宜于都郭大寺安置所司供给务令周洽。开皇十年（590年）北还，后仍回徐州彭城。盛弘《摄论》，著有《摄论疏》、《九识玄义》等，为时人所宗。北周武帝宇文邕560年等基，574年，宇文邕正式下令灭佛：“断佛、道二教，经像悉毁，罢沙门、道士，并令还民。靖嵩应该是这个时间段去江南的，590年北还，582年靖嵩在子房山建崇圣寺？有点时间对不上。靖嵩在彭城的讲法道场在徐州的白塔寺。

白塔寺，徐州八大古寺之一，北方成实学派的重镇，（北魏）孝文帝曾驾幸于此。鸠摩罗什的弟子僧嵩住持徐州彭城白塔寺，大力倡导《成实》，形成江北的彭城系统，但其法系影响则遍及南北各地，门徒有僧渊、昙度、道登、慧纪、慧球等。由僧嵩建立的彭城系成实师受到北魏朝廷的十分尊崇，与僧导的南方寿春系并称“成实学派的南北两大系统”。

张希，字子颜。祖父宋武略将军张弘籍，梁武帝的舅舅，梁梁武帝追赠弘籍为廷尉卿。父亲：南梁驸马都尉，利亭侯，尚书右仆射，湘州刺史张缵，字伯绪，母亲：富阳悼公主（梁武帝第四女）。张希作为张缵的长子，（原长子张伟早夭）早知名，梁武帝时期为秘书郎，侯景之乱后奔江陵，出任梁元帝萧绎的黄门侍郎，又转侍中。张希是梁简文帝的驸马，尚梁简文帝第九女海盐公主，岳父即舅父，江陵梁元帝萧绎也是张希的舅舅。承圣三年（554年）西魏大军于谦，杨忠（杨坚的父亲）大破江陵，掳走江陵十几万军民。张希也掠去长安。556--560年陆续放归一些南梁官员，张希无意效命南陈，也不愿在西魏做官，江陵的西梁萧詧和张希有杀父之仇，更不原去江陵，只能远离长安的政治中心，到徐州定居。张家老人说，隋朝前子房山顶建了一大间屋，供奉张子房，是张家建的祠堂。这是老家谱记载的。明中期陈瑄官方出资修建子房祠只是把山顶上的子房祠建成规模较大的子房祠。三十年后，徐州知州宋诚把子房祠迁徙到半山腰，改称子房庙。形成庙会。张家出资极大，在民间募资中是最多的，为此，张家在子房庙前立了四桶碑，把张家的历史渊源和汉留侯张良的传承关系都刻在石碑上了。赤松堂张家是西晋司空张华的后人，也是汉留侯张良的嫡传子孙。张家一直把子房祠作为张家的祠堂，四时八节祭祀。嘉靖年间，子房庙又改称子房祠了，因为它原本的根源是山顶上子房祠演变而来的。子房山周围的老人都知道，子房山是张家的山，子房祠是赤松堂张家的祠堂。明朝万历年间张家出个进士张鹤鸣，后擢升御史，御史张家即赤松堂张家，是徐州彭城唯一张子房嫡传子孙。

子房山东山寺志：“公元582年(隋开皇二年)靖嵩在子房山建崇圣寺，崇圣寺是子房山最早建造的佛寺，与现在的东山寺一脉相承，有史可稽。”-----------子房山崇圣寺未见史书、府志记载，徐州著名的八大寺，有一千六百多年的历史了，未见崇圣寺？

嘉靖《徐州志》卷之八说“留侯庙，在子房山。宣德初，平江伯陈瑄建山上。这是有文字记载的最早的子房祠是“宣德初，平江伯陈瑄建山上”。明朝宣德初年，子房山顶上究竟有没有子房祠？没有的，陈瑄上山拜空气吗？算了挂，许了愿，灵验后，一般的做法是“重建庙宇，再塑金身”-----还愿，这是陈瑄的建子房祠的原因。陈瑄上山拜了子房，算了一卦，肯定是许了愿的，未及下山，大雨已经下了。愿实现了，下面肯定是还愿，扩建庙宇，重塑金身。所以，有文字记载的子房祠是明代宣德年间才始建的。
张家的家谱记载，子房山顶上子房祠是隋朝前期张家的老祖在山顶上建的一大间祠堂，供奉的张子房。张家称是家族祠堂，子房祠。民间都称是子房庙。东山寺是清末才迁到子房山的，现在又立块碑，记载子房山的子房祠为子房寺，是隋朝开皇二年（582年）靖嵩在子房山建的崇圣寺，崇圣寺是子房山最早建造的佛寺，与现在的东山寺一脉相承，有史可稽。”北周武帝宇文邕560年登基，574年宇文邕正式下令灭佛：“断佛、道二教，经像悉毁，罢沙门、道士，并令还民。靖嵩在这个时间段去江南了，590年北还，582年靖嵩应该还在江南。隋开皇八年（588年）十二月至次年（589年）二月灭南陈，隋朝统一。582年嵩靖在子房山建崇圣寺？有点不通。

隋朝前期子房山上才建有子房祠。子房祠的兴建是张家作为张良的后人自建的家族祠堂。张希来徐州定居后，作为南梁的驸马，侍中，妹妹张皇后是西梁的皇后，张皇后的女儿又嫁给杨广为妃，张希是杨广萧妃的亲舅舅。张希在子房山顶建子房祠是有财力兴建的。张希是西晋司空张华的九代孙，张华是汉留侯张良第十六代孙。所以，张希作为张良的嫡传子孙，兴建子房祠是必须的。

张希是南梁尚书右仆射，利亭侯，湘州刺史张缵的嫡长子，祖父是张弘籍。兄弟三个，两个妹妹。子妹五个：张希，张皇后（南梁萧岿的皇后），张朋，张轲，张妙芬（第五女）。张朋的儿子张贤。张贤，张轲，张妙芬三个的出土墓志铭有在各个博物馆，墓志铭上都记载着他们祖籍范阳方城人，都追溯到西晋司空张华，分别为张华的九世孙，十世孙（张贤），作为老大的张希自然也是张华的九世孙。张华为汉留侯张良第十六世孙，张希作为张良的子孙是有张华传承过来的。在徐州子房山建宗祠，开创“赤松堂”，张希为赤松堂创始人。子房祠虽然在明朝被官府从山顶迁徙到半山腰，但子房祠依旧是赤松堂张家的祠堂。明代修庙时在子房祠前立了四桶碑，记载着子房祠的历史及张家张良的传承关系。石碑丢失了，但老人的记忆犹在。

史书虽然没有明确记载子房祠在子房山顶的兴建是始于何年？但是，张彦奇的诗句说明，子房祠已经存在上千年了：崔嵬寝庙千年在，带砺山河一望收。赤松堂张氏族谱记载，子房祠是南陈时期，赤松堂开基祖，南梁驸马都尉，侍中张希兴建于子房山顶的张家祠堂。只是这个山顶子房祠从隋朝前到明初是一直存在的，名不见经传，只是赤松堂张家供奉着。张希是西晋司空张华的九代孙，汉留侯张良的二十四代孙。试想，不是张良的嫡传子孙，哪个人家愿意出资在山顶兴建子房祠？哪个人家有如此财力？张希虽是侍中，被俘人员，流落徐州隐居，但他妹妹是西梁萧岿的皇后，张皇后的女儿又嫁给晋王杨广为妃，杨广在扬州经营十余年，张希有妹妹张皇后，外甥女萧妃的资助，兴建子房祠是有财力的。
明宣德年间平江伯陈瑄在子房山顶重修子房祠，只是扩大规模了子房祠。还是张家的祠堂。三十年后的明代景泰年间，徐州知州宋诚看到的子房祠的经济价值，大兴土木，把子房祠从子房山顶迁徙到今天的子房山半山腰，可能是考虑山上地域狭窄，运送物料不便，才迁徙到半山腰的。这肯定是征得张家同意，官方斥资扩建，张家是求之不得。而且也是出资巨大，（家谱记载出资巨大）还允许在庙前立了“四桶碑”。石碑记载了子房祠的历史演变，张家和汉留侯张良的传承关系等等。这四块石碑在清嘉庆年间就丢失了。嘉庆十八年，张蜀锦去子房山遍寻未见。

这是清朝嘉庆十八年，一家张氏族谱中----------族谱叙说中的一段记述：“我听说本城里有一家老家族，在修留候庙时，有石碑立于庙前的记述等等，说他们的家谱记载张弘籍为宋武略将军，是汉留侯张良的四十三代孙，今天这个家谱既然没有得到，到子房庙里观察一遍也未寻得。虽然他们和留候的关系很近，我们又岂敢攀附呐？”-------------这段文字是二百多年前的记述，也进一步证实，张家（赤松堂）在子房山修庙时确实在庙前立了石碑。张弘籍也确实是徐州赤松堂张氏的开基祖张希的祖父（爷爷）。张弘籍的姐姐张尚柔是梁武帝的生母。弘籍是梁武帝萧衍的舅舅。弘籍的儿子张缵，字伯绪，南梁驸马都尉，利亭侯，尚书右仆射，湘州刺史。张华八代孙，梁武帝尝云，壮武公（张华）预言，八代有超过他的人，莫非就是此子啊。张华是汉留侯张良第十六代孙。

张希是张华的九代孙，张良嫡传二十四代孙。赤松堂张氏在明代万历八年出个进士，御史张鹤鸣。万历十八年曾为徐州儒学从修撰写《重修徐州儒学碑记》----------张鹤鸣。就是赤松堂张氏明代的老祖。

现藏徐州博物馆展出的两道圣旨敕令，为张鹤鸣在万历年间荣升文林郎的敕令。张腾为张鹤鸣父亲。