皋亭山南麓原有一座孤墓，墓碑上写着“奶娘之墓”四字，坟旁边还有一座小亭，人称“奶娘亭”，据说这是乾隆皇帝奶娘之墓。
相传海宁陈阁老喜得贵子时，正在江南的康熙第四子雍亲王的夫人也生了孩子，有一天，雍亲王就让陈家奶娘抱孩子到王府看看，可送出来时小子变成了丫头。陈阁老知此事性命攸关，命全家忍气吞声，但雍亲王调包后还想灭口，派人送鹤顶红毒酒到陈家，要奶娘喝下。奶娘死后，陈阁老将其葬于皋亭山，后来乾隆下江南时曾多次来坟前祭奠。
个人觉得这个“奶娘之墓”的奶娘是乾隆的奶娘可能性不高，即使乾隆是调包的汉人，但陈阁老也不必将奶娘葬在离海宁有几十公里的皋亭山。
如果这个故事的真的，那其实是一个悲剧，对于一个没有任何过错的弱女子，古代皇族随意将其毒杀，无论后世再怎么祭奠，那都是不值得赞扬的。
坟已荒芜，亭亦不见。如今重修的奶娘亭在茶祖峒上山路口不远处，其实也挺好，如游人上山遇雨，可以在亭中避雨休憩。