此村以前有一颗很大的银杏树，好几个成年人才能环抱一周，相传三国时期刘备还在此树上栓过马，因此村中人甚是以之自豪。在这过树下还有一个银杏庙，因此树甚大加之此庙位置得天独厚，因此游人络绎不绝而远近闻名，故而得名银杏村。