耶律楚材墓位于颐和园昆明湖东岸北头，墓和祠堂共建于一小庭院中。院门西向，面对昆明湖，墓在后院，墓罩于北房三间内；祠堂也是三间，筒瓦硬山箍头脊，里面供奉耶律楚材泥塑像。祠堂对面有高3．1米的石碑一座，碑阳为乾隆十五年（1750年）御制《耶律楚材墓碑记》，碑阴为大学士汪由敦撰《元臣耶律楚材墓碑记》，院内东侧立有从湖中捞出的石翁仲一。