刘遗民即晋代居士刘程之，“东林十八高贤”之一。南朝萧统《陶渊明传》记载：时周续之入庐山事释慧远。彭城刘遗民亦遁迹匡山，渊明又不应征命，谓之"浔阳三隐"。刘程之，字仲思，彭城人，汉楚元王之后。妙善老庄，旁通百氏。少孤，事母以孝闻，自负其才，不预时俗。初解褐为府参军，谢安刘裕嘉其贤相推荐，皆力辞。性好佛理，乃之庐山倾心白托。远公曰：官禄巍巍欲何不为。答曰：君臣相疑，吾何为之。刘裕以其不屈，乃旌其号曰遗民。