大字遠山にあります。遠山寺は遠山右衛門太夫光景が父正景の菩提を弔うために開基したと伝える寺です。 遠山氏は後北条氏に仕えた武将で江戸城代をつとめたりします。また、江戸時代に遠山の金さんの名で名奉行としてしられる遠山景元はその子孫だということです。