山方会館の建っている所は、昔べざいの池と言って大きな池でした。その池で、子供が水死したのを悲しみ、磯崎万五郎という方がお金を出し、有志の人にも寄付をお願いして地蔵堂を建てられ、供養をされたそうです。自分の子ではないそうですが、昭和8年に建てられてからずっと、子から孫へ引き継いでお守りしておられるそうです。
明治か、それ以前からか、瀬木では疫病災難除けの祈願のため、津島神社の天王祭りになぞらえて天王祭りを行ってきました。瀬木の天王祭りは旧暦6月13日に行い、当日は地元の人々が家内の無事を祈念して白提灯に名前を書き入れ奉納しました。大小さまざまな提灯を灯し、大きな十二山(じゅうにやま)と小山(こやま)を担いで勇みばやしも賑やかに練り歩く。ただしこれは古き良き時代の話。今は当時ほどでもないがそれでも夜、花火を楽しみながら十二山と小山担いで神社へ。
現在の遥拝所は神明社の鳥居脇に設けられています。祭りは新暦の7月の第3日曜日に行われます。