岩出祭主館跡
南北朝時代になり、延元2年（1337年）に南・北両朝軍が激戦を交えるなど両朝による戦乱の地となると、祭主館も次第に退転に傾いた。南北朝時代には岩出祭主家の直系は北朝から補任されたが、南朝方祭主も置かれるなど、祭主家も両朝に分かれ、正平2年（1347年）10月、南朝についた外宮の禰宜度会家行が伊勢近津長谷（現多気町佐奈）の長谷山に城を築き、楠木正行に呼応して兵を挙げるために川端に集めた軍兵を長谷へ集めたが、この軍兵の間に「北朝に味方する岩出祭主を討つ」との噂が流れ、この流言におびえた岩出祭主親忠は翌3年正月4日の夜半ひそかに京へ逃れている。また、応仁の乱を境に在地の情勢が緊迫すると、以来祭主館も荒廃し、文明年間（15世紀後半）に愛洲忠行（伊予守）が神領奉行を設ける迄、「岩波の廃塁」と呼ばれた。また、祭主家も伊勢の居住自体が困難になり、第86代祭主の藤波伊忠（これただ）の頃（16世紀前半）には伊勢居住を諦め、京都に還住した。