天正18年(1590年)豊臣秀吉による小田原征伐の際には北条氏照の家臣、高幡十右衛門が高幡城で前田利家や上杉景勝の軍勢と戦ったと伝わっています。また氏照の時代、高幡之郷は平山大学助が知行していた記録があるため、檜原城を本拠としていた平山氏が城主であったという説もあります。
八十八ヶ所巡礼のお遍路コースになっている高幡山には曲輪跡のほか、堀切や竪堀などの遺構を確認することができると言います。また高幡不動の境内には享徳4年(1455年)分倍河原の戦いの時、この地で自害したとされる犬懸上杉氏、上杉憲秋(憲顕)の墓所もあります。