嵩山城は岩櫃城の支城でした。永禄8年(1565年)、真田幸隆の策謀によって岩櫃城は奪取され、城主の斉藤憲広は越後に逃げ落ちていきました。しかし嵩山城はには末子の城虎丸が残り、真田氏に対して抵抗を続けることになります。しかし真田氏の攻撃によって嵩山城は落城、城虎丸は討ち死、婦女子も岩山から身を投げたと言います。
嵩山は五反田村の信仰の山で死んだ人の魂が集まるところとされています。江戸時代には五反田に住み着いていた江戸の僧・空閑(くうかん)により嵩山合戦の犠牲者を供養するため坂東三十三観音霊場に因んだ観音像が祀られました。
一ノ木戸には嵩山城址と書かれた標柱、登山道沿いには石仏や社などがありますが山城としての遺構は見当たりません。中天狗から大天狗へと続く鞍部が実城平、嵩山城の本丸跡があったとされるところです。案内板によるとこの戦いの犠牲者の供養と霊山岳山の信仰のため、西国・秩父観音71体が祀られたとされています。
大天狗への登り口には経塚があります。大天狗の岩場を登って行くと女岩、虎丸の後を追い女性や子供の岩場から身を投げたとされています。大天狗の頂はそのような秘話を語り継ぐところなのでしょう。