土屋城は土屋三郎宗遠館の詰め城として高神山に築かれたました。石橋山合戦以来、源頼朝に仕えた武士で石橋山の戦いで敗れた頼朝に従い、安房に逃れた七騎落の一人であるとも言われています。
大乗院とその西にかけてが城跡と言われていますが開発などにより地形は大きく変わっているために遺構は見当たりません。関東ふれあいの道に土地や城跡の案内板が設置されていました。
近くには土屋一族の墓とされる五輪塔があります。土屋館この周辺の平坦地にあったと推定されています。
1147~1199年 鎌倉幕府初代将軍。義朝の三男。平治の乱のち伊豆蛭ヶ小島に配流される。1180年以仁王もちひとおうの平氏追討の令旨に応じ挙兵。石橋山の戦いに敗れ安房に逃げたが東国武士の来援を得て関東を制し鎌倉にはいって根拠地とした。平維盛の追討軍を富士川に破り弟の範頼・義経を西上させ、85年壇ノ浦で平氏を討滅し全国を平定。全国に守護・地頭を設置、武家政治の基礎を確立。
保元の乱(ほげんのらん)の後、平治1年(1159年)12月、京都に勃発した内乱。後白河上皇の近臣間の暗闘が源平武士団の対立に結びつき、藤原信頼・源義朝による上皇幽閉、藤原通憲(信西)殺害という事件に発展した。しかし平清盛の計略によって上皇は脱出し、激しい合戦のすえ源氏方は敗北した。これ以後、平氏の政権が成立した。