鎌倉時代の有力武家で源頼朝の挙兵を支えた土肥氏の城と伝えられていました。しかし遺構などは鎌倉時代のものではなく戦国時代の小田原北条氏の砦という説が有力です。
広い山頂には男爵小早川四郎題と言う大きな石碑がありました。
1147~1199年 鎌倉幕府初代将軍。義朝の三男。平治の乱のち伊豆蛭ヶ小島に配流される。1180年以仁王もちひとおうの平氏追討の令旨に応じ挙兵。石橋山の戦いに敗れ安房に逃げたが東国武士の来援を得て関東を制し鎌倉にはいって根拠地とした。平維盛の追討軍を富士川に破り弟の範頼・義経を西上させ、85年壇ノ浦で平氏を討滅し全国を平定。全国に守護・地頭を設置、武家政治の基礎を確立。
保元の乱(ほげんのらん)の後、平治1年(1159年)12月、京都に勃発した内乱。後白河上皇の近臣間の暗闘が源平武士団の対立に結びつき、藤原信頼・源義朝による上皇幽閉、藤原通憲(信西)殺害という事件に発展した。しかし平清盛の計略によって上皇は脱出し、激しい合戦のすえ源氏方は敗北した。これ以後、平氏の政権が成立した。