行基が諸国巡礼の折、石段の前の星の井から光る石を見つけ自ら虚空蔵菩薩を刻みお堂を建立したと伝えられるところです。日本三虚空蔵とも言われ、1月、5月、9月の13日には護摩焚き供養が行われています。
虚空蔵堂の前には舟守地蔵があります。古くより海上安全、大漁満足など、海や水に関係する人々に功徳を授けてくれる地蔵尊です。
奈良時代の僧、668~749年。百済系の渡来人。法相宗を学び諸国を巡って布教た。民衆とともに道路・堤防・橋や寺院の建設にあたったが僧尼令違反として禁止された。後に聖武天皇の帰依を受け、東大寺・国分寺建立に協力。日本最初の大僧正の位を授けられた。