温泉津湾の北西に位置する櫛島(くしじま)(標高38m)には、かつて櫛山城が築かれていました。
櫛島の由来としては、承久の変(1221年)で隠岐の島に流罪となった後鳥羽上皇が途中の嵐のため漂着し、世話になったお礼にと、古老へ櫛をあげたことから櫛島となったという言い伝えがあります。
天文9年(1540年)11月、毛利氏攻略のため尼子晴久が石州路を進軍したとき、櫛山城主出原次郎四郎は尼子軍の猛攻に耐え、これを撃退したといわれています。のち温泉佐渡守(ゆさどのかみ)が城主となったとあります。
永禄5年(1562年)温泉氏(ゆし)は毛利氏に追われ、その後、月山富田城(安来市)に籠城した後尼子氏とともに滅亡しました。