相模灘に面した
伊豆半島の東海岸に位置し、中心部の海岸は護岸工事がされ平坦であるが、南部は
リアス式海岸となっている場所が多い。中心部以外は丘陵地帯が多く、西端は高度のある山地であり、
富士箱根伊豆国立公園として指定を受けている区域は広い。南部に
休火山の
大室山があることから、近辺は海岸線を含めその影響を受けた地形となっている。海岸沿いから中部は別荘地として開発された場所が多く、特に大室山の麓にある
伊豆高原は有名。市内ではほぼ海岸沿いに
伊東線・
伊豆急行線と
国道135号が縦断している。富戸はPS2ゲームソフト「ぼくのなつやすみ2海の冒険編」の舞台となっている。作中では「富海」として、国道建設中の模様も描かれている。