代わって越後
蔵王堂から
堀直寄が10万石で入る。直寄は、村上城の更なる拡張や
城下町の整備、領内の産業育成に務めたが、将軍家から脇備えを命じられていたこともあり、過大な常備兵力を維持する必要に迫られていた。そのため、領内には苛酷な検地を実施し、幕府に対しては、10万石の内高を17万石であると過大申告している。しかし
寛永15年(
1638年)7月、直寄の長男・
堀直次が直寄に先立って死去。翌年6月29日に直寄も死去したため、堀氏の家督は直次の子・
堀直定が継いだ。このとき、3万石が加増されるが、弟の
堀直時に加増分をそのまま分与している。ところが直定も寛永19年(
1642年)3月1日にわずか7歳で早世。後継ぎに直時を擁立する動きもあったが認められず、堀氏は無嗣断絶となり、村上藩は廃藩となった。なお、直時の系統はその後
村松藩として存続している。
入れ替わりで姫路より
榊原政倫が入る。同年10月、
天守三層櫓が落雷のために焼失し、以後は天守が造営されることは無かった。政倫は
天和3年(
1683年)2月27日に死去。代わって養嗣子の
榊原政邦が後を継いだ。
宝永元年(
1704年)5月28日、政辰は姫路に移封され、入れ替わりで姫路より
本多忠孝が15万石で入った。ところが忠孝は一度も村上城に入ることも無く、
宝永6年(
1709年)9月13日に早世した。忠孝には嗣子が無く、本来なら本多氏は断絶となるところであったが、本多氏は忠勝以来の名族であるということから、幕府の計らいにより一族の
本多忠良が後を継ぐことで家名存続が認められた。ただし、所領は15万石のうち5万石のみとされたのである。このため、村上藩では多くの家臣を抱えきれなくなり、侍と足軽合わせて430名ほどをリストラしている。忠良は翌宝永7年、
三河国刈谷藩に移封となった。代わって
上野国高崎藩より
松平輝貞が7万2,000石で入った。輝貞は第5代将軍・
徳川綱吉のもとで活躍した人物だが、代替わりして
徳川家宣が第6代将軍になると失脚し、この地に移されたのである。村上越訴事件は、この輝貞の時代に起こっている。しかし将軍が
徳川吉宗になると、輝貞は復権を許されて
享保2年(
1717年)2月、旧領の高崎に移された。