だが、
寛文10年(
1670年)に
土御門泰福が陰陽頭の地位のみならず、全国の陰陽師・声聞師の支配権を主張して陰陽頭幸徳井友傳に相論を仕掛けたのである。友傳は興福寺の支援を受けてこれに抵抗するが、
天和2年(
1682年)に友傳が35歳で急死してしまう。後継者の
友信は幼少であるために、土御門泰福が後任の陰陽頭に任じられ、翌年には諸国の陰陽師を支配・免許の権限が与えられて、幸徳井家が持っていた南都陰陽師の支配権も没収した。更に
元禄2年(
1699年)には幸徳井友信に圧力をかけて、土御門家のみを陰陽道宗家として幸徳井家はその配下となることを誓約させられた。以後、幸徳井家は代々陰陽助として土御門家の指示のもとに
暦注のみを管轄した(ただし、
宝暦4年(
1754年)に土御門家内部の混乱から
幸徳井保?が陰陽頭に任命された例外がある)。ただし、
土御門家といえども幸徳井家と興福寺などの南都社寺との関係に直接干渉することは出来ず、南都社寺への日時勘申などは引き続き幸徳井家が担当している。