『
栄花物語』によれば、頼通の父
道長は、両親共に皇族の高貴な血筋である隆姫との縁談を「男は妻がらなり」と歓迎したといい、頼通と隆姫の夫婦仲も大変良かった。しかし隆姫には子供はなく、このため
三条天皇から頼通へ娘の
?子内親王を
降嫁したいと望まれたこともあったが、頼通は隆姫を悲しませたくないと拒否、また病床に伏した頼通の元に具平親王の怨霊が現れたともいわれ、結局沙汰やみになった(その後?子内親王は頼通の弟
教通と結婚している)。とはいえ、とりわけ后候補となる女子に恵まれなかったことは頼通にとっても痛手であり、後に隆姫の姪(妹
敦康親王妃の娘)
?子女王を養女に迎えて
後朱雀天皇の
中宮とした。古くから頼通は隆姫に頭が上がらなかったために、他の女性との間に生まれた男子を他家に次々と養子に出したと『
愚管抄』などにあるが、裏づけとなる根拠はなく、むしろ猶子師房の立場を配慮したためとする説もある
[坂本賞三『藤原頼通の時代』(平凡社、1991年)。しかし結局、頼通は実子師実を後継者とした。]。
従一位に至り
康平7年(
1064年)11月落飾、1087年に93歳という高齢で薨去。