当年他娶了太宗皇帝的女儿高阳公主为妻，照理说是门当户对，佳偶天成，但实际上夫妻生活并不和谐。高阳公主和房遗爱都出身高贵，免不了带些骄傲的性子，婚后相处不好，索性就“各玩各的”，过起了一种类似“开放婚姻”式的生活。然而，唐代虽然风气开放，终究还是男权社会，房遗爱可以妻妾成群，享受齐人之福，高阳公主若是寻找婚外伴侣，却很难被社会所容忍。

更何况，高阳公主寻找到的，是更为禁忌的一段感情。在慈恩寺的经院里，高阳公主结识了玄奘法师的高徒——辩机和尚。在梧桐森森的幽静禅院里，高阳公主和辩机开启了一段“地下”感情。而不巧的是，一场盗窃案意外地把这一件宫闱秘事公之于众了。

御史台在核验司法案件时居然发现，有个盗贼盗窃的赃物里有皇家御用的浮屠宝枕，一追查，发现这件赃物是盗贼从著名的辩机和尚屋子里偷的。一来二去，高阳公主和辩机和尚的这些事情全被御史知道了，不光知道这些，御史们还查到高阳公主送了辩机数以亿计的礼物（或者说香火钱），以及高阳公主为了补偿被她戴绿帽子的房遗爱，还特地送了丈夫两个美女供其玩乐。

这样一个惊天大八卦，引来了整个长安城朝野众人争相吃瓜。太宗皇帝震怒，下令腰斩辩机，诛杀知情奴婢十余人，强行平息下了这件事情。

房玄龄、唐太宗接连去世，房家又闹出了家庭矛盾，房遗爱和长兄房遗直因为爵位、家产之类的事情争执不已，到处告状，再一次惊动了朝廷中央。皇帝李治下令，房遗爱贬为房州刺史，房遗直贬为隰州刺史。

接连遭到绿帽、贬官等种种打击的房遗爱，心中的怨气越来越强。此时皇帝换届，正是一朝天子一朝臣，失意的房遗爱正好有很多遭遇相似的朋友，可以一起倾诉平生不得志。

比如名将薛万彻，多年来在和突厥、吐谷浑、薛延陀的战争中立下赫赫功勋，太宗征讨高句丽失利后，薛万彻还担负起侵扰高句丽的任务，率领海军将高句丽打得大败。但是薛万彻在政治方面似乎缺了根弦，并不太擅长处理朝廷关系，因为功劳太大，成了被打压的对象，一度被贬流放，到了永徽朝，仅仅只担任宁州刺史的职位。房遗爱和薛万彻都娶了公主，有了沾亲带故的姻亲关系，再加上相似的遭遇，共同话题便特别多。两人谈到兴起，就谋划起来：“要是国家有变，就尊奉荆王李元景为主。”

而他们的另一位姻亲，也就是娶了巴陵公主的柴令武（柴绍之子），也加入到他们的谈话当中。柴令武和房遗爱一样，当初都是魏王李泰的亲信，如今新君登位，他和房遗爱这样娶了庶出公主的驸马都尉，都在宗室队伍里坐起了冷板凳。天子李治嫡亲的姐妹，长乐公主和衡山公主，分别嫁了长孙冲、长孙诠，所以李家的“长房”一系，差不多是和长孙氏玩在了一块。其他“偏房”的驸马都尉们，难免会感觉受到了冷遇。他们互倒着苦水，情不自禁地把希望寄托在荆王李元景身上，仿佛李元景才是天命之子。

这样的话，其实也只是这几位恰逢失意的热血中年、受了委屈的皇帝女婿们激动时的几句抱怨，连房遗爱和薛万彻自己都未必会把这句话当真。李唐乃天下之共主，太宗皇帝又这么受百姓爱戴，让一个并非太宗血脉之人当皇帝，也得看看天下人答不答应吧。

不过，源出武川的李唐皇室，受草原部族文化影响很深。像突厥可汗阿史那家族，从始毕可汗到处罗、颉利可汗，都是兄终弟及的路子，李元景作为高祖皇帝在世最为年长的儿子，按照突厥、鲜卑人兄终弟及的继承方式，倒是在顺位上排得很靠前。薛万彻是鲜卑后代，也许是受鲜卑人的传统文化影响，才冒出这样的想法。

但言者无意，听者有心。恰逢房遗爱在高阳公主的撺掇下，想要从长兄房遗直那里抢得父亲房玄龄的封爵，高阳公主还打算上告房遗直非礼于她（房家的私生活太乱了，这件事情也许还真确有其事）。房遗直一家索性直接把房遗爱连同高阳公主一起举报了，说房遗爱夫妇罪大恶极，为了不累及房家，所以上告。

儒家伦理，讲究的是“亲亲相隐”，兄弟若有犯错，为他们隐去才是应当的，若是直接举报，不顾血缘关系，那就是不仁不义。房家这样的事情，就好比“狗咬狗”，本身就是士族圈里的一大丑闻。

而长孙无忌，也凭借着房家的突破口，严加审问，终于将房遗爱、薛万彻、柴令武三位皇亲国戚曾经吹牛要拥立李元景的事情审问了出来。或许只是开玩笑时说过的话，但被长孙无忌直接定性为谋反。朝廷迅速将三位驸马，连同躺着也中枪的荆王李元景拘禁了起来。

这一轮操作，傻子也能看出长孙无忌是在针对过去党争的对手。房遗爱也隐约意识到，没有天子李治在后面背书，长孙无忌光靠自己的势力，是不敢把这么多皇亲国戚一股脑儿地抓起来的。这几年积累下的政治经验，让他有了一个大胆的想法——在狱中房遗爱指认吴王李恪，声称他也参与了这次同谋。