跟齐秦分手后，王祖贤跟亚视老板林百欣的二公子林建岳传出绯闻，林建岳当时是有家室的，其妻子还是琼瑶女郎谢玲玲，林建岳当时狂热追求谢玲玲，最终打动芳心，让她在当红时下嫁给自己，并在婚后息影接连生了5个子女，获得了公婆的一致喜爱。后来林建岳喜欢上王祖贤，对其展开了追求，谢玲玲一度心灰意冷，最终决定离婚。但是林建岳并不愿意失去原配，于是两人分居。
分居后林建岳跟王祖贤正式交往，王祖贤也曾对外表示：“这只是一种感觉而已，我一再强调，以前因为他有太太，我不想做第三者，也不愿破坏别人的家庭，所以才不想与他来往，后来他办了分居手续，暂时恢复单身，那时大家才开始交往。至于未来的发展，的确是未知数，现在才是开始，我也不想胡乱揣测。”
