1962年的香港，报社主编周慕云（梁朝伟 饰）和太太搬进了一幢公寓，与他们同时搬来的还有另一对年轻的夫妇——苏丽珍（张曼玉）和她丈夫。苏丽珍在一家贸易公司当秘书，而她的丈夫由于工作关系，常常出差。周慕云的妻子和苏丽珍的丈夫一样，经常不在家，于是独自留守的周慕云和苏丽珍便成了房东太太麻将桌的常客。在逐渐的交往中，周慕云和苏丽珍发现对方有许多与自己共同的兴趣和爱好，比如看武侠小说等等，相互之间也变得越来越熟悉。直至有一天，两人突然发现各自的另一半原来早已成为了一对婚外恋的主角，周慕云和苏丽珍不得不共同来面对这个现实。两颗受伤的心小心翼翼、难舍难分，却最终化成了无缘的伤痛。

1960年代的香港，报馆编辑周慕云与太太搬进一间住户多是上海人的公寓，和某家日资公司的贸易代表陈先生与太太苏丽珍成了邻居。因为发现各自在外工作的配偶背着他们有了婚外情，周慕云和苏丽珍开始见面商讨未来可能发生的事情以及相应对策。起初两人是君子之交淡如水就事谈事，可是日子一日接一日过去后，在周围一帮上海邻居的闲言碎语中，他们发现配偶的事早空出了他们的脑袋，彼此眼里只剩下了对方，而刻意回避已生出的感情的结果，是更加刻骨的相思。