自2004年以来关于翁帆怀孕的谣言不断，对此杨振宁表示二人不宜要孩子，翁帆的回答则是“顺其自然”。82岁的杨振宁与28岁的翁帆登记结婚。自那时起，种种非议，至今未息。
对于生孩子的事情杨振宁说，“翁帆应该和我一样，都长时间考虑过，但我们从来没有就此展开讨论，准确来说，这是一个没有结论的讨论……我这样说，大家应该也可以理解吧。我想我们不宜要孩子，因为我一直在想，如果我不在了，翁帆一个人带着一个或者两个孩子，那将是很困难的事。”
翁帆则表示，“顺其自然吧”。 杨帆恋被人诟病，除了悬殊的年龄差距之外，还有一点，便是发妻杜致礼离世于2003年10月，而仅14个月后杨振宁便与翁帆喜结连理，似有薄情之嫌。不过，很多人在看了三人的合影后，便有所释怀。两位杨夫人，长得确有几分神似。
