在香港杜公馆和任何一处杜公馆不同，那便是坚尼地门庭冷落车马稀，几十年来杜氏门庭的热闹风光仿佛已成陈迹，这并不是说杜月笙落日余晖，苟延残喘，竟被各界人士冷落忽视，而是他一则抱病，一则也由于大陆局势急转直下，香港是国共双方都在公开活动的是非之地，他有心避一避风头，躲一躲纠缠。刚到香港不久，杜月笙便请袁树珊给他看了个相，当时，袁树珊曾慎重其事地说：

　　“杜先生，最近一段时期，你最好闭门谢客，任何人都不见，否则的话，恐怕会有事非。”

　　袁树珊这一番话正中杜月笙的下怀，于是他命人写张条子，贴在房门口，词曰：

　　“遵医嘱，碍于病躯，谢绝访客。”

　　条子贴出，倒也蛮有效力，却是有一天，张公权来访，一脚踏进了房间，因为是要好朋友，杜月笙不得不带病见客，从此以后，病中谢客的“规矩”为之破坏。

　　１９４９、１９５０年间，在香港长住的杜月笙，虽然怕麻烦、怕纠缠，可是他那颗爱热闹的心，却并未因健康太差而予稍减，即令气喘咻咻，爬不起床，每天还是巴望着家人、亲友多走动，常来来。

　　每天一早，多半是“小八股党”“硕果仅存”的老兄弟顾嘉棠头一个到，他是专程前来打一个转，问声月笙哥昨夜睡得好吗？今早可曾起床吃过药了？他风雨无阻，问过便走，有时他并不一定要见到月笙哥，等歇到了快吃中饭的时候，他如果没有应酬，这顿中饭便十有八九在杜家吃。杜月笙精神好，他便陪陪杜月笙，不然的话，就在外面饭厅陪陪杜公馆的熟朋友。顾嘉棠一生一世对共产绝无好感，上海解放以后，他一提起共产党便破口大骂。他说只要共产党在上海，他是宁可死在外头，也绝不回转去受罪的。

　　跟杜月笙、顾嘉棠抱着同样坚决反共态度的是金廷荪，金廷荪这次逃难，逃得非常之彻底，全家大小，４儿４媳全部搬到了香港。他也是抱定主张，绝对不跟共产党打交道，殊不料他的夫人怀乡情切，不耐客居，也不晓得听了什么人的蛊惑挑唆，居然跟金三哥老夫妻俩意见分歧，各行其事。金老太太不顾一切地带了３个儿媳妇，４名女将由香港开回了上海滩，杜月笙、金廷荪、顾嘉棠一般老兄弟再三苦劝，劝不动这位金三嫂。照金三嫂的意见，她坚持要把４名儿媳一道带回去，幸好大少奶在香港医院中待产，总算免于同行，少受了一番波折与磨难。

　　金三嫂带了３位少奶回上海，实使杜月笙、金廷荪担尽惊吓，大费手脚。因为金三嫂回上海后住在杀牛公司附近朱家木桥的金公馆，平安无事了一段时期。共产党展开了清算斗争和三反五反，朱家木桥一带每天都有满载死囚前往市郊处决的卡车开过，吓得金三嫂心惊肉跳，险乎得了神经病，金三嫂托人想办法打张路条，自己先逃回香港，留下３位少奶，而其中的四少奶正是杜月笙的次女杜美霞。

　　杜月笙在香港想尽方法，要把他的二小姐救出来，起先杜月笙命他的次婿金元吉，写信到上海请杜美霞出来，后一再函电交驰，依然石沉大海杳无消息，最后则以杜月笙病危为词，拍发急电，杜二小姐才回香港。

　　同时，杜月笙的二楼太太陈夫人，在杜月笙赴港之先曾经到过一次台湾，想在台定居。杜月笙抵港，她也由台来港打了一转，夫妻间话不投机，陈夫人便和维翰、维宁回了上海，而这趟回去后，竟始终没有回来了。

　　在这一段时期，杜公馆人客虽少，饭厅里仍然每天中午准备两桌饭，一张圆台面一张四方桌，通常那张圆台面必定坐得满，圆台面坐不下了，再开方桌一席。

　　经常来杜公馆吃中饭的，除了杜月笙的儿子、媳妇、女儿，女婿、顾嘉棠、金廷荪、王新衡，骆清华、沈楚宝等诸人之外，还有杜月笙的表弟朱文德，总管万墨林两位在香港经常不离杜月笙左右的哼哈二将，朱、万两人为了往来方便，都在坚尼地租了房子，而且和杜公馆近得很，等于隔壁。朱文德一家住在坚尼地１０号，万墨林一家住６号。