正需要用钱的时候，公婆想和我父母借钱买房

孩子刚出生一个多月，公婆突然要买房，说是为了以后能照应我们，我们也可以过去住几天。但地点和老房子差不多远。因为买房要和我父母借钱，说卖了房子就可以还。最终还是决定没借，我父亲是做生意的，资金要用来进货，现在行情不太好，真借了可能对生意会有影响。
拒绝的时候我老公还打断了我的话，问十万二十万都没有吗，没借之后就一副爱理不理的样子。我觉得借钱本来就是情分不是本分，而且我想不明白，孩子出生不是正需要用钱的时候吗？为什么反而把钱都花了，现在房价也贵，他们平时并不是花钱大手大脚的人。请大家评评理吧。