一家三口分三地，周末夫妻会不会出问题

结婚三年，一直周末夫妻，我是乡下的一所学校当老师，老公在市里工作，孩子从出生婆婆乡里带着，一家三口分三地，周末约好一起回家看孩子。学校日子比较好过，每天都有孩子们陪着，孩子们会有大大小小的事情来分散自己的注意力，只有到晚上空闲下来的时候，跟老公聊聊天，也通常是老公主动联系我，孩子那边很少去关心，不是不想念，每次发微信过去想着不能抱抱她亲亲她，就越发的想念，于是干脆一周时间就不去联系，到周末回家时候孩子跟我也不怎么亲近
周末夫妻，怎么说呢，目前来说夫妻感情是好的，就是愧对了孩子。不知道巷子里有没有周末夫妻的？我朋友都劝我尽早结束现状，周末夫妻时间长了总归会出问题，真的吗？