老公主动说有个女人在纠缠他，我该怎么办

我跟我老公2004年同一项目工作日久生情，08年结婚，婚后我调到外地做项目经理两年，2012年生女儿，女儿四个半月我上班，做分公司经理三年，老公一直挺欣赏我的工作能力。

2015年怀孕正好查出我爸癌症晚期，我生了儿子三个月我爸去世，我心情不好还要照顾孩子到现在四年没上班，老公也是在外地做项目经理，我们从08年结婚到现在，只有2012年在一起待了一年多，其他时间都是两地分居。

他一个月回来两次，每次两到三天，虽然这么多年两地分居我们感情还是挺好的，他对我和孩子也很好，以前对我父母也很好，特别是我爸生病住院的那一年跑前跑后比我弟弟都上心。

现在我老公在外地四线城市负责三四个项目，压力比较大，虽然不长回来，但每次回来都全心全意陪我们娘仨，性生活也和谐。

就是前两天回来一天晚上做完后老公突然说有个女的纠缠他，我说干嘛的？他说不知道，我问多大了，他说不知道，他说我不感兴趣干嘛了解她，我说你都不感兴趣干嘛跟我说呢，我老公就说我就随口说说你别放心上，我是什么样的人对你怎么样你还不清楚么。

现在他回项目两天了，可我心里就是不太舒服，既然不当回事干嘛跟我说呢。以前我一直挺相信我老公的，对他从来不怀疑，现在我不知道呢，是不是我没自信了，我该怎么办？