老公经常与一位女性频繁聊天吵过闹过要离婚

希望大家能帮我分析一下，目前结婚3年，孩子刚一岁出头。
老公一直与一位没有工作关系的女性（已婚有孩子）联系，具体程度是聊天(聊天内容是各自的工作生活考试等，虽无明显的暧昧话语，但是让我感觉不适，觉得超过了一般异性朋友的界限)，经常电话，单独吃饭（虽然女方来吃饭他会叫我，但是我多次明确表示我不喜欢她不想他们一起吃，我也不去，但是老公仍然会去），并且老公和这位女性都知道我不喜欢他们聊天与吃饭，仍然不断联系
这位女性和老公认识的比我和我老公早，具体什么细节的关系我不清楚，老公也不承认，只说是朋友介绍的朋友。女方职业为护士，老公和我解释的理由是谁知道哪天会用上人家，婚前我和这位女性联系过，我说你们的交往影响了我和我老公的交往，她说你今天是他的女朋友，但是明天是不是就不一定了，但我和你老公的关系是永远的。
结婚是老公一方主张，当时也没有在和这位女性联系，但是结婚后尤其是孩子出生后，两人又恢复了之前的联络模式，我表示不能接受，心情不好时，老公反而会暴怒，抱着孩子和我吵架，我反复思索，和老公沟通，建议他和女性断联，否则我们离婚，他不同意断联也不离婚，而是一在强调是我不好好过日子没事作
现在他的理由是他没有违背道德，也没有违背法律，他没有错，问我他到底做错了什么我要这么样子，我该怎么回答他？