간통죄가 없어진거면 바람 피는것으로는 이혼사유가 되지 못하나요?

부부관계 있어서 서로의 믿음과 사랑이 참 중요하다 생각하는데 남자 혹은 여자가 외도를 하게 되어 가정이 파괴된다면 정상적인 가족 관계를 유지할 수 없을 것 같다는 생각이 드네요. 간통죄가 폐지되었다고 들었는데 그렇다면 바람 피는것만으로는 이혼사유가 되지 못하나요? 부부관계를 이어갈 수 없는 충분한 근거가 될 수 있다고 생각하는데 이해가 가질 않네요.......