상대방 배려한답시고 한건데 오히려 뭐라들음

그렇게 친한것도 아니고 그냥 가끔 연락하고 어쩔때 보는 사이인데 부담스러워 보이는거 같아보였어요.(제가 느끼기에는) 그래서 상대방한테 물어봤는데

부담스러우면 나랑 연락 안해도 된다.

라고 배려차원에서 말한건데 그럼 저도 에너지 소비 안해도 되고 하니까 근데 오히려 뭐라 하는데 이게 제가 잘못한건가요?

저는 상대방한테 늘 잘하려고 하고 배려해주려 하는데 오히려 만만하게 보는거 같기도 하네요.