건물주가 세금계산서 미발행 중인데 부가세는 안줘도 되나요?

간이과세자로 카페운영중입니다. 부동산 계약시 부가세는 별도로 표시되어 있었고, 그동안 부가세까지 지불하고 있었습니다. 그런데 세금계산서 확인 중에 건물주로부터 세금계산서가 발행되었던 적이 없어서 연락을 해봤더니 몰랐다며 발행해주겠다는 말 이후에 또 2달이 지난 시점에 아직까지 세금계산서 발행은 무소식입니다.

제가 간이과세자여도 세금계산서 발행받았다면 부가세를 내는게 당연하다고 생각하는데, 이렇게 미발행 해주는 상황에 제가 부가세를 계속 줘야하는지가 궁금합니다.