임대인과 구두협의가 되셨다면 이또한 계약조건으로 효력은 있다고 보여집니다. 곰팡이 제거를 요구해보시고, 만약 협조하지 않는다면 계약위반을 이유로 해지를 주장하실수는 있어보이나, 객관적으로 해당 이유로 계약을 해지하는 것까지는 무리가 있는게 사실입니다, 이유는 임대인의 교체의무가 강제되지는 않기 때문입니다.
일단 두분 사이에 합의가 된 사항이라면 계약상 조건에 해당하므로 이행을 위한 협의를 좀 더 진행해보시고, 중개사가 있다면 이러한 부분을 강조하여 협의가 원할하도록 도움을 요청하시는게 좋을듯 보입니다.