알바 대타 거절 질문합니다 ㅠ

주중에 바쁠 때만 일하는 알바를 했었는데 육체적으로 너무 힘들어서(몇시간동안 앉지도 못하고 계속 일을 했는데요) 시간을 조정하자니 그것도 바쁠때만 부르는거라 안된다고 하셔서 알바 끝나갈때쯤 그만하고 싶다는 내용으로 말씀드렸고 사장님도 알겠다고 하시고 알바 공고를 이후에 올리셨더라고요. 근데 아까 저녁먹고 오니까 언제 나올 수 있냐고 하시는데 약간 대타 개념같은데 어떻게 거절하죠?? 알바 할동안 흔한 당일알바처럼 계약서 작성 없이 그냥 일했거든요