상시근로자 20명 판단 질문 (휴게시설 설치 의무화)

현재 한 건물에서 사업장 2곳이 운영중입니다.

A사업장은 상시근로자수가 15명정도 되고, B사업장은 상시근로자수가 6명 정도 되는 상황입니다.

이렇게 되는 경우, 상시근로자수 20명 이상으로 판단되어 건물에 휴게실 설치가 의무화되는건가요?

아니면 각 사업장 상시근로자수가 20명 미만이기 때문에, 휴게시설 설치 의무는 피할 수 있는건가요?