노동조합 가입, 탈퇴에 제한사항을 둘 수 있나요?

회사와 단체협약을 체결하면서 노조원에 대해 임단협 타결금을 지급하기로 교섭했는데, 일부 비 노조원들이 타결금을 받기 위해 노조에 가입하고 타결금을 받자마자 자진탈퇴하는 상황이 발생하고 있습니다. 노동조합법에 가입과 탈퇴는 자유라고 하나, 체리피커식 노동조합 가입과 탈퇴가 반복된다면 조직운영에 어려움이 가중될 것인데 어떻게 예방해야 하나요?