회식을 할 때마다 밤늦게까지 하는데 너무 힘들어요

저희 회사가 한 달에 한 번 정도 회식을 하는데요 그런데 문제는 저는 술이 약한 편인데도 자꾸 밤늦게까지 하는데 다음 날 출근하기 너무 힘들어요 이럴 때 거부해도 괜찮을까요?