회사 점심시간에 집에 가는것에 어떻게 생각하는지요?

저는 같은 팀 동료들과 밥을 먹고 집에 가서 쉬고 옵니다. 집이 회사에서 5분 거리이고 집에서 휴식을 취하는 게 더 편해서 그렇습니다.

그런데 얼마 전에 상사가 저를 부르더니 감히 직장이 주는 점심시간에 어떻게 보고 없이 집에 가냐면서 구박했습니다. 저는 점심시간은 법적으로 주어진 자유시간이 아니냐며 집 가서 쉬는 게 왜 잘못된 것이냐고 상사에게 되물었는데요.

상사는 개념이 없다면서 자유시간은 맞지만 사내 분위기도 있고 거기에 맞춰야지 왜 집에 가려고 하냐며 소리를 높이면서 직장생활 20년 동안 점심시간에 집에 가는 경우는 처음 본다고 했습니다.

제가 점심시간이 지나고 회사에 온 것도 아니고 정확히 점심시간에만 집에서 휴식한 건데 이게 잘못된 건가요? 집이 회사 바로 앞이어도 점심시간에 집에 가면 안 되는 건가요?