돌아가신 분을 기리는 제사는 왜 밤 12시에 올리나요

제 기억상으로 돌아가신 분 제사를 지낼 때 밤12경에 지낸걸로 기억이 나는데 왜 12시가 되어서야 제사를 지내는걸까요. 이유가 궁금하네요