은행나무 가로수에서 떨어진 은행열매 많이들 주어서 가져가시던데 드셔도 문제 없나요?

도로가에 심어진 은행나무에 은행열매가 많이 달려 떨어지던데 어르신들 많이들 주어서 가져 가시던데 드셔도 문제 없나요? 엄청 건강에 안좋을것 같은데?