친구 등의 지인이 소액으로 돈을 빌려달라고 하면 어떻게 해야 할까요?

몇 만원 안팎은 그냥 비싼 밥 한끼 사준 셈 치지만 예를 들어 100만원 전후로 빌려달라고 하면(실제 그런 경우가 있었습니다.) 그냥 잃어버렸다고 하기엔 너무 아깝고 그렇다고 나중에 안 갚으면 안색 바꾸기도 애매해서 그냥 안 빌려주는 쪽으로 하고 싶은데 요즘 100만원도 빌려줄 돈이 없다고 하기에도 좀 그렇잖아요. 특히 가정형편이 좋지 않은 이상은요. 그래서 이런 경우에는 어떻게 해야 현명한 걸까요?