진짜 사람이 배워야 한다는 것을 또 다시 깨달으며 간다.
얼마전 회사에서 사용하던 LMS 서버의 SSD 가 풀이 난다고 경고가 왔었다.
대충 회사 LMS 서버는 마운트된 다른 디스크가 몇개 더 붙은 구조다.
메인은 여튼 SSD 로 20gb 짜리고, 서브는 TB 몇개다.
여튼,
먼저 나는 이 서버에 대체 뭐가 그리도 많이 올라와서 용량을 다 까먹는지 찾아봤다.
df -h
# 내용이 뜬다.
cd /
du -ckx | sort -n > /data/tmp/duck-root
일단 나는 루트 마운트 디스크와 /data 마운트 디스크가 다르다.
full 이 된 디스크에는 쓸 수가 없으니 서브 마운트 디스크를 이용해야만 한다.
여기서 잠깐, 일반적으로 cent OS 는 디스크가 풀이 났다고 해서 바로 뻗지 않는다.
처리를 위해 일정 블록을 여유로 두고 있다.(예비블록)
서버 상태에 따라 저 파일은 기다려야 완성된다.
다되면 확인해보자.
cat /data/tmp/duck-root
# 확인하고 나면 문제 경로를 지운다.
rm -r ./usr/tmp/tomcat-8.5/logs/
vim 으로 봐도 되고 다운로드 받아서 봐도 된다.
duck-root 파일은 오름차순으로 크기가 정렬되어 있으며, 파일과 폴더용량을 보여주므로 가장 용량이 큰 폴더들 중 지워도 괜찮은 것을 찾아본다.
나같은 경우에는 이때 로그가 2gb 가 넘는 것을 보고 필시 이거다 싶었었다.
작년여름부터 단 한번도 지워지지 않은 로그의 모습...
그러나 꼼꼼하게 확인했었어야 했다. 3일뒤 또 다시 full 이 나고, 진짜 원인은 특정 리소스가 루트 마운트 디스크에 차곡차곡 쌓이고 있었던 것이다.
후... 경위 보고하고... 톰캣 내리고 리소스 옮긴뒤... 톰캣을 다시 올렸다...
역시 아직 갈 길이 멀고 험난한 것 같다.
반응형
'programming' 카테고리의 다른 글
[용어] 애자일? 그리고 애자일 실패, 짧은 후기 (0) | 2021.04.22 |
---|---|
[정리] meta tag OG 캐시 클리어 정리 (0) | 2020.01.22 |
[GitHub] Error: Repository not found (0) | 2019.08.22 |
[SSL인증방법] SSL 인증 방법 정리 (0) | 2019.08.22 |
[Firebase] Web & Mobile analytics (0) | 2018.02.10 |