robots.txt 정보 노출 취약점

개요

" Security Misconfiguration "즉 잘못된 보안설정 오류라고하며하며 말 그대로 설정의 오류로 인해 발생되는 웹 취약점입니다. 해당하는 범위는 굉장히 넓기 때문에 웹 서버, DB, 프레임워크, 사용자의 코드, Pre-installed VM, 컨테이너, 저장소 발생될 여지가 굉장히 넓은 취약점입니다.

 

어떤 피해가 발생하는가

(1) 숨겨진 관리자 페이지 경로
(2) 불필요한 서비스 및 기능을 설치하였거나 활성화 (PORT, 불필요하게 높은 권한, http Method, WebDav)
(3) 서버의 디렉토리 구조 노출
(4) 웹 서버의 종류 및 상세 버전 노출

보안이 필요한 내용이 검색엔진에 유출되지 못하도록 웹 페이지를 작성하는 방법을 기술한 국제 기술 표준으로 보안성을 위해 만들어져 있지만 내부적인 설정에 신경을 쓰지 않는다면 2차 공격 또는 정보수집에 필요한 정보를 해커에게 제공해줄 가능성이 존재합니다.

<robots.txt 형식>
User-agent : * --> 검색로봇을 설정, *은 모든 로봇을 의미
Allow:/폴더명/ --> 지정된 폴더에 대한 접근을  허용
Disallow:/폴더명/ --> 지정된 폴더에 대한 접근을 거부

 

robots.txt 파일내부를 확인해보면 admin과 passwords라는 디렉토리만 보아도 중요한 정보가 담겨 있을 것이라는 걸 쉽게 확인할 수 있습니다.

 

하단에 있는 passwords 디렉터리에는형식의 파일과 백업 파일로 확인되는 것들이 몇 개보입니다. wget 명령을 통해 다운을 받아서 내용을 확인해 보겠습니다.

 

wp-config.bak이라는 파일 내부를 확인해 본 결과 대상 서비스에 대한 DB정보가 노출되어 있습니다.

 

Metasploit 을 활용한 robots.txt 수집

  msfconsole
  msf5 > use auxiliary/scanner/http/robots_txt 
  msf5 auxiliary(scanner/http/robots_txt) > set RHOSTS 192.168.0.131
  RHOSTS => 192.168.0.131
  msf5 auxiliary(scanner/http/robots_txt) > set THREADS 20
  THREADS => 20
  msf5 auxiliary(scanner/http/robots_txt) > run

robots.txt 에 민감한 정보가 담겨있다거나 외부 사용자들에게 노출되지 말아야 할 경우 서치 엔진을 통해 발견되지 않게끔 설정해두는 경우도 있습니다. 그럴 땐 Metasploit을 활용하여 강제적으로 열거를 시도할 수 도있습니다.

 

보안설정 오류로 실제 서비스에서 발생한 취약점입니다. 해당 문제는 기관에 전달하였고 접근 제한 조차 없었기 때문에 외부의 모든 사용자가 접근하여 열람할 수 있었습니다.

 

노출된 DB 계정을 통해 직접 접근이 가능했으며 몇 가지 민감정보(주민등록번호)는 암호화되어 있었지만 모든 테이블을 수정할 수 있는 권한이 존재했기에 위험할 수 있습니다.

---

대응 방안

robots.txt 보안성을 위해 구글 검색에 노출되는 것을 회피하는 데 사용되지만 잘못된 보안설정이 되어있을 경우 중요정보가 쉽게 노출이 됩니다.

 

하지만 그렇다고 모든 디렉터리 검색을 비 허용시키면 마케팅 차원에서는 효율적이지 않기 때문에 우선적으로 해당 디렉터리에 대한 " 접근권한 " 및 웹 애플리케이션의 대응방안을 함께 적용한 후 고려해보는 것이 좋습니다.