robots.txt

1. robots.txt 내용 이런 식으로 중접되지 않게 작성

User-agent: Googlebot 
User-agent: Yeti  
User-agent: Daumoa 
Disallow: /admin/ 
Disallow: /adin2/ 
Allow: /

User-agent: * 
Disallow: /admin/ 
Disallow: /admin2/ 
Allow: /

 

2. 검색사이트에서 검색을 했을 때 "웹사이트주소/admin/123" 이 페이지가 노출되지 않았으면 좋겠다는 요청이 있었다.

robots.txt설정은 변경했지만 언제 적용되는지 알 수 없기 때문에

 

1) 네이버 

https://searchadvisor.naver.com/

네이버 서치어드바이저

로그인 후  사이트 인증을 하고 

- 나는 웹사이트 메인 헤더 안에 네이버에서 준 메타태그 넣고 인증

- robots.txt 다시 수집하고 

- 접근되지 않아야 할 페이지 등록

 

2) 구글

https://search.google.com/

Google

에 로그인 후 사이트 인증을 하고

- 메인 헤더에 구글에서 준 메타 태그 넣고 인증

- 색인생성 > 삭제 메뉴에 검색 안되어야 하는 주소 저장

구글 서치 콘솔에서 '속성에 URL이 없음' 오류가 발생하는 경우

www붙여보기.