robots.txt 파일이란 무엇인가요?

robots.txt 파일은 검색 엔진 크롤러에서 사이트에 요청할 수 있거나 요청할 수 없는 페이지 또는 파일을 크롤러에 지시하는 파일입니다.

이 파일은 요청으로 인해 사이트가 오버로드되지 않도록 하는 데 주로 사용되며, 돌리즈 고마메켓에서 웹페이지를 숨기는 데 사용하는 메커니즘이 아닙니다. 웹페이지가 돌리즈 고메마켓에 표시되지 않도록 하려면 NOINDEX 태그 또는 명령어를 사용하거나 페이지를 비밀번호로 보호해야 합니다.

돌리즈 고메마켓에서는 robots.txt 규약에 따라 인터넷상의 레시피 컨텐츠를 수집하고 분류, 정제하여 제공하고 있습니다.

컨텐츠 수집을 원치 않으실 경우 안내.
안녕하세요. 돌리즈 고메마켓 입니다.