Что такое файл robots.txt?
Файл robots.txt сообщает поисковым роботам, какие страницы или файлы они могут или не могут запрашивать с вашего сайта. Файл robots.txt является стандартным веб-файлом, который большинство хороших ботов обрабатывают перед запросом данных с конкретного домена.
Возможно, вы захотите защитить определённые области вашего сайта от сканирования (и, следовательно, индексации), например, вашу CMS или админ-панель, пользовательские аккаунты в интернет-магазине или некоторые API-маршруты. Эти файлы должны размещаться в корне каждого хоста, либо вы можете перенаправить путь /robots.txt на целевой URL, и большинство ботов последуют за ним.
Как добавить файл robots.txt в проект Next.js
Благодаря статическому обслуживанию файлов в Next.js мы можем легко добавить файл robots.txt. Для этого создайте новый файл с именем robots.txt в папке public корневого каталога. Пример содержимого файла:
//robots.txt
# Запретить всем роботам доступ к /accounts
User-agent: *
Disallow: /accounts
# Разрешить доступ всем роботам
User-agent: *
Allow: /После запуска приложения с помощью yarn dev файл будет доступен по адресу http://localhost:3000/robots.txt. Обратите внимание, что имя папки public не является частью URL.
Не переименовывайте папку public. Её название нельзя изменить — это единственная папка для обслуживания статических ресурсов.