Пример маленького конфиг файла для Nginx что бы не прописывать и не закидывать отдельные robots.txt файлы Запрещающие индексацию.

Пример такого файла (запрет индексации всего контента):

1
2

User-agent: *
Disallow: /

Переводя его в виде конфига для Nginx получаем файл noindex.conf:

1
2
3
4
5
6
7

location = /robots.txt {
  try_files $uri @noindex;
}

location @noindex {
  return 200 "User-agent: *\nDisallow: /\n";
}

Теперь это файл можно закидывать в блок server и если среди статики, которую обрабатывает сервер нет robots.txt файла, то будет отдан запрещающий индексацию файл.

Если Nginx выступает только как реверс-прокси, то локальных файлов не будет ни у какого домена и этот конфиг превратиться в более простой:

1
2
3

location = /robots.txt {
  return 200 "User-agent: *\nDisallow: /\n";
}

Опять же, можно держать два конфига. Тогда в зависимости от сайта использовать полный запрет или запрет до появления осмысленного robots.txt.