robots.txt - советы по корректному использованию файла