Sitemap, robots.txt и RSS: зачем они нужны статичному сайту
Три простых файла, которые делают сайт понятнее для поисковиков и читателей.
Sitemap
Sitemap перечисляет важные страницы сайта. Для статичного сайта его легко генерировать автоматически при добавлении новых материалов.
В sitemap полезно включать главную, архив, разделы и страницы статей.
robots.txt
Файл robots.txt даёт поисковым роботам базовые инструкции. Для открытого справочного сайта часто достаточно разрешить обход и указать путь к sitemap.
robots.txt не является защитой приватных данных. Всё конфиденциальное не должно лежать в публичном каталоге сайта.
RSS
RSS-лента помогает читателям и агрегаторам отслеживать новые публикации без ручной проверки сайта.
Для небольшого журнала достаточно включать в RSS последние материалы с заголовком, датой, кратким описанием и ссылкой.
Хороший минимум
Если сайт регулярно пополняется, sitemap и RSS стоит обновлять вместе с архивом статей.
Это делает структуру аккуратнее и помогает сайту выглядеть как полноценный справочный ресурс.