Как закрыть ссылку от индексации

kirilljsx

Даже не знаю куда отнести эту тему к разработке или все же к маркетингу? Да и черт с ним, давайте приступать.

Чтобы закрыть ссылку от индексации, по сути, нужно дать роботам понятный сигнал: «эту конкретную ссылку не учитывай / не передавай по ней вес» или «не индексируй содержимое, где она стоит».

Базовая теория: что именно «закрываем»

Когда говорим «закрыть ссылку от индексации», обычно имеем в виду одно из двух:

не передавать по ней ссылочный вес (link juice);
минимизировать ее влияние в поиске, чтобы роботы не «расценивали» ее как рекомендацию.

Важно понимать:

robots.txt управляет доступом к URL, но не отдельной ссылкой в коде.
Для конкретной ссылки используются атрибуты и разметка на странице (rel, meta robots, noindex-блоки и т.п.).

Далее поговорим о способах.

Способ 1

Самый прямой и понятный способ - повесить на ссылку атрибут rel=“nofollow”.

Пример верстки:

<a href="https://example.com" rel="nofollow">Нужная, но не SEO-шная ссылка</a>

Что это нам дает:

Робот видит ссылку, но получает явный сигнал не передавать по ней вес и не учитывать как голос доверия.
В современных реалиях поисковики могут трактовать nofollow как рекомендацию, а не жёсткий запрет, но для «расчёта веса» этого достаточно в 99% задач.

Когда так делаю у себя:

крауд / партнёрские / рекламные ссылки;
ссылки в комментариях, профилях, сигнатурах;
всё, что «должно быть кликабельным для людей, но не для SEO».

Способ 2

Если задача не в одной ссылке, а в целом блоке / странице, можно просто сказать роботам: «по ссылкам тут не ходи».

В <head> страницы:

<meta name="robots" content="index, nofollow">

Варианты:
index, follow – индексируем страницу и ссылки (режим по умолчанию).
noindex, follow – контент не индексировать, по ссылкам ходить.
index, nofollow – контент индексировать, по ссылкам не ходить / не учитывать.
noindex, nofollow – полностью выключили и контент, и ссылки.

Такой подход логичен, если:

страница служебная: фильтры, поиск, корзина и т.п.;
там много технических ссылок, которые не надо ни ранжировать, ни учитывать.

Хотя отфилитрованные страницы иногда полезны для seo если вы продвигаете товар!

Способ 3

Если нужно закрыть кусок контента, где находится ссылка, а страницу в целом оставлять, можно использовать специальные блоки:

для Яндекса и некоторых CMS — комментарий  ... ;
для Google — он официально опирается на meta / HTTP-заголовок, но на практике многие используют комбинированные схемы (noindex + nofollow).

Условный пример:

<!--noindex-->
    <a href="https://example.com">Ссылка, которую не хочу светить в индексе</a>
<!--/noindex-->

Идея простая:

поисковик не должен использовать этот фрагмент для ранжирования, а ссылки внутри не должны играть SEO-ролей.

Я обычно комбинирую: noindex-блок + rel=“nofollow” для надёжности, если речь про чувствительные ссылки.

Способ 4 (не лучший)

Если хочется, чтобы ссылка вообще не присутствовала как <a> в исходнике, а рисовалась уже на клиенте, можно собирать ее через JavaScript.

Схема:

В HTML вместо ссылки — пустой контейнер.
Отдельный .js файл генерирует и вставляет в DOM.

Этот .js закрывается в robots.txt

Пример HTML:

<div class="js-link-placeholder" data-href="https://example.com" data-text="Скрытая ссылка"></div>
<script src="/static/js/links.js"></script>

В robots.txt:

User-agent: *
Disallow: /static/js/links.js

С точки зрения робота:

в исходном HTML нет <a href="...">, а скрипт, который рисует ссылку, ему «официально» смотреть нельзя.
это один из самых жёстких методов скрытия внешних ссылок именно от поисковиков, но он сложнее в поддержке.

Способ 5

Иногда проще вообще не давать странице индексироваться, чем воевать за каждую ссылку.

Основные варианты:

meta robots noindex, nofollow в `:

<meta name="robots" content="noindex, nofollow">

директивы X-Robots-Tag в HTTP-заголовке (на уровне сервера)
запрет в robots.txt + при необходимости авторизация (пароль через .htaccess).

Это уместно, если страница техническая / временная, там много мусорных ссылок или проще «вырубить» все, чем точечно чистить.

Вот такие есть способы закрыть ссылки/страницы или блок от индексации. Пользуйтесь!
И конечно оставайтесь с нами на связи:

ExLends

Чат - https://t.me/exlendschat

Telegram (t.me)

Kuzanoff

А зачем ссылку от индексации скрывать? Вроде люди наоборот последнее время просят проиндексировать ссылки)))

kirilljsx

@Kuzanoff Просят то просят) Но некоторые продает индексирование этих ссылок))