Автор статьи:
Правила описания файла robots.txt и мета-тэга Robots –
>httр://www.yаndex.ru/info/webmaster2.html
Принципы поиска www.yаndex.ru
- Поиск производится по тексту документа, заголовку документа (<title>), ключевым словам документа(<meta name=keywords content=…>), описанию документа (<meta name=description content=…>) и полям alt для изображений (<img src=… alt=”…”>).
- индексируются все документы на сайте (к которым можно прийти по ссылкам с начального адреса или с внешних ссылок). Не индексируются страницы и каталоги указанные в файле robots.txt (должен находится в корневой директории сайта). С помощью мета-тэга Robots (<meta name=robots content=…>) можно управлять индексацией документа.
- Определение соответствия документа запросу пользователя имеет следующие особенности:
- наивысший приоритет имеет текст указанный в заголовке документа. сам заголовок рекомендуется делать не более 20-25 слов.
- слово встречающееся в основном тексте документа и содержащиеся в первых 50-ти ключевых слов документа повышает соответствие документа запросу пользователя
- для поиска имеет значение размер документа, т.е. слово встречающееся в маленьком документе будет иметь больший приоритет, чем то же самое слово, но в большом документе, поэтому дается совет делать разбивать большие документы на несколько частей.
- чтобы Яндекс определял последовательность букв как слово надо не набирать слова вразрядку (каждая буква через пробел), избегать набора слов только большими буквами, точки и запятые ставить сразу после слова, а после них ставить пробел.
- Определенную часть текста Яндекс может признать спамом (огромное количество ключевых слов, текст написанный мелким шрифтом, цветом фона и пр.) из-за чего снижает соответствие документа запросу пользователя.
- Важным моментом с точки зрения Яндекса является дата последнего изменения страницы (http-заголовок Last-Modified) и charset страницы, которые выводятся при запросе пользователя как справочная информация о странице.
Принципы поиска www.aport.ru
- Поиск производится по тексту документа, заголовку документа (<title>), ключевым словам документа (<meta name=keywords content=…>), описанию документа (<meta name=description content=…>) и полям alt для изображений (<img src=… alt=”…”>). Также считаются принадлежащими документу тексты ссылок на эту страницу (<a href=…>text</a>), с самого сайта и внешних по отношению к сайту страниц, и описание сайта, составленное редакторами Апорта.
- индексируются все документы на сайте (к которым можно прийти по ссылкам с начального адреса или с внешних ссылок). Не индексируются страницы содержащие в URL знак ‘?’ (страницы автоматически создающиеся на стороне сервера по параметрам присланым в запросе). Не индексируются страницы и каталоги указанные в файле robots.txt (должен находится в корневой директории сайта), имя робота для Апорта в этом файле – Aport. С помощью мета-тэга Robots (<meta name=robots content=…>) можно управлять индексацией документа.
- Ключевые слова документа не имеют особого приоритета при определении соответствия документа запросу пользователя перед другими частями документа.
- Множественное повторение одного и того же слова в тексте документа не влияет на определение соответствия документа запросу пользователя.
- Принципы определения соответствия документов запросу пользователя насайте Апорта описаны так:
- количество искомых слов в тексте документа (в процентах), расстояние между поисковыми словами в тексте документа
- место в тексте, где встречаются поисковые слова (заголовок, описание,мета-таг и т.п.)
- внешний вид шрифта, которым набраны в тексте искомые слова (размер, жирность, цвет)
- количество ссылок из интернета на данный документ – использование искомого слова в тексте ссылок из интернета на данный документ
Принципы поиска http://www.rambler.ru/
- Поиск производится только по тексту документа. Ключевые слова и описания документа (<meta name=keywords content=…> и <meta name=description content=…>) игнорируются. Максимальный размер индексируемого документа – 200Кб, все документы большего размера отсекаются по этому размеру.
- индексируются все документы на сайте (к которым можно прийти по ссылкам с начального адреса или с внешних ссылок). Не индексируются страницы и каталоги указанные в файле robots.txt (должен находится в корневой директории сайта). Для управления индексацией текста в документе можно использовать тэги <index> и <noindex>. Из индекса исключаются слова, встреченные Rambler’ом более чем на 800.000 документов.
- Значимость слова увеличивается, если оно находится внутри тэгов (в порядке убывания значимости):
– <title>
– <h1>..<h6>
– <address>
– <b>, <strong>
Чем ближе к началу текста располагается слово, тем более увеличивается его значимость. - Текст, написанный цветом фона, не учитывается – об этом сказано что “не следует использовать”.
