2 занятие: Поисковые системы. Синтаксис и операторы поисковых систем Яндекс и Google. Поисковые роботы.

Второе занятие по сути тоже является вводным. Сегодня мы поговорим о поисковых системах. Рассмотрим подробнее синтаксис и операторы поисковых систем Яндекс и Google. Узнаем какие бывают роботы поисковых систем и их назначение. Напомню, что к сегодняшнему занятию вы должны были выбрать CMS для сайта и подумать над его будущим содержанием.

План занятия:

1. Популярные поисковые системы Беларуси и России
2. Синтаксис и операторы поисковой системы Яндекс
3. Синтаксис и операторы поисковой системы Google
4. Поисковые роботы Яндекс
5. Поисковые роботы Google

Популярные поисковые системы Беларуси и России

Поисковая система – это веб-сайт, предоставляющий возможность поиска информации в Интернете.

Принимая во внимание данное определение, можно с уверенностью сказать, что TUT.by, Rambler.ru, Mail.ru и т.п. – это поисковые системы, хоть они и не имеют собственного алгоритма поиска.

Наиболее популярные поисковые системы Беларуси:

1. Google – 47%
2. TUT.by – 31%
3. Яндекс – 20%
4. Mail.ru, All.by, Np.by и Poisk.com занимают оставшиеся 2%

Наиболее популярные поисковые системы России:

1. Яндекс – 52%
2. Google – 33%
3. Mail.ru – 7%
4. Rambler.ru, Bing, QIP.ru и Nigma.ru занимают оставшиеся 8%

Приведенные данные являются ориентировочными, май 2010 года.

Поисковые системы имеют свой язык запросов, на котором делаются запросы к базам данных и другим информационным системам, особенно информационно-поисковым системам.

Синтаксис запросов Яндекс

" " – кавычки используются для поиска точного вхождения искомого выражения.
"сео курсы" – найдет все страницы, содержащие искомое выражение, причем слова и их порядок будут неизменны.

* – звездочка служит заменой неизвестного слова в искомом выражении.
наша маша * плачет – найдет наша маша громко плачет, наша маша горько плачет и т.п.

& – логическое И. Слова, «связанные» этим символом, должны встречаться одновременно в одном предложении.
учебный & запрос – каждый из результатов поиска будет содержать предложение, в котором одновременно будет слово учебный и запрос.

&& – логическое И. Слова, «связанные» этим символом, должны встречаться одновременно в одном документе.
учебный && запрос – найдет все страницы, в которых слова учебный и запрос присутствуют одновременно.

<< - неранжирующее И. Похож на &&, но ранжирование найденных страниц происходит только по первому слову.
белка << стрелка – будут найдены страницы по запросу белка стрелка, но ранжирование осуществится по слову белка.

~~ – логическое НЕ. Исключение из результатов поиска страниц, в которых в любом месте присутствует слово после этого символа.
волга ~~ река – в данном случае будут найдены все страницы со словом волга, но из их числа будут исключены все страницы, в которых содержится слово река.

~ – логическое НЕ. Исключение из результатов поиска страниц, которые содержат предложение с искомым словом и словом после этого символа.
волга ~~ река – найдет страницы со словом волга, но исключит те страницы, которые содержат в одном предложении слова волга и река.

/n – задает расстояние между ключевыми словами. Расстояние между ключевыми словами – это разница между численными значениями их позиций в тексте. n может быть как положительным (прямой порядок слов) так и отрицательным (обратный порядок слов) значением.
гадкий /2 утенок – найдет страницы, содержащие такие выражения, как гадкий желтый утенок, гадкий надоедливый утенок и т.п. Но не найдет гадкий желтый надоедливый утенок и т.п., потому что расстояние в этом случае уже будет равно 3.

&&/n – аналогично предыдущему, только расстояние между ключевыми словами задается в предложениях.

/(n m) – помогает задать не только нужный порядок слов, но и количество «лишних» слов между искомыми.
александр /(-1 +2) пушкин – найдет страницы с такими выражениями, как александр пушкин, александр сергеевич пушкин, пушкин александр сергеевич и т.п.

| – логическое ИЛИ. Обычно используется, когда нужны результаты как с искомым словом так и с его синонимами.
фильм|кино|видео – найдет страницы, содержащие любое из этих слов.

( ) – скобки служат для комбинирования различных операций.

! – отменяет морфологию.
!день – найдет страницы только со словом день; не найдет страницы со словами дню, дни и т.п.

!! – указывает нормальную форму слова.
!!день – найдет страницы со словами день, дню, дни и т.п. Но уберет из результатов поиска страницы со словом деть (от слова девать).

Операторы Яндекс

title: – поиск в заголовке страниц (в HTML тэге <title>)
title:таракан – найдет все страницы, в заголоке которых присутствует слово таракан.
title:(травить таракана) – для нескольких слов используем скобки.

url: – поиск на страницах с заданным урлом. Нужно писать главное зеркало сайта!
url:mysoundtrack.ru/* «k filmam» – найдет все страницы на сайте mysoundtrack.ru в урле которых есть «k filmam«. Звездочка (*) помогает задействовать страницы, адреса которых начинаются с указанного урла.

inurl: – ищет по страницам, урл которых содержит заданный фрагмент.
inurl:masha – в урле каждой найденной страницы будет содержаться слово masha.

host: – поиск по указанному хосту (сайту). Указывать нужно главное зеркало сайта!
host:mysoundtrack.ru «k filmam» тоже самое, что и url:mysoundtrack.ru/* «k filmam».

rhost: – аналогичен host:, но имя сайта записывается в обратном порядке. При использовании звездочки (*) позволяет искать по всем поддоменам заданного домена.
rhost:by.relax.www – покажет количество страниц сайта www.relax.by
rhost:by.relax.* – добавит еще и страницы на поддоменах.

site: – показывает полное количество проиндексированных страниц сайта. Введен недавно.
site:www.relax.by – покажет полное количество страниц, известное Яндексу на сайте www.relax.by. Нужно вводить главное зеркало.

mime: – поиск по определенному типу файлов. Поддерживаются следующие типы файлов: pdf, doc, ppt, xls, rtf, swf
резюме mime:doc – найдет файлы с различными резюме, причем все файлы будут Microsoft Word

lang: – поиск по страницам на заданном языке. Поддерживаются следующие языки: ru, uk, be, en, fr, de
«news hockey» lang:en – поиск хоккейных новостей на англ. языке

domain: – поиск по страинцам, которые расположены в заданном домене
«купить велосипед» domain:by – найдет сайты в зоне .by, которые продают велосипеды или по крайней мере пишут что продают ;)

date: - поиск по страницам, дата создания (или изменения) которых соответствует заданной дате. Можно задавать интервалы и сравнивать дату знаками неравенства: <, >, <=, >=.
кризис date:20100516 – сайты, которые писали про кризис 16 мая 2010г.
кризис date:20090516..20100516 – сайты, которые в течении года хоть раз писали про кризис
кризис date:>=20100510 – сайты, которые писали про кризис после 10 мая 2010г.

cat: – ищет в Яндекс.Каталоге. Нужно указать числовой код региона либо тематической рубрики.
Коды рубрик и коды регионов
Код региона можно получить, прибавив к значению по ссылке выше смещение 11000000. Код тематической рубрики получается прибавлением к значению по ссылке выше смещения 9000000.
cat:11000213 – найдет сайты из Яндекс.Каталога, относящиеся к региону Москва.

Синтаксис запросов Google

and или пробел - логическое И. Аналогично операции && в Яндексе.
OR - логическое ИЛИ. Аналогично операции | в Яндекс.
+ – логическое И. Аналогично операции & в Яндекс.
- – логическое НЕ. Аналогично операции ~~ в Яндекс.
" " – кавычки, поиск точной фразы. Аналогично операции » » в Яндекс.
* – замена неизвестного слова (выражения) в искомом выражении. Аналогично операции * в Яндекс.

Операторы Google

intitle: - поиск запроса в заголовке страниц. (в HTML тэге <title>)
intitle:купить розового слона – найдет как страницы с заголовком купить розового слона, так и страницы с заголовком купить слона.
allintitle: – поиск всех слов из запроса в заголовке страниц.
allintitle:купить розового слона – найдет только страницы с заголовком купить розового слона.

inurl: – поиск страниц, содержащих искомый запрос в урле.
allinurl: – поиск страниц, содержащих все слова искомого запроса в урле.

intext: – поиск страниц, содержащих только в тексте искомый запрос (в HTML тэге <body>)
allintext: – поиск страниц, содержащих только в тексте все слова искомого запроса

inanchor: – поиск страниц, содержащих ссылки с анкором в виде искомого запроса. (в HTML тэге <a>)
allinanchor: – поиск страниц, содержащих ссылки с анкором, включающим все слова искомого запроса

site: – поиск на указанном сайте. Ищет и на поддоменах.
site:mysoundtrack.ru амели – найдет все страницы сайта mysoundtrack.ru, которые содержат амели в любой части страницы.

link: – поиск страниц, с которых стоит ссылка на указанный домен. Обратите внимание, Google выдает не все страницы, а лишь произвольную часть.
link:www.relax.by – покажет часть ссылок с других сайтов на сайт www.relax.by.

cache: – поиск в кэше Google.
cache:seofriend.ru – покажет информацию о странице seofriend.ru, которая хранится в кэше Google.

[число]..[число] – поиск страниц, содержащих цифру (цифры) из заданного диапазона.
12..45 – найдет все страницы, на которых содержится любое число от 12 до 45 включительно.

related: – поиск сайтов, похожих на заданный.
related:mysoundtrack.ru – найдет все сайты, схожие по тематике с mysoundtrack.ru

filetype: – поиск определенного типа файлов. Поддерживаемые типы: pdf, ps, dwf, kml, kmz, xls, ppt, doc, rtf, swf.

movie: – поиск информации о фильме. У меня почему-то не работает.

define: – поиск определения для запроса. Учитывается полностью искомое выражение.
define: беларусь – выдаст ссылки на страницы, информирующие о Республике Беларусь.

info: – поиск информации о сайте
info:mysoundtrack.ru – выдаст ссылки на известную Google информацию о сайте mysoundtrack.ru

Как определить (проверить) количество проиндексированных страниц в Яндекс и Google?

На примере произвольного домена site.ru (главное зеркало).

В Яндекс:
host:site.ru – количество страниц, проиндексированных Яндекс и участвующих в поиске.
url:site.ru/* – аналогично, но лучше искользовать оператор host.
rhost:ru.site.* – количество страниц, проиндексированных Яндекс, включая поддомены указанного домена.
site:site.ru – полное количество страниц проиндексированных Яндекс, включая даже не участвующие в поиске страницы.

В Google:
site:site.ru – количество проиндексированных Google страниц сайта site.ru

Работа поисковых систем тесно связана с таким понятием, как поисковые роботы.

Поисковый робот – это программа, которая обходит сайты, периодически запрашивая и извлекая с них информацию. Собранная информация сохраняется в базу данных поисковой системы.

Узнать о том, что поисковый робот заходил к вам на сайт, можно анализируя log-файлы сервера, на котором располагается сайт. За подробной информацией, о расположении таких файлов лучше обратиться к хостеру, но, как правило, они располагаются в папке logs. В log-файлах нужно искать названия роботов поисковых систем. И по названию можно определить какой именно робот заходил.

Поисковые роботы Яндекс

В связи с тем, что в инюне 2010 года Яндекс планирует изменить названия своих поисковых роботов, я приведу их новый перечень.

Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам, индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка» Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка» Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.
Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов

Поисковые роботы Google

Googlebot – основной индексирующий робот
Googlebot-Mobile – робот, индексирующий сайты для мобильных устройств
Googlebot-Image – робот, сканирующий страницы для индекса картинок
Mediapartners-Google – робот, сканирующий контент страницы для определения содержания AdSense
Adsbot-Google – робот, сканирующий контент для оценки качества целевых страниц AdWords

На сегодняшнем занятии мы разобрали достаточно много информации. Для SEO необязательно следует наизусть помнить все. В процессе «общения» с поисковыми системами основные синтаксис, операторы и роботы поисковых систем запомнятся сами по себе. Главное иметь представление и знать, что такое имеет место быть.

Ссылки по теме занятия для самостоятельного изучения

Инструкция по установке WordPress

Поисковая система

Поисковые роботы

Домашнее задание

На примере любого сайта, нужно определить в Яндекс и Google (если это возможно):

1. количество проиндексированных страниц сайта
2. количество ссылок на сайт
3. количество страниц, содержащих слово «сайт» в заголовке
4. количество страниц, содержащих слово «category» в урле

Попробуйте проделать тоже самое, но используя расширенный поиск Яндекс и Google.

Это поможет вам лучше усвоить пройденный материал на seo курсах. Если будут вопросы – обращайтесь в комментарии.