Kitabı oxu: «Мониторинг информации в Интернете»

А. В. Артемов
Мониторинг информации в интернете: учебно-методическое пособие

Рецензент:

кандидат экономических наук, доцент кафедры «Предпринимательство и маркетинг» ФГБОУ ВПО «Госуниверситет – УНПК»

Н.А. Лебедева

А. В. Артемов, кандидат технических наук, доцент кафедры «Электроника, вычислительная техника и информационная безопасность» ФГБОУ ВПО «Госуниверситет – УНПК»

Лекция 1
Принципы организации и поиска информации в интернете

Поиск информации в Интернете проводится двумя основными способами – с помощью каталогов (их еще называют директориями) и с помощью поисковых машин.

Директории обеспечивают контекстный поиск для структурированного просмотра, тогда как поисковые машины, как следует из их названия, контекста не обеспечивают, однако позволяют находить конкретные слова или фразы. Директории можно уподобить оглавлению книги, а поисковые машины – предметному указателю.

Часто поисковые системы объединяют в себе как поисковую машину, так и директории. Это хорошо видно на примере первой страницы Яндекса, где под поисковой строкой размещается список директорий, которые позволяют пользователю уточнять запрос по мере продвижения в глубь каждой из них.

Ввиду того, что принцип организации директорий понятен каждому, кто пользовался библиотечным каталогом – а среди читателей таких, смеем полагать, подавляющее большинство, – мы не будем подробно останавливаться на технике работы с директориями и уделим больше внимания работе с поисковыми машинами. В завершении же разговора о каталогах приведем пример «цепочки», по которой осуществляется поиск каталоге Яндекса: Бизнес > Реклама > Реклама в Интернете.

Все поисковые машины работают по одному и тому же алгоритму и основаны на одних тех же принципах. Различия между ними возникают лишь на уровне технической реализации этих принципов в работе.

Чтобы понять принцип работы поисковой машины, попробуем разделить вопрос на две части: на чем основан поиск и как он реализован.

На чем основан поиск Все поисковые машины базируются на трех основных операторах, лежащих в основе Булевой алгебры (ее также называют Булевой логикой или Boolean). Это логические операторы «И», «ИЛИ» и «НЕ». Работают они следующим образом.

1. Логическое «И». Если между двумя словами в запросе стоит оператор «И», то в результате поиска будут найдены лишь те документы, в которых содержатся оба слова.

Так, например, по запросу собака И кошка будет найден документ, содержащий предложение «собака гналась за кошкой», документов же, состоящих из текста «кошка отдыхала» или «корм для собак», мы не увидим.

2. Логическое «ИЛИ». Если между словами стоит оператор «ИЛИ», то результатом поиска станут документы, в которых содержится хотя бы одно из этих слов. Если мы не сделаем специальных ограничительных оговорок, то материалы, в которых оба эти слова присутствуют, также будут найдены.

По запросу собака ИЛИ кошка мы получим документы, исключенные в прошлом запросе и содержащие текст «кошка отдыхала» или «корм для собак», а также материал с предложением «собака гналась за кошкой».

3. Логическое «НЕ». Если два предыдущих оператора описывали те слова, которые вы хотите включить в запрос, то оператор «НЕ» слова из запроса исключает.

Пользователи, впервые сталкивающиеся с операторами запросов, нередко высказывают удивление: мол, не проще ли и вовсе не включать ненужное слово в запрос? Зачем вводить дополнительный оператор? Увы, нет. Не проще. На самом деле, чтобы понять важность логического оператора «НЕ», имеет смысл вспомнить, что наш запрос не создает в Интернете ничего нового. Мы лишь выуживаем то, что нам нужно, из имеющегося огромного, но все же конечного массива. При этом необходимо отсечь информационный мусор. Его-то мы и отсекаем с помощью оператора «НЕ». К сожалению, не нам решать, увидим ли мы этот мусор в выдаче. Так, например, по запросу сведений о коньке крыши неизменно появляется информационный мусор в виде документов о Коньке-Горбунке, фигурном катании, хоккее, лошадях и т. п. Без логического «НЕ» тут никак не обойтись.

Давайте рассмотрим примеры работы логического оператора «НЕ». По запросу собака НЕ кошка будет найден документ, содержащий текст «корм для собак», а вот документы со словами «кошка отдыхала» или «собака гналась за кошкой», и даже «корма для собак и кошек» из выдачи будут исключены.

Часто встречается чуть более сложный вариант написания запроса, который содержит все или почти все вышеперечисленные операторы. В этом случае лучше пользоваться таким элементом, как круглые скоби. Скобки позволяют отделять однотипные слова запроса от остальных. Кроме того, самому составителю при этом визуально гораздо удобнее различать отдельные фрагменты запроса. Мы не будем чересчур теоретизировать о скобках, а просто продемонстрируем работу указанного элемента на конкретных примерах. На наш взгляд, так будет понятнее, как и для чего используются скобки. Так, запрос пушистые И (собаки ИЛИ кошки) позволит получить документы, относящиеся как к пушистым собакам, так и к пушистым кошкам – по отдельности или вместе. Скобки при этом «раскрываются» по обычным арифметическим правилам вынесения за скобку общего множителя (для тех, кто не любит математику, поспешим сказать, что болеше углубляться в нее мы не будем). А вот запрос пушистые И (собаки ИЛИ кошки) НЕ (собаки И кошки) выдаст документы, в которых написано про пушистых собак или пушистых кошек, но не будет содержать текстов, где одновременно будут упомянуты и кошки, и собаки.

Еще раз повторимся, все поисковые машины сегодня работают на основе анализа этих трех операторов, хотя нюансы их написания в разных поисковых машинах могут отличаться.

Как поиск реализован. Каждая полноценная поисковая машина располагает собственным штатом роботов, или пауков. Их еще называют краулерами (crawlers) и спайдерами (spiders,). Это программы, которые перескакивают со страницы на страницу и сканируют находящиеся на них тексты, не вникая при этом в их содержание. После чего сбрасывают документы на серверы своих хозяев и идут к следующим страницам. Как паук определяет, куда ему пойти? Он находит так называемую гиперссылку (ту самую, при наведении на которую курсор приобретает вид раскрытой ладони, и при клике по которой происходит переход на другую страницу) и идет по ней. Вот почему, если на страницу не ведет ни одна ссылка, паук на нее тоже не придет. Исключение составляет ситуация, когда владелец страницы вручную сообщит о ней поисковой машине, заполнив специальную форму на сайте поисковой машины.

На сервере поисковой машины текст разбивается на отдельные слова, каждому из которых присваиваются координаты, после чего они заносятся в таблицу сервера вместе со ссылкой на тот адрес в Интернете, по которому текст размещался в момент посещения его пауком. Сам по себе поисковик представляет собой большую локальную сеть, состоящую из мощных компьютеров с огромным объемом дисковой памяти. Эти машины разделены на подгруппы (так называемые кластеры), между которыми распределяется информация, собранная пауками.

Когда поисковая система получает запрос, она ищет ответ именно в своей таблице, а не в Интернете. При этом важно понять, как паук решает, с какой частотой ему следует посещать ту или иную страницу. Выглядит этот алгоритм приблизительно следующим образом. Поработав со страницей, паук возвращается на нее, ну, например, через две недели. И если видит, что никаких изменений не произошло, он планирует следующее посещение через более длительный период – скажем, через месяц. А если и тогда не обнаружит ничего нового, то наведается сюда еще позже, месяца через полтора-два. Вот почему нередко бывает так, что поисковая машина по запросу результат выдает, а попытка перейти на страницу по полученной ссылке безрезультатна – вероятнее всего, никакой страницы уже просто не существует на прежнем месте, но паук на нее давно не заходил, и, соответственно, поисковая система о ее удалении не знает. Весь комплекс процессов, описанных выше, называется индексацией.

История развития поисковых машин

История эволюции поисковых машин наиболее полно, на наш взгляд, представлена в книге признанных экспертов в области невидимого интернета Криса Шермана и Гарри Прайса «Невидимый Интернет».

До середины 1960-х годов компьютеров было немного. Изолированные друг от друга, они не могли обмениваться информацией.

В 1962 г. профессор Ликлайдер (Licklider) из ведущего технического вуза США – Массачусетского Технологического института – сформулировал концепцию глобальной компьютерной сети «Galactic Network». Идея начала воплощаться в жизнь сотрудником американского министерства обороны Ларри Робертсом (Larry Robberts), который через четыре года после публикации статьи профессора предложил объединить отдельные компьютеры министерства в сеть, описанную Ликлайдером. Таковы предпосылки возникновения сети «ARPANET», которая затем превратилась в то, что сегодня величают Интернетом.

Первый узел «ARPANET» появился в 1969 г., и следующие несколько лет к нему подключались университеты и различные контрагенты, работавшие по заказам военного ведомства США. В 1973 г. американское министерство обороны инициировало новую программу, предполагавшую обеспечивать надежную связь компьютеров между собой с помощью очень большого числа различных соединений. Целью такого решения было повышение устойчивости системы к попыткам массированно нарушить электронные средства коммуникации. Поскольку все это происходило во времена «холодной войны», речь шла об устойчивости к устрашающим последствиям, которыми грозило стратегическое ядерное противостояние.

Поскольку «ARPANET» представлял собой одну-единственную сеть, что на системном уровне понижало его способность сопротивляться разрушениям, возникла идея создания «сети из сетей», которая теоретически могла бы быть бесконечно большой.

Этот проект и назвали «Internetting», а саму сеть «Internet». По мере того, как количество присоединенных к Интернету машин увеличивалось, объективно назрел вопрос о необходимости инструментов, позволяющих легко находить текст и другие файлы на удаленном компьютере, в идеале – на любом, где бы он ни располагался в Сети.

Доступ к файлам на самых ранних этапах развития Интернета осуществлялся в два этапа, каждый из которых выполнялся вручную: специальные команды вводились с клавиатуры. Кстати, тогда компьютеры могли управляться лишь специалистами, способными вводить команды в соответствующую строку. Графического интерфейса, позволяющего комфортно работать с машиной неподготовленному человеку, еще не изобрели. Так вот первым делом с помощью программы Telnet устанавливалось прямое соединение с компьютером, на котором находится нужный файл. На данном этапе лишь налаживалась связь, ничего и никуда в этот момент еще не передавалось. И только затем с помощью специальной программы – FTP – можно было этот конкретный файл взять. Очевидно, что на поиски нужного документа уходила масса времени: требовалось знать точный адрес компьютера, на котором он находится. Между тем файлов становилось все больше, интерес к ним постоянно рос, и для того, чтобы найти адрес одного из них, обычно приходилось обращаться в дискуссионные группы с просьбой о помощи и в надежде на то, что кто-нибудь из собеседников подскажет заветный адрес, по которому хранится нужная информация.

В результате, стали появляться специальные FTP-серверы, которые представляли собой хранилище файлов, организованных в директории, по принципу хранения информации на персональном компьютере. Такие серверы существуют и по сей день. Первый работоспособный, общедоступный инструмент поиска файлов, хранящихся на FTP-серверах, назывался «Арчи» (Archie) и был создан в 1990 г. группой системных администраторов и студентов старших курсов Университета Мак Джил (McGill) в Монреале. «Арчи» был прототипом сегодняшних поисковых машин, но значительно болеепримитивным и ограниченным в своих возможностях. Он бродил по Интернету, разыскивал файлы на разных FTP-серверах и загружал список директорий каждого найденного сервера на собственный, формируя общий каталог.

Этот каталог затем обрабатывался и хранился в центральной базе данных, внутри которой можно было организовать поиск. Поиск на собственном компьютере к тому моменту существовал уже издавна и, несмотря на то, что тоже требовал ввода команд, трудностей вработе не создавал. Однако без специальной подготовки использовать компьютер полноценно человек не мог. База данных находилась в университете Мак Джилл и обновлялась ежемесячно. В 1991 г. команда Марка Мак Кахилла (Mark McCahill) из Университета Миннесоты создала программу «Голден Гофер» (Golden Gopher – в переводе с английского «золотоискатель» или «старатель»), которая совмещала в себе оба протокола – Telnet и FTP. Все, что нужно было сделать пользователю для получения доступа к нужной информации, – щелкнуть по гиперссылке, приведенной в меню.

Таким образом, впервые в истории вводить какие-либо команды уже не требовалось, так что отныне по ресурсам Интернета люди могли «бродить» и без специальной подготовки.

Программа показывала пользователю последовательно возникающие пошаговые меню, что позволяло ему без проблем идти в глубь базы директорий, все более приближаясь к специфическим документам, которые и составляли цель поиска. Этот алгоритм, по сути, сохранен и сегодня в Каталогах, расположенных в Интернете. Стало возможно получать как текстовые документы, так и графические, и музыкальные, без привязки к какому-то определенному формату. А самое главное, стало в принципе возможно легко найти и получить в Интернете нужную информацию.

Однако проблемы все же оставались. Одна из них, и довольно серьезная, была связана с тем, что компьютеры были построены на разных платформах, которые порой не понимали друг друга. Тут можно провести аналогию с людьми, которые говорят на совершенно разных языках и потому не могут построить более или менее осмысленную беседу. В те времена между собой конкурировали не операционные системы, как сейчас, а производители компьютерного «железа». Сегодня в меньшей степени важно, кто произвел компьютер. Гораздо существеннее, что на нем установлено: Windows, Linux, Mac OS. А тогда именно производители «железа» определяли лицо Интернета.

Объективно назревала идея, согласно которой компьютеры разных платформ должны иметь возможность работать в одном протоколе, позволяющем просматривать страницы вне зависимости от того, на какой конкретно машине эти страницы созданы. Требовалось придумать такой универсальный протокол и сделать его удобным для пользователей.

Чтобы пользователь получил в руки независимый от платформы и при этом простой инструмент, Бернерс-Ли создал HTML. Все Web-документы, отформатированные с помощью тегов HTML, видны совершенно одинаково во всем мире, вне зависимости от типа компьютера, на котором человек открыл страницу сайта. Поэтому и сегодня при переводе файла в формат HTML, например, на машине, работающей под управлением операционной системы MacOS, можно быть уверенным в том, что этот файл будет выглядеть точно так же и на компьютере, работающем под управлением Windows. Затем Бернерс-Ли придумал Universal Resource Identifier – метод стандартизации адресов, при котором компьютерам в Интернете присваиваются уникальные адреса (сегодня мы их называем URL, это то, что в привычном для пользователя виде обычно начинается с «www»). Наконец, изобретатель собрал вместе все эти элементы, создав систему в форме Web-серверов, которые хранят HTML-документы и предоставляют их другим компьютерам, создавая HTML-запросы о документах по определенным URL. Но Бернерс-Ли хотел видеть Интернет как информационное пространство, в котором можно получить свободный доступ к данным любых типов. На ранних этапах развития глобальной Сети преобладали простые текстовые документы HTML. К тому времени существовали системы поиска информации на локальных машинах, поэтому появилось несколько серверов, которые пытались проиндексировать какую-то часть страниц Web и прежде, чем отправляться за чем-то в Интернет, предлагали поискать необходимые сведения на этих серверах. При этом основная проблема заключалась в том, чтобы отыскать страницы, которые в принципе можно бы было индексировать. Поскольку Интернет лишен централизованной структуры и общего оглавления, единственный способ, позволявший добиться этого, состоял в поиске ссылки на страницу и переходе по этой ссылке, с последующим добавлением найденного ресурса к индексу.

Однако вскоре возникла еще одна проблема. Наиболее популярные страницы посещались пауками чаще остальных, так как на них указывало максимальное количество ссылок.

Пауки, количество и возможности которых были ограничены, «зависали» на таких страницах и впустую расходовали ресурсы, оставляя непосещенным множество других адресов, пока еще менее популярных. Для решения этой проблемы требовалось создать программу, которая позволила бы игнорировать уже проиндексированные страницы и сосредоточиться на поиске новых. Иначе это грозило проблемой с ресурсами.

В 1993 г. студент-физик Массачусетского технологического института Мэтью Грей (Mathew Gray) создал первый широко известный Web-робот, названный «World Wide WebWanderer» или просто «Вандерер», что в переводе с английского означает «скиталец» или «странник». Дело в том, что Грей заинтересовался статистикой. Результатом такого увлечения стало появление «странника»: изобретение было призвано помочь студенту проанализировать размеры Интернета и скорость его роста. «Вандерер» просто приходил на страницу и определял сам факт ее существования, не занося в базу содержимого найденного адреса. Несмотря на то, что создатель робота не преследовал никаких других целей, его детище, фактически дебютировавшее в «забеге» прогрессивных интернет-находок, легло в основу более сложных программ, которые к умению «скитальца» перемещаться по Сети добавили способность сохранять содержимое страниц в базе данных после их посещения.

Случилось так, что 1994 г. стал переломным в истории создания поисковых машин. Студент выпускного курса Вашингтонского университета Брайан Пинкертон (Brian Pinkerton) устал от бесконечной череды электронных писем, которые посылали ему друзья, с информацией о хороших сайтах, найденных ими в Интернете. Безусловно, сайты ему были нужны, однако шквал посланий с их адресами раздражал, а посещение всех страниц отнимало уйму времени. Однако Пинкертон нашел решение проблемы – он создал робота, которого назвал WebCrawler (что-то вроде «вездеход для Интернета»). «ВебКраулер», как и «Вандерер», ползал со страницы на страницу, запоминая при этом весь текст Web-документа и сохраняя его в базе данных, которая была доступна поисковым словам. Изобретатель представил свое детище публике в апреле 1994 г., причем сделал это виртуально – через Web-интерфейс. База данных в тот момент содержала информацию с 6000 самых разных серверов. Уже через неделю она начала расширяться, причем ежедневный прирост составлял более 100 новых серверов. Так родилась первая поисковая машина.

Тогда же был введен в обиход интернетчиков термин «краулер» или «паук», который применяется, как мы уже говорили, и по сей день.

Ну а далее ситуация развивалась еще более стремительно. Крис Шерман и Гари Прайс приводят такую хронологию возникновения и развития современных поисковых машин.

1994 г. – WebCrawler, Lycos, Yahoo!

1995 г. – Infoseek, SavvySearch, AltaVista, MetCrawler, Excite. Появление метапоисковых машин.

1996 г. – HotBot, LookSmart.

1997 г. – NorthernLight.

1998 г. – Google, InvisibleWeb.com.

1999 г. – FAST.

2000 г. и далее – Сотни новых поисковых машин. Русскоязычные поисковые машины появлялись в такой последовательности:

1996 г. – Rambler (www.rambler.ru);

1997 г. – Yandex (www.yandex.ru);

2004 г. – русскоязычная версия Google (www.google.ru) и русскоязычная версия Yahoo! (http://ru.yahoo.com).

Из чего состоит сайт Прежде, чем перейти к описанию языка запросов поисковых машин, рассмотрим, из каких элементов, с которыми предстоит работать пауку, состоит обычно сайт.

Надо сказать, что язык HTML достаточно прост и логичен. Он представляет собой способ разбивки текста с помощью специальных элементов – тегов, которые определяют структуру и внешний вид текста при просмотре его в браузере. О тегах следует знать, что они всегда парные и что они бывают открывающими (обозначают начало определенного форматирования) и закрывающими (обозначают его окончание). Закрывающий тег – такой же по написанию, как открывающий, но перед ним стоит косая черта. Приведем пример очень простого сайта (рисунок 1).

Наверху страницы, изображенной на рисунке, то есть не в тексте сайта, а на верхнем поле рамки страницы, рядом с круглым значком браузера, расположена надпись: «Показываем устройство сайта». Она находится в так называемом заголовке страницы (который заключен между открывающим тегом <TITLE> и закрывающим тегом </TITLE>). Обращаем ваше внимание на то, что это заголовок именно всей страницы, а не текста. Посередине представленного рисунка жирным курсивом выведено: «Это простой сайт». Данная надпись – и есть заголовок текста. Шрифт фразы «Это простой сайт» по размеру.

Наверху страницы, изображенной на рисунке, то есть не в тексте сайта, а на верхнем поле рамки страницы, рядом с круглым значком браузера, расположена надпись: «Показываем устройство сайта».

Рисунок 1. Пример сайта, как его видно в браузере Мозилла Файрфокс

Она находится в так называемом заголовке страницы (который заключен между открывающим тегом <TITLE> и закрывающим тегом </TITLE>). Обращаем ваше внимание на то, что это заголовок именно всей страницы, а не текста. Посередине представленного рисунка жирным курсивом выведено: «Это простой сайт». Данная надпись – и есть заголовок текста. Шрифт фразы «Это простой сайт» по размеру превосходит шрифт текста на сайте, он специально выделен как заголовок текста. При разметке с помощью HTML этот текст расположен ниже тега <TITLE>, но при этом вместе с тегом <TITLE> находится внутри тега <Head>. То есть содержимое, заключенное в <TITLE>, – это часть того, что находится в <Head>.

Такое расположение дает дополнительную возможность пауку лучше определять ключевые слова на сайте. Ведь если слова вынесены в заголовок текста или, тем более, всей страницы, вероятность того, что страница и текст посвящены теме, формулируемой этими словами, повышается. Ниже фразы «Это простой сайт» приведены четыре варианта написания основного текста сайта: обычный, жирный (пишется под тегом <B>), курсив (пишется под тегом <i>), текстовая гиперссылка (пишется под тегом <A HREF=http://www.url. ru>«Текст гиперссылки»</A>).

Основной текст сайта, вне зависимости от того, каким вариантом шрифта он написан, располагается внутри тега <BODY>. Именно содержимое тега <BODY> представляет собой основной объект для паука и рассматривается им как текст страницы (собственно, это действительно текст страницы). Чтобы увидеть внутреннюю разметку сайта, надо в браузере Мозилла Файрфокс навести курсор на любой незанятый текстом участок поля и нажать правую кнопку мыши. В

всплывающем меню следует выбрать пункт «Просмотр исходного кода страницы». Применительно к сайту, который мы рассматривали на рис. 1, этот исходный код будет выглядеть следующим образом:

<HTML>

<HEAD>

<TITLE>

Показываем устройство сайта:

</TITLE>

<CENTER>

<B><I>

<SPAN STYLE=«font-size: large»>Это простой сайт</SPAN>

</CENTER>

</B></I>

</HEAD>

<BODY>

<P>

Это текст на сайте. Обычный шрифт.

</P> <P> <B>

Жирный шрифт.

</B> </P> <P> <I>

Курсив. </I> </P>

<A HREF=http://www.url.ru>«А это – гиперссылка»

</BODY>

</HTML>

Здесь можно увидеть все элементы, описанные нами выше. Кроме того, в исходном коде видны теги <P>, которые обеспечивают расположение текста в новой строке и с промежутком по отношению к тексту, расположенному в предыдущей строке. Разметка HTML по умолчанию не предполагает переноса текста и его форматирования.

Поэтому текст, не содержащий никаких тегов, воспроизводится подряд, но с соблюдением пробелов между словами. Для того чтобы текст оказался написан не просто в новой строке, а с промежутком относительно находящейся выше строки, используется, как мы уже показали, тег <P>, а для того, чтобы текст был написан в новой строке, но без промежутка между выше– и нижерасположенной строками, применяется тег <BR>.

Начало сайта, созданного с помощью разметки HTML, отмечено тегом <HTML>, а его окончание – тегом </HTML>.

Лекция 2
Описание языков запросов поисковой машины яндекс

Лучшая, на наш взгляд, работа по изучению операторов поисковой машины Яндекс выполнена специалистом из Санкт-Петербурга Денисом Фурсовым. На его ресурсе постоянно проводятся дополнительные исследования, отслеживаются и оцениваются изменения в работе операторов указанной поисковой машины. Ниже речь пойдет о том, как с помощью специальных фильтров, основанных на Булевой алгебре, создавать запросы, максимально соответствующие потребностям специалиста, который ищет информацию в Интернете. При изучении этого вопроса, не следует забывать, что компьютер очень исполнителен, но лишен способности думать, поэтому следует составлять запрос, исходя из того, что он будет обработан компьютером буквально, а не с учетом того, что же на самом деле имел в виду пользователь, создавая свое обращение.

Итак, перейдем непосредственно к операторам запросов Яндекса.

1. Логическое «И».

Яндекс поддерживает три разных оператора, относящихся к логическому «И», что делает его самым гибким из всех поисковиков, работающих с русским языком. Столь развита практически уникальная система операторов поисковых запросов дает возможность предельно точно настроить запрос и сформировать такой фильтр для данных в Интернете который максимально качественно выбирает нужную информацию и отсекает ненужное.

1.1. Пробел. Слова, разделенные пробелом, должны располагаться недалеко друг от друга. Специалисты поясняют, что термин «недалеко» отнюдь не фиксированная величина именяется в зависимости от того, с какими словами указанный оператор в каждом конкретном случае используется. Если они часто употребляются, то «недалеко» – значит на расстоянии нескольких слов друг от друга. Если же они редко встречаются в обиходе, то даже их нахождение в разных концах документа будет восприниматься как «недалеко».

При этом, несмотря на то, что логическое «И» в общем виде Булевой алгебры подразумевает присутствие всех упомянутых слов, Яндекс, тем не менее, действительно выдает сначала те документы, в которых есть все ключевые слова, представленные в запросе. После чего начинает выдавать документы, в которых на одно ключевое слов меньше, чем в запросе, затем – на два слова меньше и так далее.

Запрос: [маркетинг менеджмент]

Результат поиска: страниц – 2 442 393, сайтов – не менее 1456

В выдаче: Маркетинг, Финансы, Реклама, Менеджмент

1.2. Амперсанд (&). Слова, разделенные амперсандом, находятся в одном предложении. Важно: амперсанд должен быть отделен пробелами с двух сторон от любых других слов.

Запрос: [маркетинг & менеджмент]

Результат поиска: страниц – 1 190 379, сайтов – не менее 1093

В выдаче: … Филип Котлер в краткой форме представляет все наиболее значительные и интересные положения самой известной своей работы «Маркетинг менеджмент»…

1.3. Двойной амперсанд (&&). Слова, разделенные двойным амперсандом, находятся в любом месте одного и того же документа.

Важно: между амперсандами не должно быть пробелов, но сам оператор должен быть отделен пробелами с двух сторон от любых других слов.

Запрос: [маркетинг && менеджмент]

Результат поиска: страниц – 3 641 056, сайтов – не менее 1 295

В выдаче, к примеру, будут присутствовать учебные планы вузов, в которых слова «маркетинг» и «менеджмент» находятся в разных частях текста, в том числе – на разных страницах опубликованного в Интернете многостраничного плана занятий.

Чтобы увидеть это наглядно, читатели могут нажать в результатах выдачи гиперссылку «Найденные слова», которая приводится во всех итогах поиска. И тогда слова, которые есть в запросе, будут подсвечены и не придется тратить время на их «отлавливание» в тексте.

2. Логическое «НЕ».

Логическое «НЕ» представлено двумя операторами. Прежде чем рассказать о них, отвечу на вопрос, который часто возникает у людей, впервые приступивших к изучению операторов поиска: «Зачем нужно логическое „НЕ“? Его ведь можно и вовсе не вводить, и тогда оно нам не понадобится!». Отвечаем: если мы сами решаем, что нам вводить, а что нет, то это утверждение справедливо. Но проблема в том, что часто в выдаче принудительно оказывается «мусор» и другого способа избавиться от него, кроме как убрать эти слова при помощи логического «НЕ», у нас нет. Так, например, если вас интересует конек крыши, то по слову «конек» в выдаче окажется информация и о роликовых, и о фигурных коньках, и даже о Коньке-Горбунке. Для таких-то случаев логическое «НЕ» и придумано.

Итак, вернемся к нашим операторам.

2.1. Тильда (~). Знак тильды – это верхняя левая клавиша на буквенно-цифровой клавиатуре. Символ вводится на английском регистре с нажатой клавишей SHIFT. Как и амперсанд, тильда должна быть отделена пробелами с обеих сторон. Часто допускают ошибку, «приклеивая» тильду к следующему за ней слову. Иногда отсутствие пробела между тильдой и последующим словом не влияет на результат, но бывает и наоборот, поэтому лучше внимательно проследить за пробелами вокруг этого знака.

Тильда означает, по аналогии с диаметрально противоположным символом – амперсандом, что слова не должно быть в предложении.

Запрос: [маркетинг ~ менеджмент]

Результат поиска: страниц – 12 604 153, сайтов – не менее 4442

В выдаче: … комплексный подход к услуге интернет-маркетинга, охватывающий все возможности для продвижения интернет-представительств компаний в сети Интернет.

2.2. Двойная тильда (~~). По аналогии с двойным амперсандом, двойная тильда пишется слитно внутри самого этого оператора, но отделяется от остальных слов пробелами с обеих сторон. Она означает, что слова, которое за ней расположено, не должно быть в документе совсем.

Запрос: [маркетинг ~~ менеджмент]

Результат поиска: страниц – 9 675 995, сайтов – не менее 3 976

В выдаче: Форум по маркетингу и рекламе – Маркетинг и Реклама, маркетинговые коммуникации, виды рекламы: реклама в СМИ, наружная реклама, BTL: POS-материалы, У вас есть вопрос по маркетингу и рекламе?

Обратите внимание: в результатах выдачи слова «маркетинг» и «маркетингу» выделены как релевантные, «маркетинговые» же – нет. Это происходит потому, что термин «маркетинг» – существительное, а «маркетингу» – его словоформа, тогда как «маркетинговые» – совсем другая часть речи, а отнюдь не производное от слова «маркетинг». Подобное явление надо учитывать, если вы рассчитываете на способность Яндекса самостоятельно перебирать словоформы. Игнорирование этого факта нередко приводит к искажению результатов выдачи и также является частой ошибкой начинающих специалистов по поиску в Интернете. На самом деле, в Яндексе есть еще один оператор логического «НЕ», который обозначается знаком «минус». По мнению Дениса Фурсова, с которым автор полностью согласен, _ «минус» – это не всегда корректно работающая двойная тильда, поэтому пользоваться им смысла нет. Мы не знаем наверняка, но предполагаем, что знак «минус» в качестве логического «НЕ» – это способ унифицировать Яндекс с другими поисковыми машинами, поскольку в большинстве своем они обозначают логическое «НЕ» именно этим знаком. Мы не пользуемся оператором «минус» при поиске в Яндексе.

3. Логическое «ИЛИ» (оператор |).

Логическое «ИЛИ» представлено оператором, имеющим вид вертикальной черты |. На клавиатуре этот оператор находится обычно выше (реже он расположен ниже) клавиши Enter и вводится в английском регистре, при нажатой клавише SHIFT.

В подавляющем большинстве случаев оператор | и слова, с которыми он используется, заключаются в скобки, так как чаще всего этот оператор относится сразу к двум и более словам.

Если мы хотим сделать запрос, который должен показать, что нас интересует документ, содержащий в одном предложении слова «маркетинг» и «менеджмент», но при этом нигде по тексту не должно быть слов «курс», «работа», «конференция», «теория», «книга», «семинар», «бизнес», «прибыль», «клиент», то сформулировать его необходимо следующим образом: [маркетинг & менеджмент ~~ (курс | работа | конференция | теория | книга | семинар | бизнес | прибыль | клиент)] Результат поиска: страниц – 46 082, сайтов – не менее 1483 В выдаче: Форумы на Sostav.ru / Доска объявлений / Продам Маркетинг Менеджмент Котлера Или: Ответы к госам по дисциплине Маркетинг – Менеджмент (по конспектам преподавателей СПбГУ) Обратите внимание, что скобки, как в арифметике при вынесении за скобку общего множителя, позволяют распространить действие оператора «двойная тильда» на все слова, расположенные внутри них.

Кстати, для удобства восприятия этот запрос лучше оформить так, чтобы слова «маркетинг» и «менеджмент» были сгруппированы. Соответственно, мы бы советовали обратиться к поисковику так: [(маркетинг & менеджмент) ~~ (курс | работа | конференция | теория | книга | семинар | бизнес | прибыль | клиент)]

4. Яндекс учитывает морфологию слов. Это означает, что Яндекс по запросу «Учет» выдаст результаты, содержащие слова «Учету», «Учетом», «Учетов» и т. п., которые он выделяет как релевантные теме поиска.

Запрос: [Учет] В выдаче: Последний день сдачи индивидуальных сведений персонифицированного учета истекает 1 марта 2006 года. Результат поиска: страниц – 23 287 782, сайтов – не менее 13 745

Запрос: [Учетом] ведение бухгалтерского учета поставщика, прежде всего учета реализации

В выдаче: Учет русской морфологии Подсветка найденных…Yandex поисковая система с учетом морфологии русского языка Россия…

Результат поиска: страниц – 23 675 161, сайтов – не менее 13 745

5. Можно отключить поддержание морфологии слов.

Если слова с изменяющимися окончаниями «замусоривают» результаты, то можно принудительно заставить Яндекс искать только слова в нужной словоформе. Это бывает полезно, например, при совпадении названия компании с общеупотребительными словами. Скажем, маловероятно, чтобы фирма «Река» упоминалась в публикациях со словами «Реке» или «Реку».

Для того чтобы принудительно искать только нужную словоформу в Яндексе, используют оператор восклицательный знак. Он пишется слитно со словом, которое за ним следует, как если бы этот символ был первой его буквой. Запрос: [!Река]

В выдаче: Рекламное агентство Река – размещение рекламы… Результат поиска: страниц – 2 267 142, сайтов – не менее 4976 А если запрос сделать без восклицательного знака: Река В выдаче: Речные круизы по рекам России и Европы Результат поиска: страниц – 10 470 689, сайтов – не менее 13 932 Видно, что количество страниц и сайтов в случае запроса с оператором «восклицательный знак» уменьшается почти в пять раз за счет исключения форм слова «река», таких как «реки», «рекой», «рекам» и пр.

6. Заглавные и строчные буквы.

Яндекс периодически меняет некоторые нюансы в этом вопросе, стараясь, однако, придерживаться главного правила: слова, написанные с маленькой буквы, будут выдаваться и с маленькой, и с заглавной, а слова, написанные с заглавной буквы, будут выдаваться только с заглавной. Изменения, которые периодически происходят в подходах Яндекса к этой проблеме, обычно касаются попыток исправить наиболее распространенные ошибки пользователей. Ознакомиться с текущим состоянием дел можно как на странице помощи самого поисковика, так и в работе Дениса Фурсова.

Однако для эффективной работы достаточно просто следовать приведенному в этом разделе правилу.

Если же слово написано целиком заглавными буквами, Яндекс будет рассматривать его как представленное прописными. То есть, результаты ввода в поисковую строку понятия «РИТЕЙЛЕР» будут такими же, как и в том случае, если мы оформим запрос иначе – «ритейлер».

Запрос: [бухгалтерский Учет] Результат поиска: страниц – 556 606, сайтов – не менее 1984 В выдаче: … Положение по бухгалтерскому учету «Учет основных средств» ПБУ 6/01» Запрос: [бухгалтерский учет]

Результат поиска: страниц – 5 742 378, сайтов – не менее 2169 В выдаче: …постановка, восстановление и ведение бухгалтерского учета

7. Обязательное включение слов запроса в выдачу.

Чтобы искомые слова непременно присутствовали в документах к выдаче, используется оператор «плюс» (+). Для того чтобы наглядно показать работу этого оператора, сделаем запрос со словами, которые редко оказываются в одном документе. При этом разделим их пробелом.

А затем сделаем точно такой же запрос, но поставим знак «плюс» перед каждым словом, запретив тем самым Яндексу выдавать документы, в которых набор искомых терминов неполный.

Результаты отличаются разительно – вместо тридцати трех тысяч страниц в первом случае, во втором мы имеем всего восемь!

Запрос: [литейщик провизор стоматолог маркшейдер]

Результат поиска: страниц – 33 005, сайтов – не менее 1192

Запрос: [+литейщик +провизор +стоматолог +маркшейдер]

Результат поиска: страниц – 8, сайтов – не менее 4 В выдаче:

ОК 010-93: Общероссийский классификатор занятий (ОКЗ)

… 222 1 Специалисты в здравоохранении (кроме медицинских сестер) 2221 5 Врачи 2222

Стоматологи 2223 2 Ветеринары 2224 6 Фармацевты 2229 4 Специалисты-…

Образование в Кузбассе Литейщик пластмасс Литейщик цветных металлов…

№ 257 від 27/07/1995, Покажчик, Класифікатор, Держстандарт України для детского и подросткового возраста 2222.1 23667 – Научный сотрудник (стоматология) 2222.2 20459 —

Врач-стоматолог 2222.2 20462 – Врач-стоматолог… 8122.2 13382 7 Листобойщик 8122.2

13384 2 Литейщик вакуумного, центробежно-вакуумного и центробежного литья 8122.2

13388 19 Литейщик изделий из…

Оператор «плюс» бывает незаменим и в тех случаях, когда есть необходимость обязательно включить в выдачу стоп-слова.

Очень хорошо это описано в работе Дениса Фурсова.

Если какие-то слова должны быть в результатах, поставьте перед ними +'. Помогает со стоп-словами. Сейчас Яндекс, кажется, учитывает стоп-слова только в запросе из трех и менее слов (даже не операндов!). +не покупай (samsung|lg) позволит найти негативные отзывы о продукции этих фирм (сравните с простым 'не покупай (samsung|lg)). Запрос: [+не покупай (samsung | lg)] Результат поиска: страниц – 5 314, сайтов – не менее 1227

В выдаче: phorum – Основной форум – Re: ЛЮДИ, не покупайте Samsung 753 DFX в Wellcome ЛЮДИ, не покупайте Samsung 753 DFX в Wellcome новое Запрос: [не покупай (samsung | lg)]

Результат поиска: страниц – 779 096, сайтов – не менее 629

В выдаче: Купля продажа мобильных телефонов на Buy-Mobile.ru – Мобильный друг ждет!

Текст ссылок: купить lg бу дешево… купить lg или sony… Правда, Яндекс игнорирует стоп-слова как-то бессистемно. Так, запросы: [+не покупай (троллейбус | автобус)] и [не покупай (троллейбус | автобус)] – дают одинаковое количество результатов, в которых слово «не» учитывается как релевантное. Тем не менее, поскольку нет возможности проверить, как Яндекс отреагировал на запрос в каждом конкретном случае, мы рекомендуем воспользоваться советом Дениса и ставить «плюс» перед стоп-словами, как, впрочем, и перед теми словами, которые вы обязательно хотели бы видеть в выдаче.

8. Поиск точной фразы.

Не исключено, что вам понадобится найти определенную цитату либо рекламный слоган какой-либо компании. Для этого используется оператор «двойные кавычки», аналогичные тем, что применяются в прямой речи. В выдаче при поиске цитаты будут присутствовать документы, содержащие все слова искомой фразы, в той же форме и последовательности, что и в оригинальной ее версии. Важно помнить, что точной цитата будет лишь в том случае, если кроме фразы, указанной в кавычках, в запросе не будет никаких лишних слов. Если помимо фразы в кавычках появится еще хотя бы одно слово, Яндекс будет выдавать документы, которые содержат все слова цитаты, сохранит их последовательность, варьируя при этом их формы. Как следствие, количество документов в выдаче заметно возрастет. Яндекс называет это «слова идут подряд».

Запрос: [ «ты всегда думаешь о нас»]

Результат поиска: страниц – 2905, сайтов – не менее 778

В выдаче: Tefal – ты всегда думаешь о нас! Онли!!

Tefal, ты всегда думаешь о нас!

X-файлы – Тефаль, ты всегда думаешь о нас.

Тефаль, ты всегда думаешь о нас! (антиреклама 1) (Николай Якимчук) | Проза. ру…

Электронный журнал со свободной публикацией произведений. Ежедневные редакторские обзоры лучших произведений.

Интересно понаблюдать при такой слаженности результатов за тем, как работает оператор исключения слова из предложения:

Запрос: [ «ты всегда думаешь о нас» ~ (tefal | тефаль)]

Результат поиска: страниц – 307 773, сайтов – не менее 1197

В выдаче: Конференции – АвтоКазань – АвтоКазань. Ru

а я вот всегда думал (+) >> OldDaddy 20.05.2005 17:21:24

Chel.ru – Новости бизнеса. Справочник промышленных, торговых, общественных и…

Почему-то я всегда думала, что практические статьи д.б. написаны ПОНЯТНЫМ языком.

Открытки Всегда думаю о тебе!!

> Красивые фотографии, открытки > Открытки > Всегда думаю о тебе!! Я Всегда думаю о тебе!!

9. Слова находятся на определенном расстоянии.

Этот оператор очень часто используется на практике, так как позволяет достаточно четко ограничить поиск. Вид он имеет следующий: /n, где n, по определению самого Яндекса, – это «максимально допустимое расстояние между двумя любыми словами запроса».

Денис Фурсов дает такое определение оператору: «Расстояние между словами». Мы предлагаем следующим образом запомнить значение цифры в операторе: эта цифра (n) показывает, каким по счету будет второе слово после первого. Например, если в запросе написано:

[годовой /1 отчет], то в выдаче будет присутствовать фраза «годовой отчет». Потому что слово «отчет» будет первым после слова «годовой». Если в запросе написано: [годовой /2 отчет] то в выдаче может появиться «годовой финансовый отчет», потому что слово «отчет» может быть вторым после слова «годовой», а первым может быть любое другое слово.

Надеемся, мы объясняем доступно, потому что хотим рассказать еще о двух нюансах оператора расстояния между словами.

На самом деле, по запросу:

[годовой /2 отчет] документы, содержащие выражение «годовой отчет», также будут выданы, потому что меньшее значение расстояния возможно, а большее – нет. Мало того, в выдачу попадет не только сочетание «годовой отчет», но и «отчет годовой». Расстояние между словами распространяется на оба слова.

Если же есть необходимость ограничить выдачу фразой «годовой отчет», исключив из нее выражение «отчет годовой», то оператор можно написать вот так: [годовой /+1 отчет].

Это практически эквивалентно запросу: [годовой /1 отчет ~ «отчет годовой»].

Количество документов в выдаче совпадает, и в первых рядах в момент составления запроса был документ:

Годовой отчет – 2005. О книге.

Только с «Годовым отчетом – 2005» от журнала «Главбух» вы получите удобный мини-справочник по годовому отчету…

Мы не будем чрезмерно загружать читателя описанием оператора расстояния между словами, так как сказанного вполне достаточно для работы, а изучение всех нюансов функционирования поискового движка Яндекса не входит в круг основных наших задач. Чтобы увидеть разницу между наличием и отсутствием знака «плюс» в операторе расстояния между словами, проведем напоследок такой эксперимент: сначала сделаем запрос, который позволяет появиться в выдаче документам, содержащим, согласно оператору расстояния, как фразе «годовой отчет», так и «отчет годовой», при этом исключив из результатов «годовой отчет»; а затем создадим запрос, требующий, за счет написания оператора расстояния между словами, выдачи только «годового отчета», и убедимся, что при попытке исключения конкретной фразы «годовой отчет» результат получить не удастся.

Запрос: [годовой /1 отчет ~ «годовой отчет»]

Результат поиска: страниц – 2042, сайтов – не менее 701

В выдаче:

Энциклопедии и словари

Энциклопедии и словари

ОТЧЕТ ГОДОВОЙ

Запрос: [годовой /+1 отчет ~ «годовой отчет»]

Результат поиска: страниц – 0

10. Числоформы (термин, введенный Денисом Фурсовым).

Для того чтобы при запросе какого-либо нужного номера (например, номера приказа или телефона) в выдаче вам не попадались посторонние ИНН, маркировки радиоламп и микросхем, а также прочие лишние результаты, рекомендуется перед номером, который вы ищете, поставить восклицательный знак или взять его в кавычки. Сами номера надо написать во всех возможных вариантах, разделив их оператором «ИЛИ» и объединив в круглую скобку.

Запросы:

[(тел | телефон) (!123-45-67 |!1234567)]

[(тел | телефон) («123-45-67» | «1234567»)] – дадут одинаковые результаты, в выдаче мы увидим следующее:

Все услуги через телефоны доступа – Услуги – Главная страница || Инфосвязь. Например, чтобы позвонить из Москвы в Москву на номер 123-45-67, достаточно ввести телефон 1234567, что будет аналогично введению номера 84951234567!.. абонента (в этом случае на дисплее вашего мобильного телефона будет отображаться следующая запись, например для телефона 123-45-67 в Санкт-Петербурге…

11. Поиск на определенном сайте.

Оператор имеет вид url=www.url.ru/cat*. Хотим обратить внимание читателя на то, что на сайте Яндекса этот оператор имеет вид url=www.url.ru/cat/* с косой чертой в конце. Наш опыт показывает, что эта косая черта ухудшает результаты выдачи, поэтому мы рекомендуем записывать оператор без нее, как было показано в начале этого подраздела. Что касается знака «звездочка» в конце адреса, то это символ маски, который означает, что нас устраивает любая страница сайта, адрес которой начинается так, как написано слева от указанного символа. Чтобы воспользоваться оператором, позволяющим проводить поиск на определенном сайте, лучше скопировать этот оператор целиком из таблицы на сайте Яндекса, нежели вводить вручную, а затем заменить в нем адрес на нужный пользователю. Так можно свести к минимуму риск орфографической ошибки. Операторы поиска на определенном сайте можно сгруппировать так, чтобы поиск проводился на группе сайтов. Денис Фурсов приводит такой пример поиска слова «работа» на сайтах www.ko.by и www.superjob.ru, который находит в общей сложности порядка 800 страниц:

Запрос: [работа && (#url=«www.ko.by*» | #url=«www.superjob.ru*»)]

Результат поиска: страниц – 791, сайтов – не менее 2

В выдаче:

Работа, вакансии, подбор персонала, резюме, поиск работы – SuperJob.ru

Работа: быстрый поиск работы

Еще работа» www.superjob.ru (25 КБ) 05.03.2006

и Кадровое агентство Коллекция Открытий —… кадры, работа в Минске, работа в… Кадровое агентство Коллекция Открытий – работа, подбор персонала, кадровые агентства, трудоустройство, персонал, кадровый, кадры главная | о нас | подбор персонала | поиск работы | контакты | карта www.ko.by (16 КБ) 16.11.2005

12. Оператор ссылки (link).

Этот оператор показывает, какие внешние сайты содержат ссылку на сайт, указанный в запросе. Это один из самых важных для конкурентной разведки операторов, поскольку позволяет найти друзей или союзников конкурента, часто ведет на личные странички бывших либо нынешних сотрудников компаний, может обнаружить размещенные членами их персонала объявления о поиске работы или, например, выявить аффилированные структуры. Записывается оператор следующим образом:

link=www.url.ru/cat/*

Как и в предыдущем случае, мы рекомендуем убирать последнюю косую черту, после которой следует символ «звездочка». Если надо найти ключевое слово в ссылающихся на сайт страницах, то оператор link сочетается с обычными ключевыми словами, отделяясь от них двойным амперсандом.

Например, зададим поиск понятия «креатив» в сайтах, ссылающихся на адрес издательства «Вершина»: www.vershinabooks.ru. Запрос: [креатив && link=www.vershinabooks.ru*] Результат поиска: страниц – 238, сайтов – не менее 26

В выдаче:

Консалтинг и тренинги Москвы | Новости | Вышла книга Блестящие ответы на трудные…

ТРИЗ и технологии креатива

http://www.vershinabooks.ru

msk.treko.ru/show_news_476 (23 КБ) 02.03.2006

При этом можно еще раз проиллюстрировать влияние знака «плюс» на результат выдачи в Яндексе. При запросе: [+креатив && link=www.vershinabooks.ru*] Результат поиска: страниц – 10.

Остальные страницы, показанные в предыдущем запросе, ссылались на сайт издательства «Вершина», но слова «креатив» не содержали.

13. Оператор поиска в заголовке страницы.

Для тех, кто не занимается сайтами профессионально, напомним, что заголовок страницы – это то, что написано на синем (для Windows XP) поле в самом верху экрана, как бы ужеза пределами страницы, на ее рамке. А с точки зрения разметки HTML, эта часть сайта заключена внутри тега <TITLE>.

Яндекс справедливо считает, что если ключевое слово содержится в самом заголовке страницы, значит, она однозначно имеет непосредственное отношение к запросу. Синтаксис оператора выглядит таким образом (на примере поиска слова «разведка» на страницах, содержащих в заголовке словосочетание «ИПК УГТУ»):

Запрос: [+разведка && $title (ИПК УГТУ)]

Результат поиска: страниц – 1

В выдаче:

Институт переподготовки кадров УГТУ (ИПК УГТУ) – Екатеринбург, Свердловская…

… проф. бухгалтеров, семинары и тренинги по управлению недвижимостью, изменениями, бизнес-разведке, технологиям продаж, тренинги личностного роста. www.uralfirm.ru/catalog/card/66.19517 (13 КБ)18.06.2005

Остальные операторы языка запросов Яндекса представляют меньший практический интерес, хотя и значительно расширяют возможности поиска. Ознакомиться с ними можно на странице помощи в Яндексе, [4] пройдя по ссылкам Помощь > Синтаксис запросов.

Лекция 3
Описание языка запросов поисковой машины гугл

Поиск в Гугле (Google) Гугл (google.ru) становится все более популярным.

За ним стоит колоссальный финансовый ресурс, которым грамотно распоряжаются. Так, по информации из интервью инженера по программному обеспечению Google Мэта Катса, уже в 2002 г. «каждые 28 дней Google индексировал 3 млрд веб-документов, в том числе более трех млн новых страниц каждый день». Этот поисковик в чем-то проигрывает Яндексу, а в чем-то выигрывает у него. Поскольку Для удобства читателя при рассказе об операторах Гугла будем в ряде случаев проводить их сравнение с аналогичными операторами Яндекса.

1. Основы поиска.

Чтобы ввести запрос, напечатайте ключевые слова и нажмите ENTER либо щелкните кнопку «Поиск в Google». Гугл использует интеллектуальную технику анализа текстов, которая позволяет искать важные и вместе с тем релевантные страницы по вашему запросу. Для этого система анализирует не только саму страницу, которая соответствует запросу, но и те, которые на нее ссылаются, чтобы определить ценность этой страницы для целей вашего поиска. Кроме того, Гугл предпочитает страницы, на которых ключевые слова, введенные вами, расположены недалеко друг от друга.

2. Показ ключевых слов в результатах.

Каждый раз в списке найденных страниц Гугл показывает отрывок из текста на странице, выделяя в нем ключевые слова. Тем самым облегчается их обнаружение по всему тексту. Второй способ увидеть ключевые слова – загрузить страницу по ссылке «Сохранено в кэше». Недостаток данного способа (хотя конкурентной разведкой это нередко рассматривается как преимущество) – в том, что вы видите не ту страницу, которая есть сегодня, а т у, которая сохранена в базе Гугла. Изначально эта опция была придумана для того, чтобы сохранить возможность просмотра страницы даже в тех случаях, когда сервер, на котором она расположена, недоступен.

Третий способ – традиционный для просмотра текста в браузере – заключается в использовании сочетания клавиш CTRL+F. В результате должно появиться окно «найти», в которое необходимо ввести искомые слова. Раскладка клавиатуры, установленная в этот момент на компьютере, значения не имеет.

3. Логическое «И».

В отличие от Яндекса, в Гугле всего одно логическое «И», оно наиболее близко к рассмотренному ранее поисковому механизму «&&» в сочетании с оператором «плюс», поставленным перед каждым словом запроса.

Это логическое «И» позволяет выдавать документы, которые принудительно содержат ключевые слова в любом месте текста. По умолчанию при написании слов запроса через пробел Гугл ищет документы, содержащие все слова запроса.

Запрос: [литейщик провизор стоматолог маркшейдер]

Результаты 1 – 10 из примерно 18 для литейщик провизор стоматолог маркшейдер.

В выдаче:

Общероссийский классификатор занятий ОК 010-93 (ОКЗ) (утв…

Общероссийский классификатор занятий ОК 010-93 (ОКЗ) (утв. постановлением Госстандарта

РФ от 30 декабря 1993 г. N 298) Russian Classification of Occupations…

Работа для вас в Самаре. Поиск работы, подбор персонала, вакансии… Медсестра (стоматологический кабинет, ЕТС). Тел. 39-52-53, Адрес: ул… провизор (аптека, в/о, наличие сертификата, опыт работы в производственной аптеке,… Интересно, что Гугл может показать и те источники, кoтopые ключевых слов не содержат, однако они присутствуют в ссылках на показанную страницу. В таком случае при просмотре информации с помощью ссылки «Сохранено в кэше» будет видна надпись:

«Эти слова присутствуют только в ссылках на эту страницу».

Описанный механизм работы Гугла хорошо виден, если посмотреть ключевые слова на странице сайта о работе в Самаре, сохраненной в кэше.

Эти слова выделены: литейщик провизор маркшейдер.

А это слова присутствеют только в ссылках на страницу: стоматолог

4. Логическое «ИЛИ».

Оно пишется с помощью оператора OR. Обратите внимание: оператор этот должен быть написан заглавными буквами и отделен пробелами с обеих сторон от слов, расположенных перед ним и после него.

Важно знать, что, в отличие от Яндекса, Гугл не поддерживает такой оператор, как скобки.

Запрос: [литейщик OR провизор OR стоматолог OR маркшейдер]

Результаты 1 – 10 из примерно 2 030 000 для литейщик OR провизор OR стоматолог OR маркшейдер

5. Заглавные буквы или строчные?

В отличие от Яндекса Гугл не различает регистр букв. Все буквы воспринимаются как строчные, вне зависимости от того, как их вводили в поисковую строку. Запросы: [Эйфелева Башня], [Эйфелева башня] и [эйфелева башня] дадут одинаковые результаты.

Результат поиска на момент написания книги:

Результаты 1 – 10 из примерно 543 000 для Эйфелева Башня.

Результаты 1 – 10 из примерно 543 000 для эйфелева башня.

6. Стоп-слова.

Во вспомогательных инструкциях (хэлпах) написано, что Гугл, подобно большинству поисковых систем, игнорирует стоп-слова. Кроме того, хэлпы утверждают, будто, как и многие другие поисковики, Гугл имеет механизм принудительного включения стоп-слов в результаты поиска. К таким элементам относится большинство артиклей английского языка, союзов и предлогов русского языка.

В реальности ситуация, похоже, складывается иначе.

Тест: вводим по-русски букву [в]

Результат:

Результаты 1 – 10 из примерно 48 600 000 для в.

Вводим по-английски артикль [the]

Результат:

Результаты 1 – 10 из примерно 8 670 000 000 для the.

7. Оператор «Плюс» (+).

Тем не менее, бывают ситуации, когда надо принудительно включить в текст какое-либо слово, которое может иметь варианты написания. В хэлпе Гугла приводится пример с запросом «Star Wars Episode I», где римская единица представляет собой латинскую букву «I» («ай»). Если сделать запрос просто как:

[Star Wars Episode I], – то результат будет следующий:

Результаты 1 – 10 из примерно 13 200 000 для Star Wars Episode I.

В том числе в выдаче появятся слова «Episode II», «Episode IV» и т. п.

Если сделать запрос: [Star Wars Episode +I], – то результат будет такой:

Результаты 1 – 10 из примерно 9 290 000 для Star Wars Episode +I.

И в него войдут только тексты, содержащие слово «Episode I».

8. Морфология слов.

Гугл не поддерживает морфологию слов. Их изначально следует вводить в нужных формах. Правда, отчасти это компенсируется интеллектуальной системой поиска, которая может найти нужную словоформу в ссылках на страницу. Чтобы проверить утверждение об отсутствии поддержки морфологии, возьмем такое языковое сочетание, по которому можно увидеть все без исключения результаты. А сочетание следующее: «Глоклая куздра».

Тест:

Запрос:

[глоклая куздра]

Результаты 1–4 из примерно 16 для глоклая куздра.

В выдаче три адреса:

1. www.flame.ws/txt/index.php/t737.html

2.

www.dom.no/modules.php?name=Forums&file=viewtopic&p=31986&highligh t=

3. www.gb.anekdot.ru/vm.html?file=vm&date=1998-08-07

Запрос: [глоклую куздру]

Результаты 1–1 из 1 для глоклую куздру.

В выдаче один адрес:

gb.anekdot.ru/vm.html?file=vm&date=1998-08-07

Запрос:

[глоклой куздре]

Результат: Не найдено ни одного документа, соответствующего запросу глоклой куздре.

Правда, это не мешает Гуглу иногда выделять по запросу «площадь» слово «площади» как релевантное. Однако подобное встречается на странице выдачи, но не в кэше. Просто для сравнения приведем результат Яндекса. По всем трем запросам о «глоклой куздре» система дала на момент написания книги одинаковый результат:

Результат поиска: страниц – 13, сайтов – не менее 5.

9. Улучшение запроса во время поиска.

Поскольку Гугл выдает все слова, которые вы вводите в запросе, имеет смысл составлять новые запросы, содержащие те слова, которые вы забыли ввести в начале поиска, но обнаружили в ходе его выполнения в найденных текстах. В ряде случаев это помогает улучшить результат. Подчеркнем особо – это должны быть именно отдельные запросы.

Добавление же новых слов к уже имеющемуся списку порой приводит к излишнему сужению диапазона результатов, ведь Гугл будет пытаться выдать документ, в котором содержатся все искомые слова.

10. Исключение слов из запроса. Логическое «НЕ».

Как известно, часто при составлении запроса встречается информационный мусор. Чтобы его удалить, стандартно используется оператор исключения – логическое «НЕ». В Гугле такой оператор представлен знаком «минус». Здесь он идентичен поисковому механизму Яндекса «двойная тильда» («~~»), исключающему слово из всего документа.

Используя его, можно исключать из результатов поиска те страницы, которые содержат в тексте определенные слова.

Тест:

Запрос:

[Журавль колодец]

Результаты 1 – 10 из примерно 778 для Журавль колодец.

Запрос:

[Журавль колодец-птица]

Результаты 1 – 10 из примерно 715 для Журавль колодец – птица.

Запрос:

[Журавль – колодец-птица]

Результаты 1 – 10 из примерно 120 000 для Журавль – колодец – птица.

Запрос:

[Журавль – колодец-птица – птиц]

Результаты 1 – 10 из примерно 106 000 для Журавль – колодец – птица – птиц.

Запрос:

[Журавль – колодец – птица – птиц – журавли]

Результаты 1 – 10 из примерно 104 000 для Журавль-колодец-птица-птиц-журавли.

11. Поиск точной фразы.

Найти точную фразу, как мы уже говорили, требуется либо для поиска текста определенного произведения, либо для поиска определенных продуктов или компаний, в которых название или часть описания представляет собой стабильно повторяющееся словосочетание. В отличие от Яндекса, который может менять формы слов, входящих в текст, заключенный в кавычки, Гугл такой способностью не обладает. Мы отмечали, что эта система словоформы вообще не поддерживает.

Чтобы справиться с поиском точной фразы при помощи Гугла, требуется заключить запрос в кавычки (имеются в виду двойные кавычки, которые применяются, например, для выделения прямой речи).

Забавным, но показательным примером может быть задание из учебника русского языка для 7 класса под ред. Н. М. Шанского, где на стр. 45 предлагается разделить текст на абзацы. Автор – М. Шолохов. Произведение не указано. Приведем фрагмент текста:

[ «За Доном в лесу прижилась тихая, ласковая осень. С шелестом падали с тополей сухие листья. Кусты шиповника стояли, будто объятые пламенем, и красные ягоды в редкой листве их пылали, как огненные язычки.»].

Введем этот текст в кавычках в Гугл и получим следующий результат:

Результаты 1 – 10 из примерно 15 для «За Доном в лесу прижилась тихая, ласковая осень. С шелестом падали с тополей сухие листья. Кусты шиповника стояли, будто объятые пламенем, и красные ягоды в редкой листве их пылали, как огненные язычки». Как выяснилось, этот фрагмент относится к произведению «Тихий дон» (книга четвертая).

Курьез же состоит в том, что у М. Шолохова этот текст оказался вообще не разбитым на абзацы.

Гугл воспринимает в качестве знаков, связывающих слова в единую фразу, не только кавычки, но и такие символы, как дефис, слэш (косая черта), точка, знак равенства, апостроф.

Результаты 1 – 10 из примерно 27 400 для мать-и-мачеха.

Результаты 1 – 10 из примерно 27 300 для мать/и/мачеха.

Результаты 1 – 10 из примерно 27 300 для мать=и=мачеха.

Результаты 1 – 10 из примерно 27 300 для мать.и. мачеха.

Результаты 1 – 10 из примерно 27 300 для мать'и'мачеха.

Во всех вышеприведенных случаях первым в выдаче стоит текст, фрагмент которого приведен ниже:

«Мать-и-мачеха (Tussilago farfara) – одно из самых раноцветущих растений: зацветает в… Как лекарственное растение мать-и-мачеха применяется, прежде всего,…».

При этом все три слова: «мать», «и», «мачеха» – рассматриваются как отдельные, но стоящие рядом и в этой же самой последовательности. Интересно, что по запросу: [мать-и-мачеха] – оказалось на 100 документов больше, чем по остальным, но если взять это слово в кавычки, то результат уравнивается:

Результаты 1 – 10 из примерно 27 300 для «мать-и-мачеха». Чтобы прояснить этот казус, введем следующий запрос: [мать-и-мачеха «мать-и-мачеха»]. В итоге получим: Результаты 1 – 10 из примерно 27 для мать-и-мачеха – «мать-и-мачеха».

В выдаче появятся тексты такого содержания: Санкт-Петербургская Федерация Настольного Футбола Матьимачеха. Королев Петр Трушков Кирилл. 2. Экспромт. Гриневич Василий… Матьимачеха – игроки получают по 60 рейтинговых очков; Экспромт – игроки… www.kickerclub.spb.ru/tournaments/2005-09-03.html– 17k.

12. Количество слов в строке поиска.

Во многих источниках встречается информация, согласно которой поисковая строка Гугла вмещает 10 слов или что Гугл проводит поиск лишь по 10 словам. Проведенный нами эксперимент эти данные не подтвердил. Так, введем запрос из 23 слов:

[крупа мука яйца масло соль перец лук макароны молоко хлеб сметана сахар помидоры рубленое мясо фарш говядина майонез салат огурцы гамбургеры булочки сыр]

Результат:

Результаты 1–3 из примерно 5 для крупа мука яйца масло соль перец лук макароны молоко хлеб сметана сахар помидоры рубленое мясо фарш говядина майонез салат огурцы гамбургеры булочки сыр.

Ресторан. Ru | Кулинария | Кулинарные рецепты | Вторые блюда | С…

(салат, помидоры, огурцы, гамбургеры, булочки, сыр, майонез)… (макароны, лук, перец, помидоры, мука, масло, рубленое мясо, мясной бульон, сыр)…

www.restoran.ru/index.phtml?t=1&pid=2516

В КЭШе подчеркнуты все 23 слова, и в тексте они также присутствуют. Если изменить запрос, используя логическое «ИЛИ» вместо логического «И», то результат прогнозируемо меняется, но все слова в выдаче по-прежнему выделены Гуглом. [крупа OR мука OR яйца OR масло OR соль OR перец OR лук OR макароны OR молоко OR хлеб OR сметана OR сахар OR помидоры OR рубленое OR мясо OR фарш OR говядина OR майонез OR салат OR огурцы OR гамбургеры OR булочки OR сыр]

Результат:

Результаты 1 – 10 из примерно 3 430 000 для крупа OR мука OR яйца OR масло OR соль OR перец OR лук OR макароны OR молоко OR хлеб OR сметана OR сахар OR помидоры OR рубленое OR мясо OR фарш OR говядина OR майонез OR салат OR огурцы OR гамбургеры OR булочки OR сыр.

13. Стемминг (а также wildcard).

Стемминг – возможность усечения слова до его корня. После усечения слова до его корня производится поиск релевантных вариантов слов, производных от этого корня. Другими словами, стемминг позволяет искать все однокоренные слова.

Техника поиска по маске (wildcard) предствавляет собой написание базового слова (или части слова), после которых идет символ маски – «звездочка» (*), заменяющая собой любое возможное продолжение слова. Таким образом, если поисковая машина поддерживает поиск по маске, то ищутся все слова, которые одинаково начинаются. Эта техника особенно удобна, когда вам неизвестно точное написание конкретного слова, либо когда вы хотите включить все возможные варианты слова в свой поиск. Например, когда по запросу

[тарт*] получают как «тарталетку», так и «тартар».

Так вот, Гугл эти технологии не поддерживает (как, впрочем, и Яндекс). Зато он поддерживает вариант, когда вместо целого слова вводится звездочка.

Например, по запросу: [красная * площадь]

будет выдано:

«Красная и Манежная площади», с подчеркиванием всех этих слов, в том числе буквы «и». В какой-то степени это похоже на поиск с расстоянием между словами, применяемый в Яндексе. По запросу:

[красная * площадь – «красная площадь»] —

будут получены результаты: «Красная (Семеновская) площадь»,

где слово «Семеновская» не считается релевантным и не подчеркивается Гуглом.

14. Дополнительные операторы.

14.1. Оператор cache:

Поисковая машина хранит версию текста, которая проиндексирована поисковым пауком, в специальном хранилище в формате, называемом кэшем.

Кэшированную версию страницы можно извлечь, если оригинальная страница недоступна (например, не работает сервер, на котором она хранится). Кэшированная страница показывается в том виде, в котором она хранится в базе данных поисковой машины, и при показе пользователю сопровождается надписью наверху страницы о том, что это страница из кэша. Там же содержится информация о времени создания кэшированной версии. На странице из кэша ключевые слова запроса подсвечены, причем каждое слово для удобства пользователя подсвечено своим цветом. Например:

«Это сохраненная в кэше G o o g l e копия страницы http://www.kickerclub.spb.ru/tournaments/2005-09–03.html, записанная 4 янв 2006 06:07:09 GMT.». Можно создать запрос, который сразу будет выдавать кэшированную версию страницы с определенным адресом: Так, запрос:

[cache: www.bstm.ru] будет сразу выдавать версию страницы www.bstm.ru из кэша, а не проверять ее нынешнее состояние. Внимание: пробела между оператором cashe: и URL’ом запрашиваемой страницы быть не должно.

Если вы хотите, чтобы ключевые слова на кэшированной версии страницы были подчеркнуты, их надо через пробел указать после оператора cashe: и адреса страницы. Например:

[cache: www.bstm.ru библиотека].

14.2. Оператор info:

Оператор info: позволяет увидеть информацию, которая известна Гуглу об этой странице. Например, запрос:

[info: www.bstm.ru] дает следующий результат:

BSTM – Бизнес-школа технологий менеджмента | Екатеринбург: Новости phpsm, phpsitemanager… Президентская программа. О программе – Стратегический менеджмент – Менеджмент качества —

Маркетинг на предприятии…www.bstm.ru/ Google может показать следующую информацию об этом адресе:

Показать сохраненную в Google версию www.bstm.ru

Найти страницы, похожие на www.bstm.ru

Найти страницы, ссылающиеся на www.bstm.ru

Найти страницы на сайте www.bstm.ru

Найти страницы, упоминающие ссылку «www.bstm.ru»

Внимание: пробела между оператором info: и URL’ом запрашиваемой страницы быть не должно.

14.3. Оператор site:

Этот оператор ограничивает поиск конкретным доменом. То есть, если сделать запрос:

[маркетинг разведка site: www.acfor-tc.ru], – то результаты будут получены со страниц, содержащих слова «маркетинг» и «разведка» именно в домене «acfor-tc.ru», а не в других частях Интернета. Если сделать запрос: [scip site: ru], – то будут получены документы, содержащие слово «scip» и расположенные в доменной зоне «.ru».

Внимание: пробела между оператором site: и URL’ом запрашиваемой страницы быть не должно.

14.4. Оператор link:

Этот оператор позволяет увидеть все страницы, которые ссылаются на страницу, по которой сделан запрос. Например, по запросу:

[link: www.livejournal.com/community/kubok/45852.html] – будут получены известные Гуглу ссылки на статью о поиске через Яндекс, написанную liveuser.

Внимание: пробела между оператором link: и URL’ом запрашиваемой страницы быть не должно.

14.5. Оператор allintitle:

Если запрос начать с оператора allintitle:, что переводится как «все – в заголовке», то Гугл выдаст тексты, в которых все слова запроса содержатся в заголовках (внутри тега Title в HTML).

Например, запрос: [allintitle: википедия яндекс] – даст результаты, где слова «википедия» и «яндекс» содержатся внутри тега Title на просмотренных поисковой машиной страницах. На момент написания статьи результат был таким:

Результаты 1–3 из примерно 7 для allintitle: википедия яндекс.

14.6. Оператор intitle:

Показывает страницы, в заголовке которых содержится слово, расположенное непосредственно после опретора intitle:, все остальные слова запроса могут находиться в любом месте текста. Если поставить оператор intitle: перед каждым словом запроса, это будет эквивалентно использованию оператора allintitle: [intitle: википедия яндекс].

На момент написания статьи результат был таким:

Результаты 1 – 10 из примерно 888 для intitle: википедия яндекс.

Внимание: пробела между оператором intitle: и последующим словом быть не должно.

14.7. Оператор allinurl:

Если запрос начинается с оператора allinurl:, то поиск ограничивается теми документами, в которых все слова запроса содержатся исключительно в адресе страницы, то есть в URL. Так, на момент написания статьи для запроса: [allinurl: narod razvedka] – результат был таким: Результаты 1 – 10 из примерно 14 для allinurl: narod razvedka. Внимание: оператор allinurl: работает лишь со словами, а никак не со служебными фрагментами URL. Такие специальные символы, как слэш или точка, не окажут положительного влияния на результат. Напротив, влияние будет отрицательным, поскольку они могут быть восприняты Гуглом как попытка ввести в запрос точную фразу.

Например, запрос:

[allinurl: narod.razvedka],

равно как и

[allinurl: narod/razvedka] —

результата не дал вообще.

14.8. Оператор inurl:

Слово, написанное слитно с оператором inurl:, будет найдено лишь в адресе страницы Интернета, а остальные слова – в любом месте такой страницы.

Например, для того, чтобы найти слово «разведка „на сайтах, содержащих в адресе сочетание букв «tc“, можно сделать такой запрос:

[inurl: tc razvedka].

Результат на момент написания статьи:

Результаты 1–1 из 1 для inurl: tc razvedka.

Был представлен следующим текстом:

«Otryady-5 Razvedka okazalas' neskol'ko utomitel'noi (obratno shli V lavirovku). Poetomu k pirsu my podoshli sovershenno izmuchennye: no ne stol'ko samoi razvedkoi…. www-lat.rusf.ru/tc/tc08/08otr5.htm».

Если оператор inurl: поставить перед каждым словом запроса, это будет эквивалентно использованию оператора allinurl:.

Внимание: пробела между оператором inurl: и последующим словом быть не должно. Внимание: оператор inurl: работает только со словами и не работает со служебными фрагментами URL. Такие специальные символы, как слэш или точка, не окажут положительного влияния на результат. Влияние будет отрицательным, так как они могут быть восприняты Гуглом как попытка ввести в запрос точную фразу.

Например, запрос

[inurl: tc/razvedka], равно как и [inurl: tc.razvedka] – результата не дал вообще. Результат мог бы быть, если бы в адресе какой-то страницы содержалась точная фраза «tc/razvedka» или «tc.razvedka».