Табличный процессор Microsoft Excel

       Ни  одна из частей URL не является обязательной. Отсутствующие части восполняются по умолчанию программой, которая использует URL. 

       Пример полного URL для протокола HTTP (подчеркнуты доменное имя, путь доступа и параметры скрипта): 

       http://www.mydomain.ru:8080/folder1/folder2/script.php?par1=val1&par2=val2#ancor.

1.2 Схемы (протоколы) URL

Общепринятые  схемы (протоколы) URL включают:

• ftp — Протокол передачи файлов FTP;
• http — Протокол передачи гипертекста http;
• https — Специальная реализация протокола HTTP, использующая шифрование (как правило, SSL или TLS);
• gopher — Протокол Gopher (сетевой протокол распределённого поиска и передачи документов);
• mailto — Адрес электронной почты;
• news — Новости Usenet;
• nntp — Новости Usenet через протокол NNTP;
• irc — Протокол IRC (сервисная система, при помощи которой можно общаться через сеть Интернет с другими людьми в режиме реального времени);
• prospero — Служба каталогов Prospero Directory Service;
• telnet — Ссылка на интерактивную сессию Telnet;
• wais — База данных системы WAIS;
• xmpp — Протокол XMPP (часть Jabber);
• file — Имя локального файла;
• data — Непосредственные данные (Data: URL).

Экзотические  схемы URL:

• afs — Глобальное имя файла в файловой системе Andrew File System;
• cid — Идентификатор содержимого для частей MIME;
• mid — Идентификатор сообщений для электронной почты;
• mailserver — Доступ к данным с почтовых серверов;
• nfs — Имя файла в сетевой файловой системе NFS;
• tn3270 — Эмуляция интерактивной сессии Telnet 3270;
• z39.50 — Доступ к службам ANSI Z39.50;
• skype — Протокол Skype;
• smsto — Открытие редактора SMS в некоторых мобильных телефонах.

Кодирование URL

       Появление адресов URL стало существенным нововведением  в Интернете. Однако с момента его изобретения и по сей день, стандарт URL обладает серьёзным недостатком — в нём можно использовать только ограниченный набор символов, даже меньший, нежели в ASCII: латинские буквы, цифры и лишь некоторые знаки препинания. Если мы захотим использовать в URL символы кириллицы, или иероглифы, или, скажем, специфические символы французского языка, то нужные нам символы должны быть перекодированы особым образом.

       Например, строка вида:

       http://ru.wikipedia.org/wiki/Микрокредит

       кодируется  в URL как:

       http://ru.wikipedia.org/wiki/%D0%9C%D0%B8%D0%BA%D1%80%D0%BE%D0%BA%D1%80%D0%B5%D0%B4%D0%B8%D1%82

       Такое преобразование происходит в два  этапа: сначала каждый символ кириллицы  кодируется в Юникоде (UTF-8) в последовательность из двух байтов, а затем каждый байт этой последовательности записывается в шестнадцатеричном представлении:

       М → D0 и 9C → %D0%9C

       и → D0 и B8 → %D0%B8

       к → D0 и BA → %D0%BA

       р → D0 и 80 → %D0%80, и т. д.

       Перед каждым таким шестнадцатеричным  кодом байта, согласно спецификации URL, ставится знак процента (%) - отсюда даже возник английский термин «percent - encoding», обозначающий способ кодирования символов в URL и URI.

       Иные  распространённые, но недопустимые в URL символы кодируются в таком соответствии:                                     

 

       Поскольку такому преобразованию подвергаются буквы  всех алфавитов, кроме базовой латиницы, то URL со словами на подавляющем большинстве языков (кроме английского, итальянского, латинского) может утратить способность восприниматься людьми.

       Это всё входит в противоречие с принципом  интернационализма, провозглашаемого всеми ведущими организациями Интернета, включая W3C (организация, разрабатывающая и внедряющая технологические стандарты для Всемирной паутины) и ISOC (профессиональная международная организация, занимающаяся развитием и обеспечением доступности сети Интернет). Эту проблему призван решить стандарт IRI (англ. International Resource Identifier) — международных идентификаторов ресурсов, в которых можно было бы без проблем использовать символы Юникода, и которые поэтому не ущемляли бы права других языков.

Инициатива PURL

       Ещё один кардинальный недостаток URL состоит  в отсутствии гибкости. Ресурсы во Всемирной паутине и Интернете  перемещаются, а ссылки в виде URL остаются, указывая на уже отсутствующие ресурсы. Это особенно болезненно для электронных библиотек, каталогов и энциклопедий. Для решения этой проблемы были предложены постоянные локаторы PURL (англ. Persistent Uniform Resource Locator). В сущности, это те же URL, но они указывают не на конкретное место расположения ресурса, а на запись в базе данных PURL, где, в свою очередь, записан уже конкретный URL‐адрес ресурса. При обращении к PURL, сервер находит нужную запись в этой базе данных и перенаправляет запрос уже на конкретное местоположение ресурса. Если адрес ресурса меняется, то нет нужды исправлять все бесчисленные ссылки на него — достаточно лишь изменить запись в БД. В настоящий момент эта идея не стандартизирована и не имеет широкого распространения.

       Примеры URL

     http://ru.wikipedia.org/wiki/URL

     http://en.wikipedia.org:80/wiki/Special:Search?search=train&go=Go

     ftp://myname:mypass@myhost.com:21/etc/motd

     prospero://myhost.dom//pros/somename

     Поисковые системы

       Алгоритм  поиска информации

         Процесс поиска довольно прост: задавая ключевые слова, характерные для искомой информации, мы найдём нужный нам документ. Вне зависимости от того, какой поисковой системой вы пользуетесь, примерный алгоритм поиска информации следующий.

1. Вы переходите на начальную страницу поисковой системы или на любую       страницу, на которой находятся поля для ввода запроса и кнопка для       начала поиска. В последнем случае после нажатия кнопки вы       автоматически перейдёте на страницу поисковой системы. Принципиальных отличий между собственно поисковой системой и страницей с полями для ввода запроса, который передаётся поисковой системе, нет. Главное – перейти на страницу, на которой вы можете ввести ваш запрос.
2. Если система позволяет последовательные уточнения области поиска, то       вы переходите в разделы, которые определяют границы поиска информации (например, поиск только в области науки или поиск среди европейских узлов Интернета). В таких системах запрос в главном разделе       осуществляет поиск среди всех узлов Интернета. Если же вы, например,       перейдёте в раздел «Новости», то поиск по запросу будет выполняться       только среди узлов, посвящённых новостям. В том случае, если вы       перейдёте в раздел погода, то вы будете искать только среди новостей       о погоде. Таким образом, вы сначала определяете границы, в которых       следует вести поиск, и только после этого отправляется запрос на       поиск информации. Если выбранная вами система поиска не позволяет       уточнить запрос, то это действие пропускается.
3. Вводится запрос на поиск в соответствии с правилами, принятыми в       выбранной системе поиска. В простейшем случае это одно или несколько       слов, например «Анекдоты», но возможны и сложные запросы с       логическими операциями «И», «ИЛИ», «НЕТ».
4. Если система поиска позволяет, то уточняются некоторые параметры       запроса с помощью дополнительных полей, списков, флажков и       переключателей, которые могут находиться на странице рядом с полем       запроса. В большинстве случаев уточнение параметров не требуется.       Уточнение параметров и составление сложных запросов чем-то похоже на       программирование и пользуется большей популярностью у программистов, чем у широкого круга людей, не знакомых с программированием.
5. Нажимается кнопка для начала поиска, и после некоторой паузы вы       автоматически попадаете на страницу со списком документов,       удовлетворяющих вашему запросу. Длительность паузы зависит от       сложности запроса, скорости работы поисковой системы и качества вашей       связи с данной системой.
6. Если ссылок много и они не помещаются на одной странице, то после       прочтения первой страницы с результатами поиска вы можете перейти к       следующей, и так далее. Таким образом, вы просматриваете все найденные       ссылки на документы.
7. После нахождения нужной ссылки вы щёлкаете на ней мышью и переходите на страницу, которую вы разыскивали. Если вы захотите посмотреть другие найденные страницы, то можно вернуться назад, к странице со ссылками на найденные документы, и перейти по другой ссылке.

          Во многих поисковых системах  поле запроса остаётся на странице  во время просмотра результатов, и вы можете быстро уточнить запрос и организовать новый поиск. В большинстве систем список включает в себя кроме ссылок несколько строк каждого из найденных документов, чтобы было легче выбрать нужный.

          Следует отметить, что при выполнении  запроса поисковая система не  ищет документ непосредственно в Интернете. Она обращается к своей базе данных, где в компактном виде собраны данные об информации в Интернете. Возможно, что реальное состояние Интернета несколько отличается оттого, что храниться в базе данных. Поисковые системы постоянно пополняют и обновляют свои базы данных, чтобы минимизировать такое несовпадение.

       Существует  два способа пополнения информации в базы данных поисковых машин:

• Разработчик Web-страницы самостоятельно добавляет ссылку на неё в          поисковую систему. Большинство систем позволяют это сделать          совершенно бесплатно.
• Специальная программа, называемая роботом, находит ссылку на новую страницу во Всемирной паутине. Роботы запускаются поисковой          системой, что бы проверить, существуют ли ранее найденные          документы и не появились ли новые.

 

     Описание  русских поисковых систем

       В РУнете основными являются поисковые  системы Яndex, Rambler и Mail.ru. На диаграмме представлен удельный вес различных поисковых машин РУнета.

       
 
 
 
 
 

     Yandex.ru  
(Упрощенный-http://ya.ru)

       Yandex выполняет поиск по российской части Интернета с учетом морфологии русского языка. Имея очень мощный механизм подбора сайтов под запросы, эта поисковая машина помогает найти наиболее подходящие веб-страницы в русской части Интернета. Яндекс ежедневно просматривает сотни тысяч веб-страниц в поисках изменений или новых ссылок. Коллекция ссылок постоянно растет.

         Слово "Яndex" означает "Языковой index", или, если по-английски, "Yandex" - "Yet Another indexer". За 4 года публичного существования Яndex возникли и другие толкования. Официально поисковая машина Yandex.Ru была анонсирована 23 сентября 1997 года на выставке Softool. Уже тогда поисковик обладал некоторыми преимуществами - возможностью проверки документов на уникальность, учетом морфологии русского языка, возможностью поиска с учетом расстояния (например, при поиске точного словосочетания). Основной отличительной чертой Yandex был тщательно разработанный алгоритмом оценки соответствия ответа запросу (релевантности), учитывающий не только количество слов запроса, найденных в тексте, но и "контрастность" слова (его относительную частоту для данного документа), расстояние между словами, и положение слова в документе.

       Основным  достоинством Яndex’a является способность находить заданные слова независимо от формы, в которой они употребляются в документах. Система может образовывать словоформы даже для тех слов, которых нет в словаре. Система поддерживает логические операции И, ИЛИ и НЕ, логические группы, поиск по фразам, причем действие операторов И и НЕ может распространяться как на один абзац, так и на весь документ в целом. Поиск может вестись как по всем формам ключевых слов, так и по конкретно заданной форме. Специальный поиск можно вести по заголовкам документов и находящимся в них ссылкам. Кроме того имеется возможность попросить систему найти документы, схожие с наиболее приглянувшимися вам из найденных по предыдущему запросу.

         Согласно данных глобальной статистики рунета, сегодня более 50% поискового трафика генерируется именно этим поисковиком (для сравнения, на долю Rambler'a приходится около 20%, и еще меньше - на долю Google'a).

     Rambler.ru  
(Упрощенный - http://www.r0.ru)

       Rambler – российский информационный портал, объединивший поисковую систему, рейтинг-классификатор, а также ряд бесплатных служб и информационных проектов. Поисковая система содержит информацию о боле чем 12 миллионах документов, расположенных на серверах России и СНГ.

       Система поддерживает логические операции И, ИЛИ, НЕ, логические группы, метасимволы  «?» и «*», заменяющие один символ или их группу, а также позволяет  увеличить и уменьшать значимость вводимых слов с помощью коэффициентов «+», «-». Есть возможность поиска документов, «похожих» на приглянувшийся среди найденных, а также поиска среди уже найденных документов. Поиск в различных кодировках дает одинаковый результат.

       Этот  поисковик, занимающий сегодня второе место среди искалок РУнета, был первой поисковой программой, созданной специально для русской Сети программистом компании Stack Ltd Дмитрием Крюковым. (1996). Слово "Rambler" можно перевести как "праздношатающийся человек", так сказать бродяга по Интернету. Rambler постоянно совершенствует свой поисковый алгоритм. Проводятся работы по оптимизации работы системы для точности и актуальности поиска. Как и большинство русских поисковых машин, Rambler учитывает морфологию русского языка. При выдаче результатов влияние оказывает также положение сайта в рейтинге Rambler's Top100. Rambler индексирует сайты в зонах ru, .su, .ua, .by, .kz, .kg, .uz, .ge, а также русскоязычные сайты в доменах .com, .net или .org.