Доступ до веб-сайтів під виглядом Google Bot
Рейтинг статті: / 5
НайгіршеНайкраще 

(Джерело EN: ghacks.net)

Google Bot - загальний термін для автоматизованого сканування веб Google-сервісом, який пов'язаний з пошуковою системою Google. Google посилає запити веб-сторінкам, використовуючи агента користувача Google Bot. Цей специфічний агент користувача використовується для різних цілей, включаючи виявлення і обмеження.

Адміністратори можуть, наприклад відфільтрувати статистику Google Bot зі свого сайту, щоб отримати краще уявлення про те, скільки реальних користувачів відвідує сайт в даний момент часу.

Деякі веб-майстри і послуг, з іншого боку намагаються обдурити, дозволяючи Google Bot доступ до всього свого вмісту у той час як вони вимагають реєстрації або плати для входу на сторінки користувачів, які хочуть отримати доступ до тієї ж інформації.

Таке використання не допускається згідно з умовами компанії Google, але деякі веб-майстри роблять це, тим не менше.

Деякі користувачі використовують ідея використання для доступу до інформації під виглядом Google Bot в першу чергу, щоб не платити або не реєструватися.

Be The Bot це сайт, який спрощує цей процес. Він містить форму, в яку можуть бути введені веб-адреси. Користувач може також вибрати ким бути: Google чи Yahoo ботом. Запитувана сторінка буде відображатися на тому ж екрані.

У Вас були випадки, коли після пошуку в Google Ви бачили у вікні попереднього перегляду результатів те, що Вам потрібно, але при натисканні на посилання сторінка не показувала Вам того, що Ви захотіли побачити?

Це тому, що власники сайту намагаються обдурити Вас для продажу чогось або реєстрації. Це звичайна тактика в Інтернеті.

Коли Google заходить на сайт, він надає йому дещо під назвою "Заголовок" (“Header”). Цей заголовок говорить сайту хто відвідувач. Заголовком Google є "Googlebot". Програмісти сайту переконуються в тому, що заголовок говорить: "Googlebot" і, якщо це відбувається, відкривають весь зміст сайту тільки для очей Google.

Це працює на всіх сторінках, що дозволяють повний доступ до своїх веб-сайтів Google Bot або Yahoo Bot, але блокують відвідувачів з проханням зареєструватися або щось спочатку купити

Це працює, наприклад, на сайті Washington Post, який просить відвідувачів зареєструватися, перш ніж вони зможуть читати вміст, який розміщений на сайті. Копіюючи URL поста на веб-сайті або відкриваючи URL-форму washingtonpost.com через Be The Bot Вам буде наданий необмежений прямий доступ до вмісту. (через Online Tech Tips)

 
>
КнигаНовиниПрактика пошукуПартнериПро нас
Підтримка та дизайн: Могильний С.С. Шаблон: Joomla Templates by BuyHTTP Joomla Hosting