OkazjomatBot
OkazjomatBot to bot wyszukiwarki Okazjomat. Gdy użytkownik wpisze, jakiego pojazdu szuka, bot sprawdza publiczne strony wyników wyszukiwania w serwisach z ogłoszeniami pojazdów i kieruje kupującego do oryginalnych ogłoszeń.
Jak się przedstawia
Nagłówek User-Agent: OkazjomatBot/0.1 (+adres tej strony; e-mail kontaktowy)
Jak działa
- Przestrzega
robots.txt, w tym wildcardów iCrawl-delay. Jeśli robots.txt jest niedostępny z powodu błędu serwera lub odmowy dostępu, bot nic nie pobiera. Przekierowania do innej domeny wykonuje dopiero po sprawdzeniu jej robots.txt. - Pyta serwis tylko wtedy, gdy użytkownik czegoś szuka. Wysyła najwyżej jedno zapytanie na 2 sekundy do jednego serwisu, wspólnie dla wszystkich użytkowników, i pobiera najwyżej 2 strony wyników na wyszukiwanie.
- Te same wyniki trzyma w pamięci przez 15 minut, więc powtórzone wyszukiwanie nie obciąża serwisu drugi raz.
- Strony pojedynczych ogłoszeń otwiera tylko przy sortowaniu „najlepiej wyposażone”, najwyżej 8 na wyszukiwanie, i zapamiętuje wynik na dobę.
- Nie loguje się, nie korzysta z API, nie rozwiązuje captchy i nie zmienia adresu IP. Gdy serwis odpowie 401, 403, 429 lub 5xx, bot przestaje go pytać na godzinę i nie ponawia prób.
- Zapisuje tylko: markę, model, rocznik, przebieg, silnik, paliwo, skrzynię, nadwozie, kolor, liczbę elementów wyposażenia, cenę, miasto, adres ogłoszenia i adres miniatury.
- Nie zapisuje opisów ani tytułów autorstwa sprzedających, imion, numerów telefonów ani identyfikatorów kont.
- Nie kopiuje zdjęć. Miniatura jest wyświetlana bezpośrednio z serwera portalu.
- Każdy wynik prowadzi do oryginalnego ogłoszenia. Kontakt ze sprzedającym odbywa się wyłącznie w portalu.
- Dane ogłoszeń, których bot nie widzi od 30 dni, są usuwane.
Jak zablokować lub ograniczyć bota
Wystarczy wpis w robots.txt:
User-agent: OkazjomatBot
Disallow: /
Jeśli wolą Państwo inne warunki, np. oficjalny feed, niższą częstotliwość albo współpracę, prosimy o kontakt. Chętnie się dostosujemy.