VidkopalyBot
VidkopalyBot — програма-збирач сервісу ВІДКОПАЛИ (vidkopaly.com). Вона читає публічні сторінки органів влади, громад, фондів і програм, щоб знайти те, що людям в Україні належить, але до них не дійшло: виплати, пільги, безкоштовні послуги, зміни правил. На своїх сторінках ми посилаємося на першоджерело.
Як він себе називає
User-Agent: VidkopalyBot/1.0 (+https://vidkopaly.com/bot/) From: crawler@vidkopaly.com
Як він поводиться
- До одного сайту — не частіше одного запиту за 5 секунд. Стрічку новин чи сторінку-список, які ми читаємо як джерело, перевіряємо не частіше, ніж раз на 15 хвилин.
- Дотримується robots.txt. Правила для VidkopalyBot і для всіх роботів
(
User-agent: *) виконує, перш ніж іти на сторінку будь-яким способом. robots.txt перечитує не частіше, ніж раз на годину. - Якщо сайт просить сповільнитися (429 або 503 з
Retry-After), не звертається до нього стільки, скільки сайт просить (до доби). - Не обходить вхід за паролем, платний доступ і CAPTCHA.
- Деякі сайти відсікають будь-яку програму, що чесно себе називає, хоча robots.txt її пускає. Тоді публічну сторінку ми можемо відкрити браузером без вікна: він представляється як звичайний Chrome і не вантажить картинок, відео й шрифтів. Такий сайт ми запам'ятовуємо. Якщо браузеру теж відмовлено, тиждень на сайт не ходимо. Раз на тиждень знову пробуємо як VidkopalyBot.
- Тексти використовуємо, щоб знаходити й перевіряти відомості для наших сторінок; моделей штучного інтелекту на них не навчаємо.
Як нас зупинити
Найпростіше — robots.txt:
User-agent: VidkopalyBot Disallow: /
Закрити лише розділ: Disallow: /rozdil/. Якщо ми вам заважаємо або
хочете, щоб ми ходили інакше, напишіть на
crawler@vidkopaly.com.
VidkopalyBot in English
VidkopalyBot is the crawler of vidkopaly.com. It reads public pages of authorities, communities, foundations and programmes to find what people in Ukraine are entitled to but have not heard about: payments, benefits, free services, rule changes. Our pages link to the original source.
User-Agent: VidkopalyBot/1.0 (+https://vidkopaly.com/bot/) From: crawler@vidkopaly.com
- No more than one request per site every 5 seconds; a news feed or listing page we follow is checked at most every 15 minutes.
- Follows robots.txt: rules for VidkopalyBot and for all robots
(
User-agent: *) are applied before a page is visited in any way. robots.txt is re-read at most once per hour. - When a site asks to slow down (429, or 503 with
Retry-After), it stays away for as long as asked (up to a day). - Does not bypass logins, paywalls or CAPTCHAs.
- Some sites refuse any program that names itself, even where robots.txt allows it. A public page there may be opened with a headless browser that presents itself as regular Chrome and loads no images, video or fonts. Such a site is remembered; if the browser is refused too, we stay away for a week, and every week we try again as VidkopalyBot.
- Texts are used to find and check facts for our pages; we do not train AI models on them.
To stop us, add User-agent: VidkopalyBot /
Disallow: / to robots.txt, or write to
crawler@vidkopaly.com.