Съём позиций — задача, где размер пула прокси считается арифметикой, а не на глаз. Ошибка в расчёте обходится дорого в обе стороны: адресов мало — сбор упирается в капчу и данные приходят неполными, адресов с запасом — платите за простаивающие. Разбираем, как посчитать нужное количество, что влияет на лимиты и где в этой задаче обычно теряют деньги.
Поисковые системы не рассчитаны на то, что кто-то будет опрашивать выдачу тысячами запросов подряд, и защищаются от этого. Признаки автоматического сбора вычисляются легко: высокая частота обращений с одного адреса, однотипность запросов, отсутствие обычного поведения браузера между ними.
Реакция обычно ступенчатая. Сначала выдача начинает подмешивать проверку — знакомую всем капчу. Потом адрес получает временное ограничение, и любой запрос с него возвращает проверку вместо результатов. При съёме позиций это означает пропуски в данных: строки в отчёте есть, а цифр в них нет.
Объём работы считается в проверках, а не в ключевых словах — это первое, где ошибаются:
Тысяча ключей в трёх регионах по двум поисковым системам с ежедневным съёмом — это уже шесть тысяч проверок, а не тысяча. Дальше делим объём на безопасное количество запросов с одного адреса в сутки.
Точное значение этого лимита никто не публикует, и оно меняется, поэтому опираться приходится на практику: с аккуратными паузами один серверный адрес выдерживает несколько десятков запросов в сутки без появления проверок. Чем агрессивнее сбор, тем ниже планка.
| Задача | Проверок в сутки | Ориентир по пулу |
|---|---|---|
| 100 ключей, 1 регион, 1 поисковик, ежедневно | 100 | 3–5 адресов |
| 500 ключей, 2 региона, 2 поисковика, ежедневно | 2 000 | 20–40 адресов |
| 1 000 ключей, 5 регионов, 2 поисковика, ежедневно | 10 000 | от 100 адресов |
| Агентство: 20 клиентов по 200 ключей, 3 региона | 12 000 | от 120 адресов |
Цифры ориентировочные: конкретный порог зависит от глубины выдачи, интервалов и того, насколько сборщик похож на живого пользователя. Начинайте с меньшего пула, замеряйте долю проверок и добирайте адреса по факту.
Разные подсети важнее количества. Сто адресов подряд из одного блока при ограничении ведут себя как один: защита работает на уровне подсети. При покупке спрашивайте, из скольких разных /24 собран пул — это влияет на результат сильнее, чем round-robin в вашем коде.
Для геозависимых запросов выдача в разных городах различается, и снимать позиции «в среднем по стране» бессмысленно — цифры не будут соответствовать тому, что видит ваш клиент. В большинстве сборщиков регион задаётся параметром запроса, и это основной механизм.
Физическое расположение адреса тоже играет роль: запросы из региона отвечают быстрее, а при массовом сборе снижают вероятность несоответствия между параметром и адресом. Для серьёзного регионального мониторинга разумно держать часть пула в тех локациях, по которым снимаете позиции.
И помните про множитель: каждый добавленный регион умножает объём работы на весь список ключей. Прежде чем добавлять пятый город в отчёт, посчитайте, во что это обойдётся по пулу.
| Критерий | Готовый сервис | Свой сборщик на прокси |
|---|---|---|
| Стоимость | Платите за каждую проверку | Фиксированная плата за пул независимо от объёма |
| Порог выгоды | Небольшие объёмы | От нескольких тысяч проверок в сутки |
| Контроль данных | Данные в чужой системе | Полностью ваши, в нужном формате |
| Поддержка | Не ваша забота | Нужно следить за капчами и качеством адресов |
Простое правило: пока проверок сотни — берите сервис, ваше время дороже. Когда счёт идёт на тысячи в сутки и особенно когда данные нужны в своей системе аналитики, свой сборщик на пуле прокси окупается быстро.
Серверные IPv4 из 150+ подсетей с гигабитным каналом — под съём позиций и любой массовый сбор данных.
Купить серверные прокси IPv4Три метрики, которые стоит писать в лог каждого запуска, иначе вы не заметите деградацию вовремя:
Полезная привычка — раз в неделю прогонять пул коротким тестом и заменять адреса, которые стабильно отдают проверки. Хороший провайдер меняет невалидные адреса бесплатно, этим стоит пользоваться.
Сколько прокси нужно для съёма позиций?
Считайте: ключи × регионы × поисковики × частота, затем делите на безопасное число запросов с адреса в сутки. Для 1 000 ключей в трёх регионах ежедневно — несколько десятков адресов.
Почему появляется капча?
Поисковик замечает высокую частоту с одного адреса и однотипность запросов. Лечится распределением по адресам, паузами и менее агрессивным сбором.
Какие прокси подходят?
Серверные IPv4 из разных подсетей: авторизация не нужна, важны скорость и количество адресов. Мобильные здесь избыточно дороги.
Влияет ли регион прокси?
Да, для геозависимых запросов. Регион обычно задаётся параметром, но физическое расположение адреса влияет на скорость и точность.
Свой сборщик или сервис?
До нескольких тысяч проверок в сутки выгоднее сервис. Дальше свой сборщик на пуле окупается и даёт контроль над данными.