Versions Compared

Key

  • This line was added.
  • This line was removed.
  • Formatting was changed.

...

Каждый поток в ZennoPoster представляет собой изолированный браузер со своими куками (около 13 видов), кэшем, прокси, User Agent и всеми другими данными, которые нужны для полной эмуляции пользователя.

Благодаря технологии размещения нескольких потоков в одном процессе, каждый поток требует в три раза меньше служебной (необходимой для обслуживания потока) оперативной памяти по сравнению с предыдущими версиями ZennoPoster и конкурентными программами. При расчёте количества оперативной памяти, необходимой для нормальной работы программы, нужно учитывать несколько факторов:

  1. Сайт, с которым Вы работаете. Все сайты очень разные и отличаются потреблением оперативной памяти, иногда на порядок. Таким образом, автоматизация одного сайта может работать в 100 потоков, а другого в 20 на одной и той же машине. Старайтесь отключать Flash, картинки и другие ресурсы, если они не нужны для работы с сайтом.

  2. Файлы. Файлы для ускорения работы хранятся в оперативной памяти (иначе будут проблемы с доступом к жёсткому диску). Если Вы для каждого потока используете свою копию файла (так происходит при использовании списков и таблиц без синхронизации с файлом) то, соответственно, каждый поток требует дополнительную оперативную память для хранения этого файла. Учитывайте, что таблицы в оперативной памяти занимают намного больше места, чем исходный файл на жёстком диске. Списки не такие требовательные как таблицы, тем не менее, тоже в оперативной памяти увеличиваются. Например, в оперативной памяти таблица на основе файла *.csv в 10 MB в 100 потоков без синхронизации с файлом, может занять 5 GB. Старайтесь не использовать списки и таблицы в режиме «без синхронизации» с файлом без необходимости.

  3. См пункт (2) в разделе «Процессор».

  4. Поиск по картинке. Эта фича тратит много оперативной памяти. Но очень полезна.

...

  1. Отключение обработки ненужных элементов: Flash, картинки, скрипты и всё что не нужно. Обратите внимание, если сайт с хорошей защитой, то это может повлиять на бан аккаунтов. Т.е. регистрация пройдёт, но созданный аккаунт вызовет подозрения и в дальнейшем может быть забанен.

  2. (Данный пункт актуален только при работе на движке Firefox 45) В настройках программы есть возможность регулирования количества потоков на одной базе. Увеличив этот параметр, Вы немного экономите память и процессор, но появляются дополнительные задержки при эмуляции мыши и клавиатуры. Про эмуляцию читайте дальше.

  3. IntelliSearch и эмуляция. IntelliSearch увеличивает расход ресурсов процессора (в 2-3 раза), но помогает быстрее создавать проекты. Использовать его или нет, решайте сами. Эмуляция мыши и клавиатуры тоже немного увеличивает расход процессора и создаёт эффект, описанный в (2). Но иногда без неё просто нельзя создать аккаунт. Также эмуляция при регистрации аккаунта понижает вероятность бана аккаунта в будущем при дальнейшем его использовании.

  4. Программное распознавание каптчи при использовании модулей из CapMonster тоже расходует процессор. Сколько времени одного ядра процессора нужно для распознавания каптчи написано в CapMonster при тестировании модуля. На самом деле, даже если Вы тратите 10 секунд ядра процессора (хотя такого не бывает, обычно это меньше четверти секунды) на распознавание каптчи, это всё равно дешевле, чем отправлять каптчу в сервисы ручного распознавания.

  5. Поиск по картинке тратит и ресурсы процессора тоже. Но всё равно остаётся очень полезной фичей.

...

Обратите внимание на этот параметр. Во время распознавания каптчи в сервисах ручного распознавания происходит простой проекта около 15 секунд (пока работники сервисов распознают вашу каптчу).

...

Или 150 потоков с проектом (регистратор аккауната), в котором есть распознаванием каптчи через сервисы. И это займёт всю оперативную память.

Аналогично с подтверждением регистрации по e-mail, когда поток ждёт письмо. В этом случае тоже происходит простой потока.

...

Что это такое можно узнать у Google, а сколько таких соединений поддерживает Ваша сеть можно узнать в ZennoProxyChecker. В нём есть тест канала и его онлайн мониторинг.

...

В настройках ZennoPoster можно поставить максимальное количество потоков, которые могут быть одновременно запущены. Есть рекомендуемое значение потоков, основанное на приблизительной оценке мощности Вашего компьютера.

Если Вы прочитали предыдущие пункты, то Вам уже ясно, что количество потоков очень сильно зависит от проекта и подбирается вручную индивидуально для Ваших задач. Для этого просто плавно прибавляется количество потоков, пока один из ресурсов компьютера не будет исчерпан.

...

На самом деле это не так. Браузер никогда не будет работать со скоростью прямых http запросов. Прямые запросы работают в 50-100 раз быстрее. Вы можете убедиться в этом, запустив наш ZennoProxyChecker на выделенном сервере в 15000 потоков. При тестировании на серверах hetzner.de на 15000 потоках кончились свободные соединения, больше не поддерживает их сетевое оборудование, причём процессора и оперативной памяти легко хватило бы и на 50000.