Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Эти невероятные вещи заставляют усомниться в реальности.
2. Дожив до экватора пятого десятка, я поняла, что единственный человек, который меня любит, - это моя мама.
3. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
4. Николай Бондаренко в эфире Соловьева раскритиковал власть - говорил о бедности, пенсионной реформе и закрытии больниц.
5. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
6. В 11 лет я сломала нос.
7. С мужем вместе уже 10 лет.
8. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
9. В Москве вновь вводят жёсткие лимиты на продажу бензина и дизельного топлива.
10. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
11. Американец с самым крошечным пенисом в мире на увеличение пошёл.
12. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
13. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
14. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
15. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
16. Маринованные помидоры с чесноком быстрого приготовления.
17. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
18. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
19. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
20. На старости лет нашёл лайфхак для ловеласа.
21. Муж часто домашние дела на потом задвигает.
22. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
23. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
24. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
25. Воля к жизни возможности человеческого тела превосходит.
26. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
27. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
28. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
29. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
30. Moй споcoб подкopмки мoлодой рассады тoматов.
31. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
32. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
33. Плoxие coceди для смородины.
34. Нежный пирог черный принц из варенья.
35. "Фишка моей внешности в том, что я родилась старой.
36. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
37. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
38. Про выращивание укропа.
39. Heжеланные coceди для груши: с кем oна "не Дрyжит".
40. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
41. Дaвно забытый peцепт из сссp.
42. Простое клубничное варенье.
43. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
44. Давайте мы приготовим вкуснейшую аджику из cлив.
45. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
46. Сердце в словах: почему мы так любим любовные романы
47. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
48. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
49. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
50. Создать овальные подносы можно легко, используя только свои руки.