Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Nasa показало вселенную с невероятным уровнем детализации.
2. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
3. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
4. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
5. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
6. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
7. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
8. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
9. Насколько огромны самые большие объекты в природе и космосе.
10. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
11. Из мягких груш красивого варенья дольками не получится.
12. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
13. Уже нет сил постоянно ругаться со свекровью.
14. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
15. Думаю, моя мама не человек.
16. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
17. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
18. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
19. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
20. Даже после смерти известные исторические личности часто сталкивались с нарушением своего последнего покоя.
21. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
22. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
23. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
24. Я не люблю формулировку "мы Встречаемся".
25. В России обновили правила сдачи экзаменов на водительские права.
26. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
27. 10 растений с белыми цветами.
28. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
29. 1941 год. Украина, первые месяцы оккупации.
30. Слова - обереги, которые важно знать:
31. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
32. Блaгоприятные дни для пoceва однолетников 2026 году.
33. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
34. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
35. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
36. Пирожки: забытый старый мамин рецепт.
37. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
38. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
39. Простое клубничное варенье.
40. Очищение сосудов головного мозга.
41. Начинайте готовить ягодные кустарники к зимовке.
42. Фильм, который меняет стереотипное представление об атомной энергетике.
43. В московских клиниках лечение на современном оборудовании нормой стало.
44. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
45. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
46. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
47. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
48. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
49. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
50. Самый легкий способ укоренения розы из букета!