Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Про выращивание укропа.
2. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
3. Вот так выглядит архитектура, когда пространства почти не осталось.
4. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
5. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
6. Caлат с куpицeй и aнанасами.
7. Мы применяем просроченные лекарства.
8. Как правильно ухаживать за фиалками.
9. Oна есть у кaждого в саду … вeдьмина трава.
10. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
11. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
12. В России отложили введение нового утильсбора для автомобилей.
13. Клубника на подоконнике - аромат лета круглый год!
14. Пурпурная малина - настоящая Находка для вашего сада!
15. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
16. Пергола - это не просто арка или навес.
17. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
18. В московских клиниках лечение на современном оборудовании нормой стало.
19. Чем подкармливать морковь в конце лета.
20. 3 популярных сорта жимолости.
21. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
22. Защита от муравьев.
23. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
24. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
25. Автоматические системы полива обеспечивают равномерный и эффективный полив растений, снижая трудозатраты и оптимизируя расход воды.
26. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
27. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
28. Какие интересные факты о московских улицах и их названиях
29. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
30. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор
31. Лучшие VPN для Instagram в 2025 году: Топ-сервисы для безопасного просмотра
32. Строительство цветника из бетона - это отличный способ создать долговечное и эстетичное оформление вашего сада или приусадебного участка.
33. Как бороться с сорняками на клумбах.
34. Габионы - это такие красивые и прочные конструкции, которые используют для укрепления берегов, создания декоративных стен и ландшафтных украшений.
35. Как организовать вечерние посиделки на даче без лишних трат.
36. Полное руководство: как начать продавать на Amazon и других платформах
37. Какие сады и парки Москвы особенно красивы весной
38. Ceкрeты выpaщивания пeкинcкoй кaпycты (а почему бы не попробовать).
39. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
40. Не секрет, что "на Природе" аппетит всегда лучше, а любая еда кажется вкуснее.
41. Солянка с колбасой и курицей.
42. Специалисты назвали идеальные пропорции женской фигуры
43. Секреты стройности: как достичь идеальных форм
44. Что продавать на Amazon FBA в 2025: Тренды и возможности
45. Первая подкормка + обработка от болезней клубники.
46. Какие товары лучше всего продавать на Amazon FBA для большого дохода
47. Премиум Прокси: Топ-7 Лучших Вариантов для Безопасного Серфинга
48. Какие фестивали и праздники проводятся в Перми
49. Топ 7 прокси для Amazon в 2025 году: Рейтинг лучших сервисов
50. Арбитраж криптовалюты в 2025 году: новые горизонты прибыли