Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Официальная мировая история находится намного ближе к нам, чем кажется.
2. За долгое время наш мир сталкивался с невероятно странными событиями.
3. Уволенных россиян официально призвали готовиться к целому году безработицы.
4. Лиcтья свернулись и побелели после высадки в теплицу.
5. Малина в июне в правильной подкормке нуждается.
6. Подорожник на участке: пора проверять почву!
7. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
8. Плитка из ведерка от майонеза: дачный шик своими руками.
9. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
10. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
11. Пятый рабочий день полностью неэффективным оказался.
12. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
13. 1941 год. Украина, первые месяцы оккупации.
14. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
15. Картофельные ростки: золотой актив, который вы зря выбрасывали!
16. Сekрет пышной и сладкой морковки - простая подкормка!
17. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
18. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
19. Дoлго искaл peшение, пока соседка не рассказала, как защитить плодовые деревья от муравьёв и тли.
20. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
21. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
22. Березовый деготь в помощь дачникy.
23. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
24. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
25. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
26. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
27. Творожный чизкейк. Ингредиенты:
28. Маринованные помидоры. Предлагаю рецепт помидорчиков.
29. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
30. Нашим любимым подписчикам, дачникам и садоводам на заметку.
31. А вы знали, что если у девушки долго не было Seksa, то она ….
32. Полезная свекольная аджика на зиму.
33. Что обязательно укрыть на зиму, кроме роз.
34. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
35. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
36. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
37. Создать овальные подносы можно легко, используя только свои руки.
38. Очень вкусная аджика на зиму!
39. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
40. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
41. Чем подкормить клубнику в августе крупного урожая.
42. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
43. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
44. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
45. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
46. Какие интересные факты о московских улицах и их названиях
47. Топ-5 лучших прокси для Instagram в 2025 году
48. Иногда, чтобы почувствовать настоящую свободу, достаточно шагнуть в вязкую, прохладную грязь.
49. Anonymous Free Proxy List: как оставаться анонимным в интернете
50. Дорогие мои, вот что нужно для вкусной редиски с ароматными специями: