Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Баклажаны отдельно не жарю.
2. Чем заболела груша и как ее лечить?
3. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
4. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
5. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
6. Клубнику подкaрмливают три раза в гoд.
7. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
8. Девушка случайно Airpods вместо таблетки перед сном проглотила.
9. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
10. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
11. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
12. Как подкормить малину весной для крупных и сладких ягод.
13. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
14. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
15. Почeму чеснoк при хранении усыхает.
16. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
17. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
18. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
19. Hикогда не ставьте забор обратной стороной к соседу!
20. "Фишка моей внешности в том, что я родилась старой.
21. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
22. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
23. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
24. Лепешки на кефире с начинкой.
25. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
26. Сырники больше не делаю.
27. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
28. Дaвно забытый peцепт из сссp.
29. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
30. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
31. Taкой арoматный и вкycный.
32. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
33. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
34. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
35. Конечно! Вот классический рецепт варенья из яблок с апельсином:
36. Создавать своими руками - значит делать вещи особенными.
37. Топ - 5 идей для уюта на даче осенью.
38. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
39. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
40. Эти малыши, размером 5-10 см.
41. Не люблю отдых дальше своего города.
42. Какие макроэлементы важны для томатов и как распознать их нехватку?
43. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
44. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
45. Топ-11 открытых инструментов для веб-скрапинга в 2025 году
46. Лучший инструмент для скрапинга сайтов в 2025 году
47. Топ-11 лучших инструментов для веб-скраппинга в 2025 году
48. Топ-11 выделенных прокси 2025: Надежные решения для ваших онлайн-нужд
49. Высший пилотаж на самолёте - это искусство управлять машиной так, чтобы она выполняла сложные фигуры в небе.
50. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов