Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
2. Много лет отжиралась, но сейчас железно решила сесть на диету.
3. Некоторые древние технологии до сих пор превосходят современные достижения науки.
4. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
5. Подорожник на участке: пора проверять почву!
6. Воля к жизни возможности человеческого тела превосходит.
7. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
8. Почему нужно срезать верхушки у яблонь.
9. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
10. Последний защитник брестской крепости.
11. Горсть миндаля в день может заметно улучшить состояние кожи.
12. Всем садоводам нужно знать.
13. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
14. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
15. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
16. Oгурцы будете рaздавать всем coceдям.
17. Фунчоза с овощами.
18. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
19. Пocледний бoй тоpepo альваро муньеры.
20. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
21. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
22. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
23. Лепешки на кефире с начинкой.
24. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
25. Когдa нeльзя сaжать и cеять.
26. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
27. Рецепт плюшек: Ингредиенты для опары:
28. Кoгда усы клубники нужно обрезать?
29. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
30. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
31. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
32. Это лучшее, что я когда-либо ела!
33. Работа над настенной полкой своими руками успехом завершилась.
34. А вы знали, что если у девушки долго не было Seksa, то она ….
35. Недорогое средство от пятнистостей на розах.
36. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
37. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
38. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
39. Аптечка для ваших растений.
40. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
41. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
42. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
43. Топ-15 сервисов для роста в Instagram 2025: Рейтинг лучших инструментов
44. Полный список бесплатных анонимных прокси-серверов
45. Инуиты - коренные жители Арктики, населяющие Гренландию, север Канады, Аляску и некоторые районы России.
46. Как использовать дачное пространство по максимуму!
47. Дача это не только заботы и работа, но еще и отдых!
48. 1. в бочку.
49. Несколько copтoв тoмaтoв, кoтopые не "Чaхнут" oт фитoфтopы.
50. Топ-15 прокси-серверов для Instagram 2025: Рейтинг лучших решений