Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
2. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
3. Пустая грядка в августе не обязана два месяца выращивать сорняки.
4. Из космоса полное солнечное затмение выглядит как идеально круглая, медленно ползущая тень по поверхности земли.
5. Почему утро, день и вечер не имеют чётких границ.
6. Насколько огромны самые большие объекты в природе и космосе.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Что будет с землёй, если солнце внезапно исчезнет.
9. Цветы на томатах есть, а завязи нет: что я делаю в жару.
10. Дeлaю yжe втopую нeдeлю.
11. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
12. Дочку с самого детства учила нести ответственность за свои поступки.
13. Мощная подкормка для овощей: секрет огромного количества завязей.
14. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
15. Экзамен по философии сдавала.
16. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
17. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
18. Важные правила подкормки, о которых нельзя забывать.
19. История любви из разных миров покорила интернет.
20. Почему вы зря деревья от лишайника белите?
21. Проект за 200 миллионов долларов превратился в странный город - призрак.
22. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
23. Токсичное поведение на работе может стать причиной увольнения.
24. Пятьcot лет тому нaзад.
25. Плoxие coceди для смородины.
26. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
27. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
28. Самые полезные виды варенья.
29. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
30. Нашатырь можно как хорошую подкормку для лука использовать.
31. Как заставить замиокулькас активно выпускать новые побеги.
32. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
33. Австралийская семья отказалась продать дом за 50 миллионов долларов.
34. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
35. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
36. Caлат с куpицeй и aнанасами.
37. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
38. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
39. В 2026 году в России ожидается волна сокращений персонала.
40. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
41. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
42. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
43. Недорогое средство от пятнистостей на розах.
44. Учёные Ozempic без побочных эффектов создали.
45. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
46. Мы готовим малинник к следующему сезону правильно!
47. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
48. Аптечка для ваших растений.
49. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
50. Ароматная и легкая в приготовлении соль невероятно.