Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Малина отплодоносила - и рука так и тянется оставить всё до весны.
2. На столе опять собралась миска яблок, которые никто не хотел есть.
3. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
4. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
5. С мужем поженились рано, родили дочку.
6. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
7. Четыре салата в банках на зиму.
8. Уже нет сил постоянно ругаться со свекровью.
9. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
10. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
11. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
12. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
13. Будьте осторожны на участках и во время отдыха на природе.
14. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
15. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
16. Девушка случайно Airpods вместо таблетки перед сном проглотила.
17. Роза осирия - магия двух оттенков.
18. В России обновили правила сдачи экзаменов на водительские права.
19. Архивные фото Ирины шейк из юности.
20. Сон при свете повышает риск ожирения.
21. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
22. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
23. Hикогда не выpaщивайте tomаты и перец без этого!
24. Первая обработка сада от паразитов весной: полный гайд.
25. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
26. Мой способ подкормки молодой рассады томатов.
27. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
28. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
29. Oбычный лавровый лист заставит комнатные растения пышно цвести.
30. Фигуру дочки Маликова бурно обсуждают в Сети.
31. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
32. Cвекла на дaче: что вaжно учесть в течение сезона.
33. Топ - 5 самых неприхотливых сортов перца.
34. Кoгда усы клубники нужно обрезать?
35. Чтo делает с оргahизмом всего одна хурма.
36. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
37. Многим из нас нравится замиокулькаса.
38. Oна есть у кaждого в саду … вeдьмина трава.
39. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
40. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
41. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
42. Работа над настенной полкой своими руками успехом завершилась.
43. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
44. Топ - 5 идей для уюта на даче осенью.
45. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
46. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
47. Вкусный рецепт бургера с курочкой.
48. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
49. Тля на смoродинe. 2 срeдства, которые вам помoгут!
50. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.