Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
2. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
3. С мужем вместе уже 10 лет.
4. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
5. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
6. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
7. Чем заболела груша и как ее лечить?
8. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
9. Работаю в банке.
10. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
11. Подорожник на участке: пора проверять почву!
12. 10 худших цветов для дачи.
13. Сон при свете повышает риск ожирения.
14. Туапсе экологическая катастрофа хуже анапской грозит.
15. Недавно я английский язык выучила.
16. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
17. Натуральные стимуляторы образования корней.
18. Пятый рабочий день полностью неэффективным оказался.
19. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
20. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
21. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
22. Toлько не забудьте peцепт!
23. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
24. Японские учёные о прорыве в борьбе с облысением заявили.
25. Нежный пирог черный принц из варенья.
26. Она растёт в каждом саду и называется ведьмина трава.
27. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
28. Магия пандоры. Аватары и актёры, которые воплотили их образы.
29. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
30. Когдa нeльзя сaжать и cеять.
31. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
32. Вот так выглядит архитектура, когда пространства почти не осталось.
33. Затяжная магнитная буря уже началась и продлится до конца декабря.
34. Дaвно забытый peцепт из сссp.
35. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
36. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
37. Как правильно ухаживать за фиалками.
38. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
39. Арапайма звучит как имя из глубокой древности, и недаром.
40. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
41. Малина ведрами. Как удается получать такой урожай?
42. Мощный шторм на Москву надвигается.
43. Формировать смородиновый куст можно как весной, так и осенью.
44. В России отложили введение нового утильсбора для автомобилей.
45. В России начались испытания новой вакцины против аллергии.
46. Маленькая шпаргалка по томатам.
47. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
48. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
49. Для пропитки древесины существует несколько эффективных средств, выбор которых зависит от целей обработки и условий эксплуатации.
50. От победы над онкологией - к одной из самых впечатляющих сделок за всю историю шоу Shark Tank.