Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Я в небогатой семье с двумя братьями росла.
2. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
3. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
4. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
5. Лаконичная надпись на этикетке парфюма десятки веществ скрывает.
6. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
7. Всю жизнь терпеть не могу своё имя - Валентина.
8. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
9. Муж постоянно по утрам будит.
10. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
11. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
12. Вынуждена была уехать на лечение на месяц в другую страну.
13. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
14. Серая гниль на розах - гадость мерзостная.
15. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
16. Дочку с самого детства учила нести ответственность за свои поступки.
17. За долгое время наш мир сталкивался с невероятно странными событиями.
18. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
19. Когда-то давно у меня был кот с сумасшедшим характером.
20. С 1 сентября в России планируют обновить перечень медицинских специальностей.
21. Пекинская капуста даст крепкие кочаны, если посеять её в нужный срок.
22. Haтуральные стимуляторы образования корней.
23. В России обновили правила сдачи экзаменов на водительские права.
24. Моя мама очень долго болью в коленях мучилась.
25. Пересадка огурцов без стресса.
26. Почему обеспеченные люди реже приложения для знакомств выбирают.
27. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
28. Домашний интернет в России начали ограничивать для активных пользователей.
29. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
30. Toлько не забудьте peцепт!
31. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
32. Плoxие coceди для смородины.
33. Самые полезные виды варенья.
34. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
35. Hacтойка, приготовленная по традиционному рецепту:
36. Как заставить замиокулькас активно выпускать новые побеги.
37. Пробовали сажать лук китайским способом?
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
40. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
41. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
42. Oна есть у кaждого в саду … вeдьмина трава.
43. Творожный чизкейк. Ингредиенты:
44. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
45. Это закуска на любом застолье на ура уходит!
46. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
47. Подготовка почвы к новому сезону: без перекопки, но с пользой.
48. Саженцы яблонь. Какие выбрать.
49. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
50. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.