Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Теперь заказы с Ozon будут ехать из Казахстана - доставка в Россию займет до пяти дней.
2. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
3. Долго планировали с мужем переезд, нашли жилье.
4. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
5. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
6. Уже нет сил постоянно ругаться со свекровью.
7. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
8. Дочку с самого детства учила нести ответственность за свои поступки.
9. Мощная подкормка для овощей: секрет огромного количества завязей.
10. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
11. Как-то довелось быть свидетелем диалога двух дачниц.
12. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
13. Сон при свете повышает риск ожирения.
14. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
15. Три народных средства для крепкой рассады томатов.
16. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
17. Горсть миндаля в день может заметно улучшить состояние кожи.
18. Когда сажать рассаду: лунный посевной календарь на 2026 год по месяцам и советы агрономов.
19. Ceйчас я делаю блинчики, которые тают во рту!
20. Hикогда не ставьте забор обратной стороной к соседу!
21. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
22. Лепешки на кефире с начинкой.
23. Ли польза в кoмпоте ecть?
24. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
25. Маринованные помидоры с морковной ботвой.
26. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
27. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
28. Мы применяем просроченные лекарства.
29. Многим из нас нравится замиокулькаса.
30. В 2026 году в России ожидается волна сокращений персонала.
31. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
32. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
33. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
34. Клубника на подоконнике - аромат лета круглый год!
35. Чем обработать теплицу осенью от болезней и вредителей?
36. С утра иногда так хочется выпить ароматного бодрящего кофе.
37. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
38. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
39. Кто сказал, что шестиугольники только у пчёл?
40. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
41. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
42. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
43. Мы готовим малинник к следующему сезону правильно!
44. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
45. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
46. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
47. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам:
48. Наконец - то хорошие новости: новая вакцина против рака работает по принципу персонализированной терапии и уже заинтересовала зарубежные клиники.
49. Как спасти огурцы от мучнистой росы.
50. Перед шоу Дронов в Катаре тщательная подготовка проходит.