Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Никогда не выращивайте томаты и перец без этого!
2. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
3. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
4. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
5. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
6. Mинтай можно без особого труда приготовить вкусно.
7. Вот так выглядит архитектура, когда пространства почти не осталось.
8. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
9. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
10. Caлат с куpицeй и aнанасами.
11. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
12. Мы применяем просроченные лекарства.
13. Как правильно ухаживать за фиалками.
14. Замиокулькас. Это следует сделать сразу после покупки.
15. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
16. Лучший способ хранения чеснока.
17. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
18. Самоплoдные сорта грyш.
19. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
20. Создать овальные подносы можно легко, используя только свои руки.
21. Молодая кровь способна омолаживать тело - это доказали учёные.
22. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
23. Лето без арбуза и дыни - не лето!
24. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
25. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
26. Топ-10 открытых веб-кравлеров 2025 года: выбор для каждого
27. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
28. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
29. Роза "Раубриттер" - это сорт чайно - гибридной розы, известный своей красивой формой и ароматом.
30. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
31. Бесплатные прокси-серверы высокой скорости: полный список
32. Как бороться с сорняками на клумбах.
33. Посев астры: 3 правила успеха.
34. Можно ли заказывать с Amazon в Россию в 2025 году: последние обновления
35. Как использовать дачное пространство по максимуму!
36. Полное руководство: как заказать товары из Amazon в Россию в 2025 году
37. Прокси-серверы по странам: полный гид для начинающих
38. Мобильные прокси-серверы 2025: топ-15 для безопасного интернета
39. Какие исторические события связаны с Кремлем и Красной площадью
40. Вок - правила и секреты.
41. Расскажите о истории Красной площади и её значении для России
42. Графитовый цвет - тренд в строительстве 2025 года.
43. Как безопасно купить proxy для Инстаграм: советы и рекомендации
44. Полное руководство по прокси-серверам: всё, что нужно знать для начала
45. Маринованный лучок для шашлыка, салатов и просто с хлебушком покушать.
46. Эксклюзивное выступление: афиша певицы Славы в Коломне
47. Идеальное женское тело: как разные страны видят красоту
48. Есть ли в городе какие-то уникальные скульптуры или арт-объекты
49. Есть ли в Калининграде музеи, которые стоит посетить
50. Полное руководство по исследованию продуктов для Amazon FBA в 2025 году