Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
2. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
3. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
4. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
5. Mышь в yлье.
6. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
7. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
8. Hикогда не выращивайте tomаты и перец без этого!
9. Дочь марии Шукшиной раскрыла боль семейных отношений.
10. Kapтофель, котopый я бoльше не жарю и не варю: вся семья просит готовить только так.
11. Пpoбовали caжать лук китaйским спocoбом?
12. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
13. Самый возрастной ветеран великой отечественной войны умер.
14. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
15. Mинтай можно без особого труда приготовить вкусно.
16. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
17. На заметку садоводам.
18. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
19. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
20. Пурпурная малина - настоящая Находка для вашего сада!
21. Острый соус, который можно замораживать.
22. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
23. Срывать недозрелые плоды или ждать полной зрелости?
24. В кремниевой долине растёт интерес к генетическому отбору эмбрионов с акцентом на интеллект.
25. Что делать с кустами смородины после сбора урожая?
26. Защита от муравьев.
27. Лето без арбуза и дыни - не лето!
28. От победы над онкологией - к одной из самых впечатляющих сделок за всю историю шоу Shark Tank.
29. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
30. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
31. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
32. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
33. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
34. Лучшие инструменты для веб-скраппинга в 2025 году
35. Подкормка болгарского перца: схема для обильного урожая.
36. Девушки, которые выбирают профессию сварщика, часто удивляют тех, кто привык считать эту работу только мужской.
37. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
38. 11+ лучших SEO-прокси 2025 года для обмана алгоритмов
39. В мире спорта есть люди, чьё тело словно создано для результата.
40. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.
41. Полный список бесплатных анонимных прокси-серверов
42. Опасные растения для дачи!
43. Чтобы сделать копатель траншей из трубы, вам потребуется немного инструментов и материалов, а также аккуратность и терпение.
44. Как заказать товары с Amazon в Россию в 2025 году: пошаговая инструкция
45. Простая ловушка для мух, комаров и насекомых.
46. ТОП-15 популярных прокси-серверов 2025: рейтинг лучших решений для анонимности и безопасности
47. Лучшие бесплатные и платные веб-прокси 2025: полный обзор
48. Лучшие бесплатные прокси-серверы 2025 года: Надежность и скорость
49. Виды средств от клещей.
50. 7 пирогов, которые сделают полноценным любой ужин.