Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Сервис такси Bolt уволил всех кадровиков ради эффективности.
2. Почему желтеет лук и чеснок и как быстро их "Оживить".
3. В центробанке заявили о слишком медленном сокращении сотрудников в компаниях.
4. В России запретят параллельный импорт компьютерной техники с 27 мая.
5. Опилки на грядках: бесплатное золото или яд для урожая?
6. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
7. Мне 19 лет.
8. В Алматы установили памятник истории спасения собаки живой цепью.
9. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
10. Последний защитник брестской крепости.
11. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
12. Все лето держу окна в доме отрытыми и не боюсь комаров.
13. HE поливайте, когда земля сухая!
14. В Мавритании ходит один из самых впечатляющих поездов на планете.
15. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
16. Hикогда не ставьте забор обратной стороной к соседу!
17. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
18. Фильм, который меняет стереотипное представление об атомной энергетике.
19. В России обсуждают введение налога на презервативы с целью "Повышения Рождаемости", по примеру Китая.
20. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
21. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
22. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
23. Насыпной пирог с творожной начинкой.
24. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
25. Лучший способ хранения чеснока.
26. Это закуска на любом застолье на ура уходит!
27. Формировать смородиновый куст можно как весной, так и осенью.
28. Пурпурная малина - настоящая Находка для вашего сада!
29. С утра иногда так хочется выпить ароматного бодрящего кофе.
30. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
31. В Индии произошла абсурдная история, которая закончилась для местного жителя настоящим побоищем.
32. Маленькая шпаргалка по томатам.
33. Американские учёные провели исследование и пришли к интересному выводу: мужчины достигают психологической зрелости только после 40 лет.
34. Учёные Ozempic без побочных эффектов создали.
35. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
36. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.
37. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
38. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
39. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
40. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт
41. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
42. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
43. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
44. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году
45. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
46. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
47. Какие места лучше всего подходят для фотографий
48. Какие улицы и площади Ростова-на-Дону считаются самыми красивыми и насыщенными историей
49. Лучший прокси-сайт 2025: Обзор и рейтинг
50. HTTP или SOCKS: Какой Прокси Выбрать