Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. На море вляпалась в курортный роман.
2. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
3. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
4. Средства для подкормки помидоров.
5. Много лет отжиралась, но сейчас железно решила сесть на диету.
6. Завязей на томатах будет море, а фитофтора обойдёт стороной.
7. Сон при свете повышает риск ожирения.
8. Натуральные стимуляторы образования корней.
9. Повеяло летом. Клубника рекорд установила.
10. Цензура запросов к искусственному интеллекту обсуждается в России.
11. Проект за 200 миллионов долларов превратился в странный город - призрак.
12. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
13. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
14. Японские учёные о прорыве в борьбе с облысением заявили.
15. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
16. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
17. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
18. Когдa нeльзя сaжать и cеять.
19. Натали вспомнила мужа: "третья новогодняя ночь без него.
20. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
21. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
22. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
23. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
24. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
25. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
26. 28 kулинарных tohкостей на вec 3 олота.
27. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
28. Давайте мы приготовим вкуснейшую аджику из cлив.
29. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
30. Морозостойкие сорта гибридной хурмы.
31. А вы знали, что если у девушки долго не было Seksa, то она ….
32. Розу из подаренного букета очень просто укoренить!
33. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
34. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
35. Самодельный светильник - маленькое чудо для спальни.
36. Создать овальные подносы можно легко, используя только свои руки.
37. Аптечка для ваших растений.
38. Как спасти огурцы от мучнистой росы.
39. Перед шоу Дронов в Катаре тщательная подготовка проходит.
40. Банановая кожура - природное удобрение для огорода.
41. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
42. Топ-10 лучших бесплатных мгновенных данных
43. Ренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
44. Почему гниет клубника на грядках и как этого избежать.
45. Как использовать прокси для социальных сетей и лучшие провайдеры в 2025 году
46. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
47. Бесплатные SOCKS5 прокси: список для США и Китая
48. Мы исправляем вытянувшуюся рассаду.
49. Когда тренировка превращается в настоящее представление - парень не упускает шанса пошутить над подругой прямо в зале.
50. Дача это не только заботы и работа, но еще и отдых!