Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Что я делаю с чесноком, чтобы он снова стал зелёным.
2. Так томаты в теплицу не просто так высаживают.
3. Завязей на томатах будет море, а фитофтора обойдёт стороной.
4. Сон при свете повышает риск ожирения.
5. Работа в кровати незаметно здоровье человека разрушает.
6. История любви из разных миров покорила интернет.
7. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
8. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
9. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
10. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
11. Я мopковь сею следующим образом.
12. Kак победить пырей на участке.
13. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
14. Нежный пирог черный принц из варенья.
15. Пoлезный чай для печени и жёлчного пузыря.
16. Про выращивание укропа.
17. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
18. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
19. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
20. Простое клубничное варенье.
21. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
22. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
23. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
24. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
25. Этот робот не просто убирает ваш дом - он его изучает.
26. Давайте мы приготовим вкуснейшую аджику из cлив.
27. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
28. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
29. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
30. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
31. Учёные Ozempic без побочных эффектов создали.
32. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
33. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
34. 5 лучших подкормок для огорода - проверено на практике.
35. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
36. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
37. Днём у светофора возле заправки женщина ударила по автомобилю, после чего залезла на его капот и крышу.
38. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
39. Топ-10 инструментов для веб-скраппинга 2025: Ускорьте извлечение данных
40. Топ-10 лучших бесплатных мгновенных данных
41. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
42. Топ-12 прокси для Minecraft 2025: играйте без лагов и наслаждайтесь гладкой игрой
43. Как Выбрать Идеальные Прокси для Instagram в 2025? Топ-13 Вариантов
44. Топ-10 бесплатных прокси 2025 года: рейтинг и обзор
45. Растяжка часто остаётся в тени тренировок, но играет ключевую роль в здоровье тела.
46. Какие сады и парки Москвы особенно красивы весной
47. Полное руководство: как заказывать товары с Amazon в Россию
48. Дождевая вода - это вода, которая выпадает из атмосферы в виде осадков, то есть дождя.
49. Начать следует, наверное, с вопроса: "а почему это растение выбросили?
50. Лучшие сервисы по продаже мобильных прокси: рейтинг и обзор