Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
2. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
3. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
4. Нарциссизм всё чаще связывают именно с генетикой.
5. Обычный поход в туалет потерей памяти закончился.
6. Я не люблю формулировку "мы Встречаемся".
7. Моя мама очень долго болью в коленях мучилась.
8. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
9. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
10. Гигантский астероид скоро рядом с землёй пройдёт.
11. Повеяло летом. Клубника рекорд установила.
12. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
13. Одни из первых протезов использовали ещё в эпоху древнего Рима.
14. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
15. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
16. Работа в ночное время риск инфаркта и сердечно-сосудистых проблем повышает.
17. Магия пандоры. Аватары и актёры, которые воплотили их образы.
18. Coветы для тoго, чтoбы получить крупную малину.
19. Ha 2-й день ещё вкycнее.
20. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
21. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
22. Мы удобряeм сливу правильно!
23. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
24. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
25. Этот робот не просто убирает ваш дом - он его изучает.
26. Помoщь для пeчени.
27. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
28. С утра иногда так хочется выпить ароматного бодрящего кофе.
29. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
30. Создавать уют своими руками - значит делать интерьер уникальным.
31. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
32. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
33. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
34. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
35. Клематис "Герцогиня Эдинбургская" - это популярный сорт декоративного лианового растения из семейства лютиковых.
36. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
37. Лето без арбуза и дыни - не лето!
38. Лишь в том случае, если клубника мельчает или ягод мало.
39. Топ-11 открытых инструментов для веб-скрапинга в 2025 году
40. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
41. Лучший инструмент для скрапинга сайтов в 2025 году
42. Что такое веб-скрейпинг в 2025 году: Основные области применения
43. Топ-7 инструментов для веб-скраппинга в 2025 году: что выбрать
44. Соревнования по грэпплингу среди девушек проходят очень напряжённо и зрелищно.
45. Топ-16 частных прокси 2025 года: Надежные и безопасные
46. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
47. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
48. Опасные растения для дачи!
49. Габионы - это такие красивые и прочные конструкции, которые используют для укрепления берегов, создания декоративных стен и ландшафтных украшений.
50. Дождевая вода - это вода, которая выпадает из атмосферы в виде осадков, то есть дождя.