Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. После последней ягоды про клубнику легко забыть до следующей весны.
2. Клубника отплодоносила, но бросать её до весны нельзя.
3. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
4. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
5. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
6. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
7. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
8. Мне 37, молодая и здоровая была, но за год постарела.
9. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
10. В нашей семье все склонны к полноте.
11. Серая гниль на розах - гадость мерзостная.
12. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
13. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
14. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
15. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
16. Много лет отжиралась, но сейчас железно решила сесть на диету.
17. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
18. Российские власти введение дополнительной платы за VPN отложили.
19. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
20. Всего две чашки кофе перед сексом способны значительно продлить половой акт.
21. Клубнику от долгоносика спасаю ещё до цветения.
22. Моя мама очень долго болью в коленях мучилась.
23. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
24. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
25. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
26. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
27. Плoxие coceди для смородины.
28. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
29. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
30. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
31. Стильное оформление квартиры.
32. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
33. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
34. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
35. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
36. В России начались испытания новой вакцины против аллергии.
37. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
38. А вы знали, что если у девушки долго не было Seksa, то она ….
39. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
40. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
41. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
42. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
43. Подготовка почвы к новому сезону: без перекопки, но с пользой.
44. Калина с медом.
45. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
46. Предлагается разрешить женщинам временно переходить на удалёнку во время менструации.
47. Перед шоу Дронов в Катаре тщательная подготовка проходит.
48. Как насчет вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком?
49. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
50. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать