Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
2. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
3. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
4. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
5. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
6. Средства для подкормки помидоров.
7. Я любовник замужней женщины.
8. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
9. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
10. Хотите получить огурцы без болезней и с хорошим здоровьем?
11. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
12. Гигантский астероид скоро рядом с землёй пройдёт.
13. Почему нужно срезать верхушки у яблонь.
14. Чтo hужно сделать для малины весной.
15. Одни из первых протезов использовали ещё в эпоху древнего Рима.
16. Этo oдин из тех рецептов, которые всегда выручают.
17. У китайцев принято чавкать.
18. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
19. Рецепт меренгового рулета.
20. Ha втopoй день ещё вкуснее.
21. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
22. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
23. Нашатырь можно как хорошую подкормку для лука использовать.
24. Лепешки на кефире с начинкой.
25. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
26. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
27. Начинайте готовить ягодные кустарники к зимовке.
28. Ozon вводит новую механику: если однажды оставить курьеру чаевые, сервис автоматически включает автосписание при следующих заказах.
29. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
30. Уже давно делаю по этому рецепту!
31. Учёные в вейпах следы фекалий обнаружили.
32. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
33. Чем обработать теплицу осенью от болезней и вредителей?
34. Как избавиться от грызунов на даче простыми средствами.
35. Пурпурная малина - настоящая Находка для вашего сада!
36. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
37. Секс помогает улучшать память - к такому выводу пришли американские учёные.
38. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
39. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
40. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
41. Топ-10 бесплатных веб-скрейперов 2025: выбор профессионалов
42. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
43. Топ-5 лучших прокси для Instagram в 2025 году
44. Откройте для себя лучшие 4G и мобильные прокси 2025 года: Топ-10 рейтинг
45. Как правильно скрапить Instagram в 2025: Полное руководство
46. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
47. Что делать, если желтеют кончики пера у лука.
48. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
49. Как заказать товары из Amazon в Россию: полное руководство
50. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.