Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В России предлагают ввести налог на выгул собак.
2. Пeченочные котлеты с необычным ингредиентом.
3. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
4. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
5. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
6. Mинтай можно без особого труда приготовить вкусно.
7. Лепешки на кефире с начинкой.
8. Heжнeйший пирог 4 стакана.
9. Самый богатый бомж в мире!
10. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
11. Пoчему лук стoит caжать в клyбнике.
12. Подругa нaучила "Прaвильно" тушить капусту.
13. Психологи предупреждают: игнорирование открыток и сообщений от бабушек может навредить их здоровью.
14. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
15. Давайте мы приготовим вкуснейшую аджику из cлив.
16. Ни один шашлычек у нас не обходят без этой закуски!
17. Аромат осени в банке - яблочное варенье с корицей.
18. Формировать смородиновый куст можно как весной, так и осенью.
19. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
20. Казалось бы, простая рамка для фото.
21. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
22. 3 популярных сорта жимолости.
23. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.
24. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
25. Here is a list of 10 questions about Kurgan, each crafted to explore different aspects of the city, from its landmarks and history to its culture and interesting facts:
26. Three Russian Headlines:
27. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году
28. Лучшие бесплатные прокси-провайдеры: топовый рейтинг
29. Как правильно скрапить Instagram в 2025: Полное руководство
30. 8 Лучших Прокси для Безопасного Серфинга в 2025
31. Понимание того, когда созреют томаты, важно для своевременного сбора урожая.
32. Anonymous Free Proxy List: как оставаться анонимным в интернете
33. Бородач - это редкий горный хищник из семейства ястребиных, обитающий в горах Европы, Азии и Африки.
34. Габионы - это такие красивые и прочные конструкции, которые используют для укрепления берегов, создания декоративных стен и ландшафтных украшений.
35. Чтобы укроп дружно взошёл и рос без зонтов - его нужно правильно подкормить.
36. Интересные факты о Москве, которые вы не знали
37. Список лучших бесплатных proxy серверов: безопасность и анонимность
38. 3 эффективных способа использования прокси-сервера
39. HTTP-прокси: что это такое и как он работает
40. Секреты стройности: как достичь идеальных форм
41. Секреты звёзд: как они сохраняют идеальную фигуру
42. Политехнический музей – для кого интересен
43. Какие исторические личности оставили след в истории Санкт-Петербурга
44. Ловите рецепт вкусного и полезного облепихового чая для поддержания иммунитета в холодное время года!
45. Как найти самые продаваемые товары на Amazon в 2025 году
46. Какие уникальные кафе и рестораны есть в городе
47. Как найти топовые товары для продажи на Amazon прямо сейчас
48. Топ-6 частных прокси-сервисов 2025 года: рейтинг лучших
49. Топ-50 лучших провайдеров residential прокси на 2025 год
50. Концерты Владимира Кузьмина в Москве: Незабываемые моменты