Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
2. Маринованные огурцы с красной смородиной без уксуса.
3. Официальная мировая история находится намного ближе к нам, чем кажется.
4. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
5. Хроническая бедность способна значительно ускорять естественное старение организма.
6. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
7. Уволенных россиян официально призвали готовиться к целому году безработицы.
8. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
9. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
10. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
11. Мой личный лайфхак относительно учёбы.
12. Банановая кожура в БОРЬБЕ с муравьями.
13. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
14. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
15. Kaким рacтениям зoла не подходит.
16. Легенды мирового рока украсили фасады домов в елизаветино.
17. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
18. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
19. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
20. "Фишка моей внешности в том, что я родилась старой.
21. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
22. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
23. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
24. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
25. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
26. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
27. Березовый деготь в помощь дачникy.
28. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
29. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
30. И еxaть никуда не нaдо.
31. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
32. Это закуска на любом застолье на ура уходит!
33. В 2026 году в России ожидается волна сокращений персонала.
34. Полезная свекольная аджика на зиму.
35. Маленькие, но важные детали делают интерьер особенным.
36. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
37. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
38. Обработка участка от клещей - важная мера для защиты здоровья вашей семьи и домашних животных.
39. 5 лучших подкормок для огорода - проверено на практике.
40. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
41. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
42. Колоновидные деревья - это разновидность деревьев, характеризующихся узким, вертикальным и стройным силуэтом, напоминающим колонну.
43. И другой более масштабный вариант есть.
44. Знаете, зачем завязывают ботву чеснока в узел?
45. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
46. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
47. Лучшие скраперы Instagram 2025: полное руководство
48. Подготовка девушек - футболисток к новому сезону - это сочетание выносливости, силы и точной дисциплины.
49. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
50. Как заказать товары с Amazon в Россию: полное руководство