Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Что будет с землёй, если солнце внезапно исчезнет.
2. Переехали за город, как давно мечтали.
3. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
4. Нaучилась применять перекись + укcyс для огурцов во второй половине летa.
5. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
6. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
7. Легендарные затерянные города ищут сотни лет, но их координаты до сих пор остаются неразгаданной загадкой.
8. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
9. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
10. В Египте экстренно отменили все популярные морские экскурсии.
11. Российские власти введение дополнительной платы за VPN отложили.
12. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
13. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
14. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
15. В России запретят параллельный импорт компьютерной техники с 27 мая.
16. После того как рухнула советская власть, что сделали?
17. Всегда в путешествиях.
18. Сamые удачные сорта моркови на 2026 год.
19. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
20. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
21. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
22. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
23. Самые полезные виды варенья.
24. Hикогда не ставьте забор обратной стороной к соседу!
25. Пoлезный чай для печени и жёлчного пузыря.
26. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
27. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
28. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
29. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
30. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
31. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
32. Давайте мы приготовим вкуснейшую аджику из cлив.
33. Девушка решила добавить уюта и сделала крошечную кровать своими руками.
34. Уже давно делаю по этому рецепту!
35. Мы не дадим слизням перезимовать!
36. Чем мульчировать малину осенью для защиты корней?
37. Очень вкусная аджика на зиму!
38. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
39. Как спасти огурцы от мучнистой росы.
40. Вот ещё пару советов, как держать гриль чище.
41. Почему засыхает малина в период созревания ягод?
42. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
43. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
44. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
45. Бесплатные Прокси для Вашего Удобства: Топ-15 Резиденциальных Сервисов 2025
46. Варенье из одуванчиков - это не только вкусное лакомство, но и полезный продукт для здоровья.
47. Ранним утром, когда город ещё спит, девушки - пловчихи уже в воде.
48. Топ-15 мобильных прокси 2025 года: Рейтинг лучших сервисов
49. Топ прокси США 2025: лучшие бесплатные и платные варианты
50. Как выбрать идеального провайдера резидентных прокси-серверов для вашего бизнеса