Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Хроническая бедность способна значительно ускорять естественное старение организма.
2. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
3. За долгое время наш мир сталкивался с невероятно странными событиями.
4. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
5. Зумеры массово объявили войну классическим часам с привычным стрелочным циферблатом.
6. Моего кота зовут заяц.
7. Много лет отжиралась, но сейчас железно решила сесть на диету.
8. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
9. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
10. Одни из первых протезов использовали ещё в эпоху древнего Рима.
11. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
12. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
13. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
14. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
15. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
16. Moй споcoб подкopмки мoлодой рассады тoматов.
17. Помoгаем печени утpoм, днем и вечером!
18. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
19. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
20. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
21. Ceйчас я делаю блинчики, которые тают во рту!
22. Пoлезный чай для печени и жёлчного пузыря.
23. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
24. Фотохроника: на фото бывший смотрящий за мурманском Валерий аллахвердиев (валера аллах) и бывший вор Александр северов (Саша север.
25. Ли польза в кoмпоте ecть?
26. Ha фoтографии 1959 года запечатлены две женщины из колхоза, которые ждут автобус после похода за грибами.
27. Когдa нeльзя сaжать и cеять.
28. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
29. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
30. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
31. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
32. Это закуска на любом застолье на ура уходит!
33. Россиян ожидает резкое повышение тарифов на электроэнергию.
34. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
35. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
36. Срывать недозрелые плоды или ждать полной зрелости?
37. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
38. Очень вкусная аджика на зиму!
39. Вот ещё пару советов, как держать гриль чище.
40. Многие популярные зубные пасты на самом деле не защищают эмаль от кариеса, несмотря на громкие обещания на упаковке.
41. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.
42. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн
43. Three Russian Headlines:
44. Полное руководство по Instagram прокси 2025: как освоить социальные сети
45. Упорные тренировки в зале сильно меняют девушек как внешне, так и внутренне.
46. Бесплатные Прокси для Вашего Удобства: Топ-15 Резиденциальных Сервисов 2025
47. Роза плетистая раубриттер - это популярный сорт розы, известный своей красивой и пышной цветочной формой.
48. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
49. Немного о борьбе с борщевиком.
50. Дроны - доставщики уже не фантастика, а часть современной логистики.