Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Я любовник замужней женщины.
2. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
3. Как-то довелось быть свидетелем диалога двух дачниц.
4. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
5. Клубнику от долгоносика спасаю ещё до цветения.
6. Так томаты в теплицу не просто так высаживают.
7. Возможную блокировку Github снова обсуждают в России.
8. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
9. Обычные прогулки мощной поддержкой для организма оказались.
10. Здравствуйте, участники сообщества!
11. Из параллельного импорта уберут западные ноутбуки.
12. Воля к жизни возможности человеческого тела превосходит.
13. Исследование рост половой дисфункции среди молодого поколения показало.
14. Всем садоводам нужно знать.
15. Mышь в yлье.
16. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
17. Дочь марии Шукшиной раскрыла боль семейных отношений.
18. Пpoбовали caжать лук китaйским спocoбом?
19. Она растёт в каждом саду и называется ведьмина трава.
20. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
21. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
22. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
23. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
24. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
25. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
26. Яблоки очень уникальный продукт.
27. Caлат "Пиковая Дама".
28. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
29. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
30. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
31. Полезная свекольная аджика на зиму.
32. Секс помогает улучшать память - к такому выводу пришли американские учёные.
33. Самоплoдные сорта грyш.
34. Женщины изменяют в 2, 5 раза чаще именно в период овуляции, утверждает новое исследование.
35. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
36. Что делать с кустами смородины после сбора урожая?
37. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
38. Автоматический полив огорода - это система, которая позволяет удобно и эффективно орошать растения без постоянного ручного вмешательства.
39. Полярное сияние возникает, когда высокоэнергетичные частицы солнечного ветра сталкиваются с верхними слоями земной атмосферы.
40. Какие интересные факты о московских улицах и их названиях
41. Топ-15 Бесплатных Резиденциальных Прокси-Серверов для 2025 Года
42. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.
43. Топ-16 частных прокси 2025 года: Надежные и безопасные
44. Тренировка задолго до старта начинается.
45. Построить дачный туалет своими руками - вполне реально, особенно если у вас есть строительный опыт или желание учиться.
46. ТОП-20 мобильных прокси-серверов с ротацией: лучшие варианты для вашего устройства
47. Лучшие бесплатные и платные веб-прокси 2025: полный обзор
48. Как безопасно купить proxy для Инстаграм: советы и рекомендации
49. Топ-13 Прокси-Сервисов для Безопасного Серфинга в Сети
50. Есть ли в Калуге места для активного отдыха