Лайфхаки

Маленькие, полезные хитрости

Подключения по прокси


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
2. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
3. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
4. Сделал тест днк на дочь - результат 0%.
5. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
6. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
7. Лиcтья свернулись и побелели после высадки в теплицу.
8. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
9. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
10. Роза осирия - магия двух оттенков.
11. Клубнику от долгоносика спасаю ещё до цветения.
12. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
13. Всегда в путешествиях.
14. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
15. Одни из первых протезов использовали ещё в эпоху древнего Рима.
16. Исследование рост половой дисфункции среди молодого поколения показало.
17. В Алматы установили памятник истории спасения собаки живой цепью.
18. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
19. Трещины на тротуарах превращаются в целые миры художника.
20. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
21. Сekрет пышной и сладкой морковки - простая подкормка!
22. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
23. Сыплю под Смородину весной по две ложки.
24. "Фишка моей внешности в том, что я родилась старой.
25. Mинтай можно без особого труда приготовить вкусно.
26. Убийцы paccaды. Что нельзя добавлять в грунт?
27. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
28. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
29. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
30. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
31. Творожный чизкейк. Ингредиенты:
32. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
33. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
34. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
35. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
36. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
37. Как ухаживать за астрами для пышного цветения.
38. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
39. Чем мульчировать малину осенью для защиты корней?
40. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
41. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
42. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
43. Когда на рану попадает перекись водорода, она начинает пузыриться и становится белой.
44. Какие инструменты для веб-скраппинга с ИИ самые эффективные? Мой опыт
45. Веб-скраппинг: 18 лучших инструментов для сбора данных онлайн
46. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
47. Топ-10 инструментов для сбора данных: лучшие сервисы для веб-скраппинга
48. Дорогие мои, хочу поделиться с вами очень простым и полезным рецептом - чипсами из томатов.
49. Тренировки с резинками и ковриком - отличный способ развивать силу и выносливость, не перегружая суставы.
50. Настоящее звёздное небо видно только вдали от городов, где нет светового загрязнения.