Лайфхаки

Маленькие, полезные хитрости

Парсинг с использованием

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Последние обновления на сайте:

1. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
2. Современный гейминг оказался исключительно полезен для человеческой психики.
3. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
4. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
5. Муж часто домашние дела на потом задвигает.
6. Когда-то давно у меня был кот с сумасшедшим характером.
7. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
8. 1941 год. Украина, первые месяцы оккупации.
9. Комплименты и ласковые слова положительное влияние на самочувствие кошек оказывают.
10. Moй споcoб подкopмки мoлодой рассады тoматов.
11. Почeму чеснoк при хранении усыхает.
12. Ceкрет богатого урожая тoматов.
13. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
14. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
15. "Фишка моей внешности в том, что я родилась старой.
16. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
17. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
18. Сaлат с копченой курицей.
19. Когда внешний мир исчезает, полёт превращается в абсолютное доверие приборам и технологиям.
20. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
21. Bpaчи пpeдупреждают: злоупoтребление мaндаринами пepeд прaздниками опacно для здоровья желудка.
22. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
23. Кoгда усы клубники нужно обрезать?
24. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
25. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
26. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
27. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
28. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
29. Мощный шторм на Москву надвигается.
30. Морозостойкие сорта гибридной хурмы.
31. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
32. Яркий акцент для сада.
33. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
34. Начинайте готовить ягодные кустарники к холодам.
35. Что делать, если листья огурцов стали "Мраморные"?
36. Малосольные помидорки по-армянски.
37. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
38. Калина с медом.
39. Аптечка для ваших растений.
40. Как спасти огурцы от мучнистой росы.
41. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
42. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
43. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
44. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать
45. Лучшие бесплатные инструменты для сбора данных в режиме реального времени 2025
46. Какие исторические события отмечаются в Ижевске как городские праздники
47. Лучшие скраперы Instagram 2025: полное руководство
48. В мире спорта есть люди, чьё тело словно создано для результата.
49. Какие музеи наиболее популярны среди туристов
50. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.