Лайфхаки

Маленькие, полезные хитрости

Парсинг с использованием

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Последние обновления на сайте:

1. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
2. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
3. Всю жизнь терпеть не могу своё имя - Валентина.
4. Муж постоянно по утрам будит.
5. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
6. Яблок много - вроде радоваться надо.
7. Смородины в этом году много, а обычное жидкое варенье у нас как-то не очень едят.
8. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
9. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
10. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
11. Современный гейминг оказался исключительно полезен для человеческой психики.
12. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
13. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
14. Почему желтеет лук и чеснок и как быстро их "Оживить".
15. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
16. Цветы для ленивого сада: посадил и забыл на все лето.
17. В популярных духах обнаружили потенциально опасные вещества.
18. Мой личный лайфхак относительно учёбы.
19. Хитрости выращивания кабачков:
20. Одни из первых протезов использовали ещё в эпоху древнего Рима.
21. Первая обработка сада от паразитов весной: полный гайд.
22. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
23. Исследование рост половой дисфункции среди молодого поколения показало.
24. Toлько не забудьте peцепт!
25. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
26. Oгурцы будете рaздавать всем coceдям.
27. Ceйчас я делаю блинчики, которые тают во рту!
28. Ha втopoй день ещё вкуснее.
29. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
30. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
31. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
32. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
33. Секрет пышной и сладкой морковки - простая подкормка!
34. Австралийская семья отказалась продать дом за 50 миллионов долларов.
35. Замечательный закусочный торт из нежной куриной грудки!
36. Не пробовали посадить лук китайским способом?
37. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
38. В России начались испытания новой вакцины против аллергии.
39. Какие лилии могут зимовать в грунте!
40. Сердце в словах: почему мы так любим любовные романы
41. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
42. Розу из подаренного букета очень просто укoренить!
43. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
44. Полный запрет VPN, манги и даже Asmr стал реальностью в США - закон активно продвигают республиканцы.
45. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.
46. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
47. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
48. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
49. Лишь в том случае, если клубника мельчает или ягод мало.
50. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".