Лайфхаки

Маленькие, полезные хитрости

Прокси на питоне

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Последние обновления на сайте:

1. Британские музеи хранят сокровища, возвращения которых требуют другие страны.
2. Человечество создало резервную копию урожая на случай катастрофы.
3. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
4. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
5. Провела всё своё детство в деревне, где абсолютно нечего было делать.
6. Мой муж никогда не уходит с работы.
7. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
8. Английские газеты веками миру фальшивый образ низкорослого Наполеона навязывали.
9. Удивительные товарищи всё-таки - родственнички.
10. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
11. После аварии моего мужа ниже пояса парализовало.
12. Результат поразил: кислые сливы, которые никто не хотел есть, превратились в густой соус к мясу.
13. Долго планировали с мужем переезд, нашли жилье.
14. Малина отплодоносила - и рука так и тянется оставить всё до весны.
15. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
16. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
17. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
18. Современный гейминг оказался исключительно полезен для человеческой психики.
19. Дочку с самого детства учила нести ответственность за свои поступки.
20. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
21. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
22. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
23. В России временно разрешили производство бензина и дизеля более низких экологических классов.
24. На старости лет нашёл лайфхак для ловеласа.
25. Мы удаляем листья у томата по правилам!
26. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
27. Уволенных россиян официально призвали готовиться к целому году безработицы.
28. Много лет отжиралась, но сейчас железно решила сесть на диету.
29. Плитка из ведерка от майонеза: дачный шик своими руками.
30. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
31. Почему вы зря деревья от лишайника белите?
32. После того как рухнула советская власть, что сделали?
33. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
34. Картофельные ростки: золотой актив, который вы зря выбрасывали!
35. HE поливайте, когда земля сухая!
36. Всем садоводам нужно знать.
37. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
38. Самые полезные виды варенья.
39. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
40. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
41. Не у всех укроп растёт как сорняк, в огромных количествах.
42. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
43. Как правильно ухаживать за фиалками.
44. Врачи о бесполезности популярных бадов с коллагеном заявили.
45. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
46. Уже давно делаю по этому рецепту!
47. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
48. Розу из подаренного букета очень просто укoренить!
49. Начинайте готовить ягодные кустарники к холодам.
50. Создавать своими руками - значит делать вещи особенными.