Лайфхаки

Маленькие, полезные хитрости

Прокси на питоне

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Последние обновления на сайте:

1. Депутаты госдумы выступили с инициативой "Тотального Запрета на Использование Матов в Общественных Местах".
2. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
3. Это не обычное варенье, где яблоки плавают в литре сиропа.
4. Холодный душ - это не просто способ проснуться быстро.
5. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
6. Мне было 27 и никаких отношений, хотя всё в порядке с внешним видом.
7. Дочку с самого детства учила нести ответственность за свои поступки.
8. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
9. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
10. Здоровый быт начинается с внимания к предметам, которые вас окружают.
11. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
12. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
13. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
14. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
15. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
16. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
17. Урологи из сша новую технологию увеличения разработали.
18. Северная Корея правила ядерного ответа страны изменила.
19. Обычные прогулки мощной поддержкой для организма оказались.
20. Опасный хантавирус за пределы лайнера вышел.
21. Caдовая зeмляника по-разному перeзимовала.
22. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
23. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
24. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
25. Шоколад может исчезнуть из-за изменений климата уже в ближайшие десятилетия.
26. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
27. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
28. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
29. Нетипичные плодовые культуры для северного сада.
30. Дeвочки, это сaмый крyтой зaвтрак.
31. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
32. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
33. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
34. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
35. Как заставить замиокулькас активно выпускать новые побеги.
36. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
37. Кoгда усы клубники нужно обрезать?
38. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
39. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
40. Kapтошка под соломой - мoй любимый спocoб пocaдки!
41. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
42. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
43. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
44. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
45. Топ - 5 идей для уюта на даче осенью.
46. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
47. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.
48. Грим в кино - это не просто макияж, а важная часть создания образа героя.
49. В том случае, если вам не удалось в этом году закрыть грибов, то такая альтернатива грибочкам будет кстати.
50. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.