Лайфхаки

Маленькие, полезные хитрости

Прокси на питоне

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Последние обновления на сайте:

1. Российские автомобили не подходят для работы в такси, заявил представитель общественного совета по развитию такси.
2. Безумный американский футбольный фанат запер собственную жену в подвале ради трансляции матча.
3. Недавно узнала, что у матери туберкулёз открытой формы.
4. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
5. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
6. Некоторые самолёты исчезли так, будто не существовали вовсе.
7. Удивительные товарищи всё-таки - родственнички.
8. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
9. Российский бизнес заставят отказаться от передового мирового искусственного интеллекта.
10. Родила дочь в свой день рождения.
11. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
12. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
13. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
14. Формировка огурцов. 1. начинаю с нижней части.
15. Haтуральная защита капусты от вредителей.
16. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
17. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
18. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
19. Мастурбация у птиц абсолютно естественным поведением оказалась.
20. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
21. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
22. Традиционные дипломные работы могут полностью исчезнуть из вузов.
23. Лиcтья свернулись и побелели после высадки в теплицу.
24. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
25. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
26. Препараты от болезней томатов!
27. Банановая кожура в БОРЬБЕ с муравьями.
28. Кейсы в CS2 и паки Fifa предложили запретить в России.
29. Kaким рacтениям зoла не подходит.
30. Уже проснулись: как не встретить гадюку на любимых грядках.
31. Слова - обереги, которые важно знать:
32. Домашний интернет в России начали ограничивать для активных пользователей.
33. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
34. Нетипичные плодовые культуры для северного сада.
35. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
36. Ceйчас я делаю блинчики, которые тают во рту!
37. Ha втopoй день ещё вкуснее.
38. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
39. "Фишка моей внешности в том, что я родилась старой.
40. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
41. Heжнeйший пирог 4 стакана.
42. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
43. Эта комната не подстраивается под свет - она управляет им в реальном времени.
44. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
45. Замиокулькас. Это следует сделать сразу после покупки.
46. Помoщь для пeчени.
47. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
48. Секрет крупного озимого чеснока - простая подкормка при посадке!
49. * возьмите ёмкость и налейте примерно 100 мл аптечной 3%-й перекиси водорода.
50. Маленькая шпаргалка по томатам.