Лайфхаки

Маленькие, полезные хитрости

Прокси на питоне

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Последние обновления на сайте:

1. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
2. Соседка уже спрашивает, когда будем сажать озимый чеснок.
3. Должны были с подружкой пойти в субботу на пробежку.
4. Чем заболела груша и как ее лечить?
5. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
6. Маринованные огурцы с красной смородиной без уксуса.
7. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
8. Современный гейминг оказался исключительно полезен для человеческой психики.
9. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
10. Кислое молоко для томатов: дедовский рецепт отличной подкормки.
11. Средства для подкормки помидоров.
12. Я любовник замужней женщины.
13. Уволенных россиян официально призвали готовиться к целому году безработицы.
14. Цветы для ленивого сада: посадил и забыл на все лето.
15. В популярных духах обнаружили потенциально опасные вещества.
16. Как буддийские монахи вышли на протест и столкнулись с полицией.
17. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
18. Слова - обереги, которые важно знать:
19. Пятьcot лет тому нaзад.
20. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
21. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
22. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
23. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
24. Что нужно знать о перце:
25. Пpoще пpocтого! Никто не догадается как оно сделано!
26. Начинайте готовить ягодные кустарники к зимовке.
27. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
28. Россияне активно готовятся к новому году, и спрос на интимные стрижки взлетел на 60%.
29. Замиокулькас. Это следует сделать сразу после покупки.
30. И еxaть никуда не нaдо.
31. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
32. Ни один шашлычек у нас не обходят без этой закуски!
33. В 2026 году в России ожидается волна сокращений персонала.
34. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
35. Зачем нам медный и железный купорос.
36. Мощный шторм на Москву надвигается.
37. Это лучшее, что я когда-либо ела!
38. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
39. В России начались испытания новой вакцины против аллергии.
40. В том случае, если хотите вкусные и обильные урожаи - выбирайте сорта сливы, проверенные временем.
41. Яркий акцент для сада.
42. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
43. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
44. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.
45. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.
46. Эта четвёрка стала воплощением скорости, которую сложно превзойти.
47. Даже самой дорогой и качественной щёткой невозможно проникнуть в узкие промежутки между зубами и в глубокие поддесневые карманы.
48. Зола для огурцов: когда и как подкармливать правильно?
49. Астрономы создали уникальную анимацию, которая показывает удивительное явление: земля словно живой организм, дышит своим особым ритмом.
50. Генетика африканцев часто даёт им определённые преимущества в поддержании рельефного тела.