Лайфхаки

Маленькие, полезные хитрости

Прокси на питоне

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Последние обновления на сайте:

1. Чуть не оставила фасоль на грядке до полного высыхания.
2. Долго планировали с мужем переезд, нашли жилье.
3. После последней ягоды про клубнику легко забыть до следующей весны.
4. Из одного кочана делаю целую сковороду капустных шницелей.
5. Как правильно разделить и пересадить лилии: пошаговая инструкция.
6. Собрали последнюю малину и забыли про кусты?
7. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
8. Работаю в банке.
9. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
10. Сезон клубники в самом разгаре!
11. План для женщин, которые одиноки и ищут себе мужчину!
12. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
13. За долгое время наш мир сталкивался с невероятно странными событиями.
14. Моего кота зовут заяц.
15. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
16. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
17. Малина в июне в правильной подкормке нуждается.
18. Лишь в том случае, если к вам пристала песня и вы не можете от неё никак отделаться, поете ее сутками напролет.
19. Турецкий огуречный салат.
20. Проект за 200 миллионов долларов превратился в странный город - призрак.
21. Топ - 10 теневыносливых растений для вашего сада.
22. Tpи весенних опрыскивания сада: сроки и средства.
23. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
24. В России обсуждают усиление контроля переписок с помощью ИИ.
25. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
26. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
27. Kак победить пырей на участке.
28. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
29. Toлько не забудьте peцепт!
30. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
31. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
32. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
33. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
34. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
35. Самый богатый бомж в мире!
36. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
37. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
38. Этот пирог лучше, чем торт и вкуснее кекса.
39. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
40. Oна есть у кaждого в саду … вeдьмина трава.
41. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
42. Полезная памятка средств для сада и огорода.
43. В 2026 году в России ожидается волна сокращений персонала.
44. Россиян ожидает резкое повышение тарифов на электроэнергию.
45. Острый соус, который можно замораживать.
46. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
47. Самым сладким сортом крыжовника считается сорт *"московский деликатес"* (или его вариации, такие как "московский деликатес-2".
48. Знаете, зачем завязывают ботву чеснока в узел?
49. Чтобы доски для нарезки не темнели и сохраняли свой внешний вид, можно использовать несколько простых способов:
50. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше