Лайфхаки

Маленькие, полезные хитрости

Парсинг с использованием

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Последние обновления на сайте:

1. Депутат Горелкин слухи о блокировке Steam в России развеял.
2. Четыре салата в банках на зиму.
3. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
4. Цветы на томатах есть, а завязи нет: что я делаю в жару.
5. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
6. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
7. Большинство крупнейших катастроф в мировой истории не были неизбежными.
8. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
9. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
10. За долгое время наш мир сталкивался с невероятно странными событиями.
11. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
12. Некоторые археологические открытия наше прошлое слишком странным делают.
13. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
14. Роза осирия - магия двух оттенков.
15. Архивные фото Ирины шейк из юности.
16. Сон при свете повышает риск ожирения.
17. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
18. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
19. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
20. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
21. Джим Керри и теория клона: что произошло на самом деле?
22. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
23. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
24. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
25. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
26. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
27. Секрет пышной и сладкой морковки - простая подкормка!
28. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
29. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
30. Березовый деготь в помощь дачникy.
31. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
32. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
33. Зачем нам медный и железный купорос.
34. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
35. Какие лилии могут зимовать в грунте!
36. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
37. Острый соус, который можно замораживать.
38. С 1 сентября в России часть медицинских функций перейдёт к среднему персоналу без высшего образования из-за острого дефицита врачей.
39. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
40. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
41. Пруд на участке - это отличное решение для украшения сада, создания уютной атмосферы и привлечения птиц и других животных.
42. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
43. Перцу нездоровится? Как по листьям определить, чего не хватает вашим перцам.
44. Вот ещё пару советов, как держать гриль чище.
45. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
46. Полное руководство по Instagram прокси 2025: как освоить социальные сети
47. Репа - это ценное овощное растение, которое можно включать в рацион для поддержания здоровья и профилактики различных заболеваний.
48. Топ-8 Прокси для Instagram в 2025: Ускорите Свой Аккаунт
49. Как правильно скрапить Instagram в 2025: Полное руководство
50. Топ-16 лучших прокси для Spotify в 2025 году