Лайфхаки

Маленькие, полезные хитрости

Парсинг с использованием

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Последние обновления на сайте:

1. Положила к чесноку несколько кусочков свёклы - через два дня открыла банку с ярко-розовыми зубчиками.
2. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
3. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
4. Мне 37, молодая и здоровая была, но за год постарела.
5. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
6. Серая гниль на розах - гадость мерзостная.
7. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
8. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
9. Мощная подкормка для овощей: секрет огромного количества завязей.
10. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
11. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
12. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
13. Лиcтья свернулись и побелели после высадки в теплицу.
14. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
15. Здравствуйте, участники сообщества!
16. Сон при свете повышает риск ожирения.
17. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
18. Ростки картофеля: ценный ресурс, который вы зря выбрасываете!
19. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
20. Этo oдин из тех рецептов, которые всегда выручают.
21. Пять лет назад я родила ребёнка за деньги - и тогда мне казалось, что хуже стыда уже не бывает.
22. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
25. Сekрет пышной и сладкой морковки - простая подкормка!
26. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
27. Рецепт меренгового рулета.
28. Сыплю под Смородину весной по две ложки.
29. "Фишка моей внешности в том, что я родилась старой.
30. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
31. Bыкупил кpeпенький стapый домик у пьяницы за 500 тыс руб: хотел купить землю и строить дом с нуля, но мне попался очень интересный вариант.
32. Яблоки очень уникальный продукт.
33. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
34. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
35. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
36. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
37. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
38. Многим из нас нравится замиокулькаса.
39. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
40. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
41. Вкусный и ароматный салат "Парамониха" из свежих овощей.
42. Это закуска на любом застолье на ура уходит!
43. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
44. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
45. Кто сказал, что шестиугольники только у пчёл?
46. Чем подкармливать морковь в конце лета.
47. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
48. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
49. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
50. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.