Лайфхаки

Маленькие, полезные хитрости

Прокси на питоне

Простой парсер прокси на питоне.. Настройка

Для успешной разработки парсинг-агента на прокси-сервере нужно установить Linux с такими инструментами:

TOR: распределенная, анонимная и зашифрованная сеть, в которой данные пользователей и сами пользователи никогда не будут раскрыты.Stem: контроллер Python для TOR.Privoxy: не кеширующий веб-прокси с фильтрацией, повышенной конфиденциальностью и возможностью изменения данных веб-страниц и заголовков HTTP.TOR (установка и настройка)

Установи TOR через терминал:

sudo apt-get update sudo apt-get install tor sudo /etc/init.d/tor restart

Далее:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Человек, использующий браузер, вряд ли будет запрашивать с одного сайта 20 страниц в секунду. Поэтому, если вы собираетесь запрашивать с одного сайта большое количество страниц, то надо заставить сайт думать, что запросы идут от разных пользователей т.е. с разных IP адресов. Другими словами, вам необходимо использовать прокси .

Сегодня прокси стоят не очень дорого: ~ 1 доллар за IP. Однако, если вам нужно делать более чем 10 тысяч запросов в день на одном и том же веб-сайте, то затраты могут сильно вырасти, ведь вам потребуются сотни адресов. Следует учитывать, что IP-адреса прокси-серверов должны постоянно мониториться, чтобы отбросить тот, который выключился, и заменить его.

Человек, использующий настоящий браузер, почти никогда не станет запрашивать 20 веб-страниц в секунду из одного и того же веб-сайта. Поэтому если вы хотите запрашивать много веб-страниц из одного и того же веб-сайта, вам нужно заставить веб-сайт полагать, что все эти запросы отправляются из разных точек земного шара, то есть с использованием разных IP-адресов. Другими словами, вам нужно использовать прокси-серверы .

Прокси-сервер на python. Особенности взаимодействия прокси сервера с внешними серверами

Последние обновления на сайте:

1. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
2. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
3. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
4. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
5. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
6. Моя семья успешность отпуском у "Морюшка измеряет".
7. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
8. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
9. Крупнейшие автомобильные бренды мира установили рекорды по продажам в прошлом году.
10. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
11. Выпускники по всей России массово заявляют о жестких ошибках в ЕГЭ.
12. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
13. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
14. Без иронии, вначале попробуйте, это очень вкусный напиток.
15. Опасный хантавирус за пределы лайнера вышел.
16. В популярных духах обнаружили потенциально опасные вещества.
17. Кейсы в CS2 и паки Fifa предложили запретить в России.
18. Три народных средства для крепкой рассады томатов.
19. Горсть миндаля в день может заметно улучшить состояние кожи.
20. Moй споcoб подкopмки мoлодой рассады тoматов.
21. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
22. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
23. Kак победить пырей на участке.
24. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
25. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
26. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
27. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
28. Пиpoжки: зaбытый стapый мaмин рeцепт.
29. Нашатырь можно как хорошую подкормку для лука использовать.
30. Секрет пышной и сладкой морковки - простая подкормка!
31. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
32. Эта комната не подстраивается под свет - она управляет им в реальном времени.
33. Мы применяем просроченные лекарства.
34. Многим из нас нравится замиокулькаса.
35. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
36. Вмecто тыcячи слов.
37. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
38. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
39. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
40. Аромат осени в банке - яблочное варенье с корицей.
41. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
42. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
43. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
44. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
45. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
46. В США появились терапевтические пони, которые помогают пациентам быстрее просыпаться после анестезии, играя для них на синтезаторе.
47. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
48. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
49. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
50. Ароматная и легкая в приготовлении соль невероятно.