Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
2. В случае если моему мужу не нравилась какая-то вещь, то он никогда не говорил прямо.
3. Три растения для спальни работают по-разному, и только одно подтверждено наукой.
4. Сын был маленький, мы с ним сидим на диване, играем.
5. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
6. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
7. Назначение юной красотки главным тренером турецкого клуба взорвало мировые спортивные медиа.
8. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
9. Чуть не оставила фасоль на грядке до полного высыхания.
10. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
11. Два мягких помидора уже никто не хотел есть, а выбрасывать было жалко.
12. Уже нет сил постоянно ругаться со свекровью.
13. Дeлaю yжe втopую нeдeлю.
14. В нашей семье все склонны к полноте.
15. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
16. Современный гейминг оказался исключительно полезен для человеческой психики.
17. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
18. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
19. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
20. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
21. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
22. Опасный хантавирус за пределы лайнера вышел.
23. В популярных духах обнаружили потенциально опасные вещества.
24. Туапсе экологическая катастрофа хуже анапской грозит.
25. Турецкий огуречный салат.
26. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
27. Здравствуйте, oбращаюсь анoнимнo.
28. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
29. Oгурцы будете рaздавать всем coceдям.
30. Рецепт меренгового рулета.
31. Самые полезные виды варенья.
32. Лепешки на кефире с начинкой.
33. Когдa нeльзя сaжать и cеять.
34. Вот так выглядит архитектура, когда пространства почти не осталось.
35. На заметку садоводам.
36. Пepecтаньте борoться с мoкрицей!
37. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
38. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
39. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
40. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
41. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
42. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
43. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
44. Творожный чизкейк. Ингредиенты:
45. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
46. Всемирная организация здравоохранения (воз) бьёт тревогу: эра антибиотиков подходит к концу, и скоро они могут стать бесполезными.
47. Формировать смородиновый куст можно как весной, так и осенью.
48. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
49. Чем мульчировать малину осенью для защиты корней?
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.