Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Nasa показало вселенную с невероятным уровнем детализации.
2. Эмиграция за чужой счет стала легальным способом сорвать огромный куш за границей.
3. Перед похолоданием целый таз зелёных помидоров сняла.
4. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
5. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
6. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
7. Еда - это язык, который понимают все без единого слова.
8. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
9. Самые абсурдные законы мира, в которые сложно поверить.
10. Вынуждена была уехать на лечение на месяц в другую страну.
11. Дeлaю yжe втopую нeдeлю.
12. Мне 37, молодая и здоровая была, но за год постарела.
13. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
14. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
15. Российские власти введение дополнительной платы за VPN отложили.
16. Почему желтеет лук и чеснок и как быстро их "Оживить".
17. Туапсе экологическая катастрофа хуже анапской грозит.
18. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
19. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
20. Как подкормить малину весной для крупных и сладких ягод.
21. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
22. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
25. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
26. Джим Керри и теория клона: что произошло на самом деле?
27. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
28. Плoxие coceди для смородины.
29. Ceйчас я делаю блинчики, которые тают во рту!
30. Она растёт в каждом саду и называется ведьмина трава.
31. Сaлат с копченой курицей.
32. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
33. Эта комната не подстраивается под свет - она управляет им в реальном времени.
34. Простое клубничное варенье.
35. Как правильно ухаживать за фиалками.
36. Творожный чизкейк. Ингредиенты:
37. Девушка решила добавить уюта в дом и сделала своими руками милые ёлочки из дерева.
38. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
39. Ни один шашлычек у нас не обходят без этой закуски!
40. В России внезапно вырос спрос на необычную процедуру - мужики массово колют ботокс в яички.
41. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
42. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
43. Что делать, если листья огурцов стали "Мраморные"?
44. Красивые садовые дорожки своими руками.
45. 5 секретов обильного урожая огурцов.
46. Чем подкармливать морковь в конце лета.
47. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
48. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
49. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
50. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.