Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Москву предупредили о трёх днях возможных перебоев с интернетом.
2. Вселенную ждёт будущее, в котором погаснут даже самые яркие звёзды.
3. Бабушка маму родила уже за 30, во втором браке.
4. Я в небогатой семье с двумя братьями росла.
5. Удивительные товарищи всё-таки - родственнички.
6. На столе опять собралась миска яблок, которые никто не хотел есть.
7. Кабачки "КАК Ананасы" - зимой никто сразу не понимает, что лежит в банке.
8. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
9. В 2200 году марс уже перестал быть мёртвой красной пустыней.
10. Американец с самым крошечным пенисом в мире на увеличение пошёл.
11. Твоё тело работает 24 часа в сутки без твоего участия.
12. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
13. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
14. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
15. Сняли лук или ранний картофель и бросили голую грядку до весны?
16. Мне 37, молодая и здоровая была, но за год постарела.
17. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
18. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
19. Официальная мировая история находится намного ближе к нам, чем кажется.
20. Мощная подкормка для овощей: секрет огромного количества завязей.
21. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
22. Муж часто домашние дела на потом задвигает.
23. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
24. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
25. Сервис такси Bolt уволил всех кадровиков ради эффективности.
26. Без иронии, вначале попробуйте, это очень вкусный напиток.
27. У дачного отдыха есть одна особенно коварная привычка: всё, что пахнет летом, дымком и мясом, автоматически кажется почти невинным.
28. Северная Корея правила ядерного ответа страны изменила.
29. Пересадка огурцов без стресса.
30. Работа в кровати незаметно здоровье человека разрушает.
31. Почему нужно срезать верхушки у яблонь.
32. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
33. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
34. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
35. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
36. Пирожки: забытый старый мамин рецепт.
37. Их форма, цвет и даже расположение никогда не бывают случайными.
38. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
39. Как заставить замиокулькас активно выпускать новые побеги.
40. После новогодних праздников американские врачи советуют не лежать на диване, а выходить на улицу и активно выпускать газы.
41. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
42. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
43. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
44. Oна есть у кaждого в саду … вeдьмина трава.
45. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
46. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
47. Малина ведрами. Как удается получать такой урожай?
48. Зачем нам медный и железный купорос.
49. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
50. Полезная свекольная аджика на зиму.