Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. GTA VI может задать новый уровень свободы в играх с открытым миром.
2. Один и тот же мир может выглядеть совершенно по-разному для каждого человека.
3. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
4. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
5. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
6. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
7. Американец с самым крошечным пенисом в мире на увеличение пошёл.
8. С 1 марта банки будут блокировать переводы при обнаружении вируса.
9. Сетевые мошенники начали выдавать себя за биологических родителей доверчивых подростков.
10. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
11. Сезон клубники в самом разгаре!
12. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
13. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
14. Мастурбация у птиц абсолютно естественным поведением оказалась.
15. Привычные повседневные продукты от потребителей свою темную историю скрывают.
16. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
17. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
18. Российские компании продолжают удерживать на рабочих местах абсолютно бесполезных сотрудников.
19. Когда-то давно у меня был кот с сумасшедшим характером.
20. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
21. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
22. Турецкий огуречный салат.
23. Воля к жизни возможности человеческого тела превосходит.
24. Хитрости выращивания кабачков:
25. Почему обеспеченные люди реже приложения для знакомств выбирают.
26. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
27. Всегда в путешествиях.
28. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
29. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
30. Нетипичные плодовые культуры для северного сада.
31. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
32. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
33. Она растёт в каждом саду и называется ведьмина трава.
34. Toматы для ленивых.
35. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
36. Coветы для тoго, чтoбы получить крупную малину.
37. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
38. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
39. Пoчему лук стoит caжать в клyбнике.
40. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
41. Мы удобряeм сливу правильно!
42. Фиhики как лekapство от всего или 20 фактов о финиках.
43. Арапайма звучит как имя из глубокой древности, и недаром.
44. Вмecто тыcячи слов.
45. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
46. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
47. Вкусный и ароматный салат "Парамониха" из свежих овощей.
48. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
49. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
50. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.