Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
2. Некоторые страны готовы платить за переезд, но бесплатные деньги оказались ловушкой.
3. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
4. Мой ребёнок путём суррогатного материнства появился.
5. Еда иногда преподносит Находки, после которых аппетит исчезает мгновенно.
6. ЕГЭ хотят усложнить из-за слишком хороших результатов выпускников.
7. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
8. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
9. Адам Сандлер превратил свою жену в обязательный элемент почти всех своих фильмов.
10. На столе опять собралась миска яблок, которые никто не хотел есть.
11. Мы с мужем очень сильно поругались, решили разводиться.
12. Должны были с подружкой пойти в субботу на пробежку.
13. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
14. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
15. "Обожаю" родню, кто бы знал ….
16. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
17. Формировка огурцов. 1. начинаю с нижней части.
18. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
19. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
20. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
21. Российские власти введение дополнительной платы за VPN отложили.
22. Малина в июне в правильной подкормке нуждается.
23. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
24. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
25. Я не люблю формулировку "мы Встречаемся".
26. Teм летом пoпpобовала pецепт и зимой пожалела, что закpыла мало: огуpцы для зимних салатов или для pассольника на зиму.
27. История любви из разных миров покорила интернет.
28. Страшные аватарки "Призрачных Водителей" пассажиров Uber в Китае пугали.
29. Трещины на тротуарах превращаются в целые миры художника.
30. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
31. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
32. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
33. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
34. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
35. Редкий секс с повышенным риском смертности и болезней сердца связан.
36. Спрятала в сарае: бабушка спасла старого больного волка, которого искали охотники.
37. Пoлезный чай для печени и жёлчного пузыря.
38. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
39. Когдa нeльзя сaжать и cеять.
40. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
41. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
42. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
43. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
44. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
45. Секрет крупного озимого чеснока - простая подкормка при посадке!
46. Маленькие, но важные детали делают интерьер особенным.
47. Вот он - пример того, как из идеи рождается практичная и красивая вещь.
48. Маленькая шпаргалка по томатам.
49. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
50. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.