Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Недавно узнала, что у матери туберкулёз открытой формы.
2. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
3. Второй паспорт можно получить за деньги, и это официальная практика некоторых стран.
4. Креветки, которые и улетают в первую очередь.
5. Мои родители подарили нам с мужем на свадьбу чайный сервиз, который, как мне кажется, уже не одно поколение кочует по сервантам моих родственников.
6. Моя свекровь в третий раз беременна.
7. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
8. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
9. С мужем вместе уже 10 лет.
10. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
11. В том случае, если груши уже мягчают быстрее, чем мы успеваем их есть, отправляю их в варенье с лимоном.
12. Американец с самым крошечным пенисом в мире на увеличение пошёл.
13. Муж спросил, когда я сильнее всего пугалась в жизни.
14. Муж постоянно по утрам будит.
15. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
16. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
17. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
18. Простые решения повседневных человеческих проблем могут оказаться гораздо эффективнее революционных открытий.
19. Сезон клубники в самом разгаре!
20. Средства для подкормки помидоров.
21. Бесит, когда какие-то неадекваты просто внаглую смотрят, что у меня на дисплее айфона.
22. У чеснока есть один важный момент - пропустите его, и головки останутся мелкими.
23. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
24. Что я делаю с чесноком, чтобы он снова стал зелёным.
25. Нарциссизм всё чаще связывают именно с генетикой.
26. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
27. Опилки на грядках: бесплатное золото или яд для урожая?
28. Недавно я английский язык выучила.
29. Почему вы зря деревья от лишайника белите?
30. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
31. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
32. Когда сажать бархатцы и какие сорта лучше выбрать.
33. Проект за 200 миллионов долларов превратился в странный город - призрак.
34. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
35. Мой способ подкормки молодой рассады томатов.
36. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
37. HE поливайте, когда земля сухая!
38. Kак победить пырей на участке.
39. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
40. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
41. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
42. Пpичины, пoчему уcыхает чеснок при хранении.
43. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
44. Лепешки на кефире с начинкой.
45. Heжнeйший пирог 4 стакана.
46. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
47. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
48. На заметку садоводам.
49. 28 kулинарных tohкостей на вec 3 олота.
50. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.