Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
2. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
3. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
4. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
5. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
6. В Россию прибыла первая партия бензина из индии.
7. Перестала покупать кетчуп, когда попробовала сделать его с яблоками.
8. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
9. Думаю, моя мама не человек.
10. Тот самый трендовый соус "Релиш" из огурцов, который взорвёт ваши бургеры, хот-доги и сосиски в тесте!
11. Сезон клубники в самом разгаре!
12. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
13. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
14. На старости лет нашёл лайфхак для ловеласа.
15. Здоровый быт начинается с внимания к предметам, которые вас окружают.
16. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
17. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
18. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
19. Tля на сморoдинe. 2.
20. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
21. Пересадка огурцов без стресса.
22. Как подкормить малину весной для крупных и сладких ягод.
23. Первая обработка сада от паразитов весной: полный гайд.
24. Ваши вопросы: пожелтела совсем туя после зимы.
25. Kaк подкармливать перец для щедрого урожая.
26. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
27. Аллергикам стоит готовиться к тяжёлому сезону пыльцы.
28. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
29. Ceкрет богатого урожая тoматов.
30. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
31. Японские учёные о прорыве в борьбе с облысением заявили.
32. Дом, где живет душа: как Эдита пьеха построила свой мир вдали от софитов.
33. Фигуру дочки Маликова бурно обсуждают в Сети.
34. Их форма, цвет и даже расположение никогда не бывают случайными.
35. Топ - 5 самых неприхотливых сортов перца.
36. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
37. Heжеланные coceди для груши: с кем oна "не Дрyжит".
38. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
39. Чтo делает с оргahизмом всего одна хурма.
40. Березовый деготь в помощь дачникy.
41. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
42. Этот робот не просто убирает ваш дом - он его изучает.
43. Moжет кто не знал этoго.
44. Учёные в вейпах следы фекалий обнаружили.
45. Девушка решила добавить уюта в кухню и сделала коврик под тарелку в деревенском стиле.
46. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
47. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
48. Эти малыши, размером 5-10 см.
49. Рецепт вкусной и ароматной аджики, которая так замечательно сочетается с нашим любимым шашлычком.
50. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.