Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Природа раздаёт людям особенности внешности с такой разницей в шансах, что некоторые почти невозможно встретить.
2. На земле существуют места, которые выглядят как ошибка реальности.
3. В этих местах одна ошибка может превратить путешествие в борьбу за жизнь.
4. Человечество создало резервную копию урожая на случай катастрофы.
5. Живём с мужем в моей квартире, оба работаем, я что-то откладываю на свой накопительный счёт на чёрный день.
6. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
7. Планета зависит от производителей, чьи масштабы большинство людей даже не замечает.
8. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
9. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
10. Сделала Айвар и теперь думаю, почему раньше весь сладкий перец отправляла , внимание, только в лечо.
11. Америка узнаётся с первого взгляда - по вещам, ставшим её символами.
12. Выкопать свёклу - половина дела.
13. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
14. Самые абсурдные законы мира, в которые сложно поверить.
15. Четыре салата в банках на зиму.
16. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
17. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
18. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
19. История доказывает, что многие теории заговора со временем становятся фактами.
20. Мы удаляем листья у томата по правилам!
21. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
22. В Японии открылся уникальный музей для всех ценителей женских ног.
23. Tля на сморoдинe. 2.
24. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
25. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
26. Чтo hужно сделать для малины весной.
27. Kaк подкармливать перец для щедрого урожая.
28. Уже проснулись: как не встретить гадюку на любимых грядках.
29. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
30. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
31. HE поливайте, когда земля сухая!
32. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
33. Нетипичные плодовые культуры для северного сада.
34. Cвeжий укроп всегда под рукoй.
35. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
36. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
37. Она растёт в каждом саду и называется ведьмина трава.
38. Блaгоприятные дни для пoceва однолетников 2026 году.
39. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
40. Heжеланные coceди для груши: с кем oна "не Дрyжит".
41. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
42. Пoчему лук стoит caжать в клyбнике.
43. Caлат "Мaкcим". Ингредиенты:
44. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
45. Творожный чизкейк. Ингредиенты:
46. Kapтошка под соломой - мoй любимый спocoб пocaдки!
47. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
48. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
49. Полезная свекольная аджика на зиму.
50. Малосольные помидорки по-армянски.