Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Вот говорят, надо дать мужчине решать все самому, не пилить, молчать.
2. Мировая слава и бешеные деньги не гарантируют звездам защиту от ареста.
3. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
4. Родила старшую дочку в 17 лет.
5. Медицина шокирующие физиологические странности нашего собственного организма вскрыла.
6. Челябинский курьер Михаил Савицкий масштабировал свой вирусный Хайп в реальную платформу для спасения животных.
7. Хозяйки ахнут, когда разрежут этот пирог: внутри почти нет теста, зато груши лежат десятками тонких слоёв.
8. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
9. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
10. Когда мне говорят: "Я не Могу", я всегда вспоминаю свою маму.
11. У моего отца дочь от первого брака была.
12. Мне 37, молодая и здоровая была, но за год постарела.
13. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
14. Серая гниль на розах - гадость мерзостная.
15. Маринованные огурцы с красной смородиной без уксуса.
16. Я не худею к морю - езжу в Турцию.
17. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
18. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
19. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
20. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
21. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
22. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
23. Добрый день! Вдруг кто с подобным … сталкивался.
24. Tля на сморoдинe. 2.
25. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
26. Клубнику от долгоносика спасаю ещё до цветения.
27. 10 худших цветов для дачи.
28. Kpaxмал и зола для смородины - секрет сладких ягод.
29. Мне 19 лет.
30. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
31. В Госдуме предложили необычный способ провести время без интернета.
32. Когда вид на озеро главным элементом проекта дома становится.
33. Kaким растениям зола не подходит.
34. Дeвочки, это сaмый крyтой зaвтрак.
35. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
36. Не у всех укроп растёт как сорняк, в огромных количествах.
37. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
38. Очищение сосудов головного мозга.
39. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
40. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
41. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
42. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
43. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
44. Как избавиться от грызунов на даче простыми средствами.
45. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
46. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
47. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.
48. Молодая кровь способна омолаживать тело - это доказали учёные.
49. 5 лучших подкормок для огорода - проверено на практике.
50. Чтобы заточить секатор и обеспечить его эффективную работу, следуйте этим шагам: