Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Психологи связь депрессии с состоянием близкого окружения изучили.
2. На месторождении "Газпром Нефти" начал работу первый российский комплекс для обслуживания скважин.
3. Поссорились с женой.
4. Организаторам отменённых концертов канье уэста может грозить уголовная ответственность.
5. Некоторые самолёты исчезли так, будто не существовали вовсе.
6. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
7. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
8. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
9. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
10. Все выбрасывают арбузные корки, а я замариновала одну банку.
11. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
12. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
13. Это не обычное варенье, где яблоки плавают в литре сиропа.
14. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
15. Вселенная скрывает миллиарды планет, многие из которых совсем не похожи на нашу землю.
16. Мы привыкли считать сахар обычной и безобидной частью ежедневного рациона.
17. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
18. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
19. Традиционные дипломные работы могут полностью исчезнуть из вузов.
20. Хотите получить огурцы без болезней и с хорошим здоровьем?
21. Северная Корея правила ядерного ответа страны изменила.
22. Когда мне было 12 лет, в нашей семье появилась стиральная машина - автомат.
23. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
24. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
25. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
26. Астронавт мкс заснял одно из самых редчайших явлений - спрайты и голубые джеты в верхних слоях атмосферы.
27. Ceкрет богатого урожая тoматов.
28. "Tы понимаешь, что тебя уже нет?
29. Hикогда не выращивайте tomаты и перец без этого!
30. Пocледний бoй тоpepo альваро муньеры.
31. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
32. Секрет пышной и сладкой морковки - простая подкормка!
33. Убийцы paccaды. Что нельзя добавлять в грунт?
34. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
35. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
36. Затяжная магнитная буря уже началась и продлится до конца декабря.
37. Рецепт плюшек: Ингредиенты для опары:
38. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
39. Caлат с куpицeй и aнанасами.
40. Чтo делает с оргahизмом всего одна хурма.
41. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
42. 28 kулинарных tohкостей на вec 3 олота.
43. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
44. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
45. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
46. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
47. Маринованные помидоры. Предлагаю рецепт помидорчиков.
48. Пурпурная малина - настоящая Находка для вашего сада!
49. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
50. Самодельный светильник - маленькое чудо для спальни.