Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В московском метро появилась памятка о том, что на Западе нет настоящих демократических выборов.
2. Искреннее сострадание не требует миллионов на счетах и громкого общественного признания.
3. На столе опять собралась миска яблок, которые никто не хотел есть.
4. Из одного кочана делаю целую сковороду капустных шницелей.
5. Лишь в том случае, если просто засыпать мягкие груши сахаром и варить час, получится сладкое пюре непонятного цвета.
6. Насколько огромны самые большие объекты в природе и космосе.
7. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
8. Должны были с женой и родителями лететь на свадьбу сестры.
9. Собрали последнюю малину и забыли про кусты?
10. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
11. Маринованные огурцы с красной смородиной без уксуса.
12. Новая масштабная военная штаб-квартира официально открылась в административной столице Египта.
13. Дочку с самого детства учила нести ответственность за свои поступки.
14. Пять великих мыслителей трагически заплатили жизнью за свои смелые убеждения.
15. Сделал тест днк на дочь - результат 0%.
16. Клубнику от долгоносика спасаю ещё до цветения.
17. Завязей на томатах будет море, а фитофтора обойдёт стороной.
18. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
19. Опилки на грядках: бесплатное золото или яд для урожая?
20. Когда сажать бархатцы и какие сорта лучше выбрать.
21. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
22. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
23. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
24. Три народных средства для крепкой рассады томатов.
25. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
26. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
27. Никогда не выращивайте томаты и перец без этого!
28. Пoлезный чай для печени и жёлчного пузыря.
29. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
30. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
31. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
32. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
33. Австралийская семья отказалась продать дом за 50 миллионов долларов.
34. 2397 золотистых ретриверов заполнили парк в Буэнос-айресе, чтобы побить мировой рекорд.
35. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
36. Начинайте готовить ягодные кустарники к зимовке.
37. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
38. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
39. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
40. Облепиха - настоящая универсальная аптечка, способная замедлять старение и снижать риск развития рака, диабета и сердечно-сосудистых заболеваний.
41. Самодельный светильник - маленькое чудо для спальни.
42. Красивые садовые дорожки своими руками.
43. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
44. Срывать недозрелые плоды или ждать полной зрелости?
45. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
46. Ядовитые пауки - осы добрались до Москвы - об этом заявляют биологи.
47. Эти малыши, размером 5-10 см.
48. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
49. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
50. Лишь в том случае, если клубника мельчает или ягод мало.