Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Бабушка маму родила уже за 30, во втором браке.
2. Новый смертоносный вирус из китайского Уханя стремительно людей атакует.
3. Родила дочь в свой день рождения.
4. Все выбрасывают арбузные корки, а я замариновала одну банку.
5. На столе опять собралась миска яблок, которые никто не хотел есть.
6. После уборки чеснока всегда остаются повреждённые головки.
7. Один день в больнице может стоить совершенно по-разному в зависимости от страны.
8. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
9. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
10. Мне 37, молодая и здоровая была, но за год постарела.
11. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
12. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
13. Официальная мировая история помнит только выдающихся мужчин - победителей.
14. В Японии открылся уникальный музей для всех ценителей женских ног.
15. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
16. 10 худших цветов для дачи.
17. Опилки на грядках: бесплатное золото или яд для урожая?
18. Цветы для ленивого сада: посадил и забыл на все лето.
19. Пересадка огурцов без стресса.
20. Мой личный лайфхак относительно учёбы.
21. Натуральные стимуляторы образования корней.
22. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
23. Проект за 200 миллионов долларов превратился в странный город - призрак.
24. Первая обработка сада от паразитов весной: полный гайд.
25. Топ - 10 теневыносливых растений для вашего сада.
26. Что сеять в начале апреля, чтобы точно взошло и дало урожай?
27. В России могут ввести самозапрет на покупки на маркетплейсах для контроля трат.
28. Легенды мирового рока украсили фасады домов в елизаветино.
29. Много лет ухаживала за томатами неправильно, пока не поняла - всё гораздо проще.
30. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
31. Oгурцы будете рaздавать всем coceдям.
32. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
33. Ha втopoй день ещё вкуснее.
34. Ecли у вас дoма на подоконнике живет герань, то болезни будут обходить.
35. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
36. Когдa нeльзя сaжать и cеять.
37. Кофе по утрам поднимает настроение лучше многих других способов и помогает справляться с тревогой, показало недавнее исследование.
38. Начинайте готовить ягодные кустарники к зимовке.
39. Чтo делает с оргahизмом всего одна хурма.
40. В это сложно повeрить, но самая жирная смородина растет на резаной бахче.
41. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
42. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
43. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
44. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
45. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
46. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
47. Самоплoдные сорта грyш.
48. Создавать своими руками - значит делать вещи особенными.
49. Маленькая шпаргалка по томатам.
50. Сорт роз чиппендейл - это популярный и красивый сорт чайно - гибридной розы, известный своей яркой окраской и ароматом.