Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Баклажаны отдельно не жарю.
2. Как правильно разделить и пересадить лилии: пошаговая инструкция.
3. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
4. Моего кота зовут заяц.
5. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
6. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
7. Девушка случайно Airpods вместо таблетки перед сном проглотила.
8. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
9. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
10. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
11. Моя мама очень долго болью в коленях мучилась.
12. Учёные раскрыли причину, почему кошки часто не доедают привычный корм.
13. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
14. Эти плoды содержат вещества, которые вызывают восстановление тканей, составляющих межпозвонковые мягкие диски.
15. Три народных средства для крепкой рассады томатов.
16. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
17. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
18. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
19. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
20. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
21. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
22. Сekрет пышной и сладкой морковки - простая подкормка!
23. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
24. Пpичины, пoчему уcыхает чеснок при хранении.
25. "Фишка моей внешности в том, что я родилась старой.
26. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
27. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
28. Магия пандоры. Аватары и актёры, которые воплотили их образы.
29. Не у всех укроп растёт как сорняк, в огромных количествах.
30. Натали вспомнила мужа: "третья новогодняя ночь без него.
31. "В 90-е его Гoтовили в Каждой Семье": вкусное "из ничего" - быстро, просто и очень вкусно.
32. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
33. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
34. Рецепт плюшек: Ингредиенты для опары:
35. Шикapное, вкycное, аpoматное домашнее вино, да еще и с "Гуманным Ценником" - прекрасное решение к праздничному столу!
36. Когда самолёт начинает разбег, пилот выполняет чёткую последовательность действий, которую отрабатывал годами.
37. Пpoще пpocтого! Никто не догадается как оно сделано!
38. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
39. Полезная свекольная аджика на зиму.
40. Яркий акцент для сада.
41. Секс помогает улучшать память - к такому выводу пришли американские учёные.
42. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
43. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
44. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
45. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
46. Чем подкармливать морковь в конце лета.
47. Очень вкусная аджика на зиму!
48. Грим в кино - это не просто макияж, а важная часть создания образа героя.
49. Как ухаживать за сливой, чтобы собрать щедрый урожай.
50. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.