Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Живём с мужем в квартире, которая до брака принадлежала мужу.
2. Мы с мужем квартиру в старом двухэтажном доме купили.
3. Я в небогатой семье с двумя братьями росла.
4. Кровавые покушения на линкольна и Кеннеди сложились в пугающий исторический пасьянс.
5. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
6. Перед похолоданием целый таз зелёных помидоров сняла.
7. В GTA VI полиция даже ваше лицо и одежду запомнит.
8. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
9. Пустая грядка в августе не обязана два месяца выращивать сорняки.
10. Должны были с подружкой пойти в субботу на пробежку.
11. Четыре салата в банках на зиму.
12. Яблок много - вроде радоваться надо.
13. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
14. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
15. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
16. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
17. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
18. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
19. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
20. Мы удаляем листья у томата по правилам!
21. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
22. Давайте соберём самые рабочие подкормки для огурцов в начале роста.
23. Формировка огурцoв. 1. на пeрвoм этапе на нижней части растения в пазухах 3-5 листьев пpoизвoдится "Oслепление".
24. Как буддийские монахи вышли на протест и столкнулись с полицией.
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Одни из первых протезов использовали ещё в эпоху древнего Рима.
27. Hикогда не выpaщивайте tomаты и перец без этого!
28. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
29. Kaк подкармливать перец для щедрого урожая.
30. Токсичное поведение на работе может стать причиной увольнения.
31. Этой весной Россию накроет массовое нашествие комаров и клещей.
32. В 84 года Шотаро одате продолжает руководить разработкой систем безопасности Honda.
33. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
34. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
35. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
36. Рецепт меренгового рулета.
37. Самый возрастной ветеран великой отечественной войны умер.
38. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
39. На первый взгляд это выглядит безумно, пока не становится ясно: так восстанавливают работу линии высокого напряжения, не отключая электричество.
40. Так рыбка получится сочная и ароматная, не только минтай, а любая другая.
41. Как правильно ухаживать за фиалками.
42. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
43. Лучший способ хранения чеснока.
44. Девушка приложила руки, фантазию и терпение, и результат превзошёл все ожидания.
45. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
46. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
47. Что делать, если листья огурцов стали "Мраморные"?
48. Шиловидный флокс - это декоративное многолетнее растение из семейства флоксовых (Saxifragaceae), известное своей яркой и пышной цветочной кистью.
49. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
50. Что делать с кустами смородины после сбора урожая?