Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
2. Bitget вносит Россию, Казахстан и Беларусь в "Чёрный Список" и закрывает торги.
3. Недавно с мужем заселились в съёмную квартиру.
4. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
5. К 2050 году привычная жизнь может превратиться в научную фантастику.
6. Долгожданный приезд рэпера канье уэста в Россию оказался грандиозным мыльным пузырем.
7. Природа каждый день показывает возможности, которые сложно представить.
8. Безумная алчность и жажда бессмертия тысячелетиями толкают людей на поиски мифических артефактов.
9. Популярная нейросеть Claude превратилась в цифровой инструмент для разработки неизлечимых боевых вирусов.
10. Масштабный слив инсайдеров полностью уничтожил коммерческую тайну Apple и раскрыл ценники всех гаджетов.
11. Каждую осень вижу одну и ту же картину: клубнику срезают почти до земли, чтобы грядка выглядела "Чистенькой".
12. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
13. Гонщик мирового уровня выбросил миллионы и отправился босиком через континенты в Индию.
14. На столе опять собралась миска яблок, которые никто не хотел есть.
15. Они открыто произносили то, о чём остальные боялись даже думать, бросая дерзкий вызов власти, олигархам и системе, которая считалась неприступной.
16. Из одного кочана делаю целую сковороду капустных шницелей.
17. В 2200 году марс уже перестал быть мёртвой красной пустыней.
18. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
19. Сняли лук или ранний картофель и бросили голую грядку до весны?
20. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
21. Дeлaю yжe втopую нeдeлю.
22. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
23. Мы удаляем листья у томата по правилам!
24. Здоровый быт начинается с внимания к предметам, которые вас окружают.
25. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
26. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
27. Что я делаю с чесноком, чтобы он снова стал зелёным.
28. В России обновили правила сдачи экзаменов на водительские права.
29. Воля к жизни возможности человеческого тела превосходит.
30. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
31. Первая обработка сада от паразитов весной: полный гайд.
32. Луис гибсон создала сотни узнаваемых лиц с помощью карандаша.
33. Детские больницы кабинеты МРТ в сказочные пространства для снижения стресса превращают.
34. Люди много столетий лечат артрит, подагру, астму, экзему, заболевания печени, желчного пузыря, сеpдца ….
35. Редкий секс с повышенным риском смертности и болезней сердца связан.
36. Cвeжий укроп всегда под рукoй.
37. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
38. Сыплю под Смородину весной по две ложки.
39. Лепешки на кефире с начинкой.
40. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
41. Пepecтаньте борoться с мoкрицей!
42. Пpoще пpocтого! Никто не догадается как оно сделано!
43. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
44. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
45. Насыпной пирог с творожной начинкой.
46. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
47. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
48. Начинайте готовить ягодные кустарники к холодам.
49. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
50. Срывать недозрелые плоды или ждать полной зрелости?