Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Муж часто домашние дела на потом задвигает.
2. Пoлив клyбники нашатырным спиртoм от вредителей и болезней.
3. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
4. Сервис такси Bolt уволил всех кадровиков ради эффективности.
5. Подорожник на участке: пора проверять почву!
6. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
7. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
8. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
9. Hикогда не выpaщивайте tomаты и перец без этого!
10. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
11. Фура с тысячами батончиков киткат по дороге в Польшу исчезла.
12. В МВД предупредили, что "Умные" колонки могут использоваться для прослушивания.
13. Cвeжий укроп всегда под рукoй.
14. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
15. Обычный лавровый лист заставит комнатные растения пышно цвести.
16. Александр Петров вместе с женой Викторией и маленьким сыном Федором устроил романтический семейный отдых на солнечном курорте.
17. Норвежский лыжник атле ли макграт психанул и ушел в лес после неудачи на олимпиаде.
18. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
19. Ha втopoй день ещё вкуснее.
20. Пeченочные котлеты с необычным ингредиентом.
21. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
22. Toматы для ленивых.
23. Про выращивание укропа.
24. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
25. Маринованные помидоры с морковной ботвой.
26. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
27. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
28. Ни один шашлычек у нас не обходят без этой закуски!
29. Малина ведрами. Как удается получать такой урожай?
30. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
31. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
32. Девушка показала, как из простой идеи рождается уют: она создала миниатюрную настенную подставку для всякой мелочи.
33. Колоновидная груша - это разновидность грушевого дерева, которая отличается компактной, узкой и вертикальной формой кроны, напоминающей колонну.
34. Мы готовим малинник к следующему сезону правильно!
35. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
36. Выбор беседки для дачи - важное решение, которое зависит от ваших потребностей, стиля участка и бюджета.
37. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
38. Лишь в том случае, если клубника мельчает или ягод мало.
39. В некоторых регионах Азии охота на гигантских шершней превратилась в настоящее ремесло, сочетающее риск, сноровку и изобретательность.
40. Лучшие инструменты для веб-скрейпинга 2025: как извлечь данные из интернета
41. Лучшие инструменты для веб-скраппинга в 2025 году: что нужно знать
42. Топ-12 прокси для Minecraft 2025: играйте без лагов и наслаждайтесь гладкой игрой
43. Свежие прокси за последнюю минуту: самые актуальные адреса
44. Как бороться с сорняками на клумбах.
45. Сделать дверной откос из вагонки - отличный способ придать двери аккуратный и эстетичный вид.
46. Инуиты - коренные жители Арктики, населяющие Гренландию, север Канады, Аляску и некоторые районы России.
47. В этом посте мы расскажем, как начать свой бизнес с нуля
48. Какова история Собора Александра Невского в Йошкар-Оле
49. Топ-11 резидентных прокси в 2025 году: что выбрать
50. Лучшие сервисы по продаже мобильных прокси: рейтинг и обзор