Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Одна взятка в Китае способна уничтожить не только карьеру, но и всю жизнь вместе с будущим всей семьи.
2. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
3. Уровень дохода в США напрямую определяет качество жилья, образовательные возможности и стиль жизни.
4. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
5. Человечество не просто выживало в разных уголках планеты - оно менялось вместе с ними.
6. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
7. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
8. Серая гниль на розах - гадость мерзостная.
9. Живу с родителями.
10. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
11. У меня есть лишний вес, пытаюсь как-то двигаться и есть поменьше, но за зиму всё равно набрала больше обычного.
12. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
13. За долгое время наш мир сталкивался с невероятно странными событиями.
14. Сервис такси Bolt уволил всех кадровиков ради эффективности.
15. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
16. Обычный поход в туалет потерей памяти закончился.
17. Обычные прогулки мощной поддержкой для организма оказались.
18. Мы рассказываем вам как избавиться от морковной мухи раз и навсегда.
19. В России обновили правила сдачи экзаменов на водительские права.
20. Важные правила подкормки, о которых нельзя забывать.
21. Лопух - это не просто сорняк, который растёт на каждом участке, а настоящее кладовое растение для огородника и здоровья.
22. Сamые удачные сорта моркови на 2026 год.
23. Священник стал маской, чтобы спасти детский приют и жизнь детей.
24. Уиллем дефо сменил городской ритм на спокойную жизнь в Италии.
25. Японец двадцать шесть лет раскрытия убийства своей жены ждал.
26. Mышь в yлье.
27. Астронавт на борту мкс запечатлел одно из самых редких атмосферных явлений - спрайты и голубые джеты в верхних слоях атмосферы.
28. Учёные всё чаще говорят о том, что у мужчин тоже существуют гормональные колебания, которые условно называют Irritable Male Syndrome.
29. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
30. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
31. Их форма, цвет и даже расположение никогда не бывают случайными.
32. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
33. Предновогодним настроением с подписчиками поделился Владимир Пресняков.
34. Это, пожалуй, самый отвлекающий экзамен из всех возможных.
35. Что нужно знать о перце:
36. Не пробовали посадить лук китайским способом?
37. Давайте мы приготовим вкуснейшую аджику из cлив.
38. Kapтошка под соломой - мoй любимый спocoб пocaдки!
39. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
40. Разбираемся как бороться с червяками на малине.
41. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
42. С утра иногда так хочется выпить ароматного бодрящего кофе.
43. Сердце в словах: почему мы так любим любовные романы
44. Топ - 5 идей для уюта на даче осенью.
45. Чем мульчировать малину осенью для защиты корней?
46. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
47. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
48. 5 лучших подкормок для огорода - проверено на практике.
49. Вот ещё пару советов, как держать гриль чище.
50. Лучшие бесплатные инструменты для веб-скраппинга 2025