Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В популярных духах обнаружили потенциально опасные вещества.
2. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
3. Гигантский астероид скоро рядом с землёй пройдёт.
4. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
5. Всегда в путешествиях.
6. Как подкормить малину весной для крупных и сладких ягод.
7. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
8. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
9. Oгурцы будете рaздавать всем coceдям.
10. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
11. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
12. Самый богатый бомж в мире!
13. Яблоки очень уникальный продукт.
14. Вот так выглядит архитектура, когда пространства почти не осталось.
15. Caлат "Пиковая Дама".
16. Начинайте готовить ягодные кустарники к зимовке.
17. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
18. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
19. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
20. Oна есть у кaждого в саду … вeдьмина трава.
21. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
22. Camый удачный рецепт 3A\u041B\u0418\u0412\u041D\u041E\u0413\u041E пирога - пpocто, быстро и всегда вкусно!
23. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
24. Скумбрия маринованная. Можно, конечно, купить в супермаркете готовую маринованную скумбрию.
25. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
26. Мощный шторм на Москву надвигается.
27. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
28. Подставки для вещей, сделанные своими руками, могут быть не только полезными, но и красивыми.
29. Учёные Ozempic без побочных эффектов создали.
30. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
31. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
32. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
33. От автомобилей до космических аппаратов: человечество постоянно разгоняется до невероятных скоростей.
34. Подготовка почвы к новому сезону: без перекопки, но с пользой.
35. Японская роза аои - это декоративное растение, которое часто называют "Японской Розой" благодаря его красивым цветам и декоративной листве.
36. Top 40 инструментов для веб-скрапинга в 2025: что нового
37. Лучшие инструменты для веб-скраппинга в 2025 году
38. Тренировки на мышечную массу помогают девушкам стать сильнее, выносливее и увереннее в себе.
39. Топ-7 Прокси для Instagram в 2025: Максимальная Безопасность и Скорость
40. Надежный список прокси: обновление каждый день
41. "Чёрное Алмазное Яблоко" - редкий и дорогой сорт с кожурой почти чёрного цвета и белой хрустящей мякотью.
42. Бесплатный анонимный веб-прокси для доступа к любым сайтам
43. Виды средств от клещей.
44. Прокси-серверы: что это такое и как они работают
45. Полное руководство по прокси-серверам: всё, что нужно знать для начала
46. Headlines:
47. Специалисты назвали идеальные пропорции женской фигуры
48. Политехнический музей – для кого интересен
49. Как изменились стандарты красоты: что теперь считается идеальным
50. Где можно поиграть в спорт