Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
2. Секреты огромного урожая томатов: сохраняй, чтобы не потерять!
3. Kaк подкармливать перец для щедрого урожая.
4. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
5. Помoгаем печени утpoм, днем и вечером!
6. Психотерапевт из Англии оказался в центре скандала из-за методов "Лечения" своих пациенток.
7. Нетипичные плодовые культуры для северного сада.
8. "ВИА Гра" на пике славы - "золотой граммофон", 6 декабря 2003 года.
9. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
10. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
11. Пepecтаньте борoться с мoкрицей!
12. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
13. Рецепт плюшек: Ингредиенты для опары:
14. Начинайте готовить ягодные кустарники к зимовке.
15. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
16. Арапайма звучит как имя из глубокой древности, и недаром.
17. Этот робот не просто убирает ваш дом - он его изучает.
18. В пещере на границе Албании и Греции обнаружена крупнейшая в мире паутина, ставшая домом для 111 000 пауков.
19. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
20. Уже давно делаю по этому рецепту!
21. Мощный шторм на Москву надвигается.
22. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
23. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
24. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
25. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
26. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
27. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
28. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
29. Срывать недозрелые плоды или ждать полной зрелости?
30. Как понять, что тыква созрела?
31. Учёные из пермского политеха обнаружили радиацию в китайских гибридных автомобилях, превышающую норму в восемь раз.
32. Польза компоста очень велика и включает в себя множество экологических, экономических и агрономических преимуществ.
33. Как спасти огурцы от мучнистой росы.
34. Какие макроэлементы важны для томатов и как распознать их нехватку?
35. Что такое веб-скрейпинг в 2025 году: Основные области применения
36. Яблоня "Роялти" - это популярный сорт яблони, известный своими крупными, вкусными плодами и высокой урожайностью.
37. 8 Лучших Прокси для Безопасного Серфинга в 2025
38. Топ-16 частных прокси 2025 года: Надежные и безопасные
39. Какие музеи наиболее популярны среди туристов
40. Обновляемый список публичных бесплатных прокси: всегда актуальные данные
41. Строительство цветника из бетона - это отличный способ создать долговечное и эстетичное оформление вашего сада или приусадебного участка.
42. Пирамиды в момент постройки как сияющие инопланетные монолиты выглядели.
43. Полное руководство: как заказывать товары с Amazon в Россию
44. Пластиковый пакет в среднем 10-15 минут используется.
45. Какие основные музеи расположены в Кремле и что в них можно посмотреть
46. Виды средств от клещей.
47. Почему стоит выбрать качественный геотекстиль.
48. 7 пирогов, которые сделают полноценным любой ужин.
49. Расскажите о Зоопарке в Курск и его особенностях
50. Первая подкормка + обработка от болезней клубники.