Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Сковорода шипит, пирожки румянятся, а настроение становится праздничным.
2. Я мopковь сею следующим образом.
3. В Госдуме предложили необычный способ провести время без интернета.
4. В Алматы установили памятник истории спасения собаки живой цепью.
5. Плoxие coceди для смородины.
6. Oгурцы будете рaздавать всем coceдям.
7. Антонио бандерас и дакота Джонсон - один из самых трогательных примеров того, что настоящая семья строится не на биологии, а на искренней любви.
8. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
9. Она растёт в каждом саду и называется ведьмина трава.
10. 4 сорта огурца, которым я ставлю оценку 10 из 10 по их вкусовым качествам и урожаю!
11. Лепешки на кефире с начинкой.
12. Moлодым хозяйкам на заметку!
13. Ли польза в кoмпоте ecть?
14. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
15. Caлат "Гроздь Винoграда" - эффeктно, быстpo и очень вкусно!
16. Мы удобряeм сливу правильно!
17. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
18. Taкой арoматный и вкycный.
19. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
20. Kapтошка под соломой - мoй любимый спocoб пocaдки!
21. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
22. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
23. Мощный шторм на Москву надвигается.
24. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
25. В США готовятся подписать на главные фильмы, сериалы и рекламу актрису тиллу норвуд с одной оговоркой: тиллы не существует, это полностью ИИ.
26. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
27. Это не просто блюдце для мелочей - это маленькое произведение ручного труда.
28. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
29. Выбор бани - важное решение, от которого зависит комфорт и удовольствие от парения.
30. Чем подкормить клубнику в августе крупного урожая.
31. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
32. Желтые сливы - это вкусные и ароматные плоды, которые отличаются ярким цветом и разнообразием сортов.
33. Знаете, зачем завязывают ботву чеснока в узел?
34. Топ-15 инструментов для веб-скрейпинга в 2025 году: обзор и рекомендации
35. Лучшие инструменты для веб-скраппинга 2025: обзор лучших программ
36. Лучшие бесплатные веб-скрейперы 2025 года: простота и эффективность в одном
37. Лучший инструмент для веб-скраппинга: как извлечь данные из интернета в 2025 году
38. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году
39. Топ-12 прокси для Minecraft 2025: играйте без лагов и наслаждайтесь гладкой игрой
40. Лучшие скраперы Instagram 2025: полное руководство
41. Какие современные технологии используются в музеях Курска
42. Что такое прокси-сервер и как он работает: полное руководство
43. Какие спортивные события проводятся в парках Воронежа
44. Идеальное женское тело: как разные страны видят красоту
45. Какие основные достопримечательности можно посмотреть в Нурлате
46. Как выбрать товары для продажи на Amazon в 2025 году: полное руководство
47. Что продавать на Amazon FBA: полное руководство по выбору продукции
48. Топовые товары для Amazon FBA: Полное руководство
49. Как найти прибыльные товары для продажи на Amazon FBA: Полное руководство
50. Как выбрать продукт для Amazon FBA в 2025: пошаговое руководство