Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
2. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
3. Джем из кабачка и кураги сварила.
4. Все выбрасывают арбузные корки, а я замариновала одну банку.
5. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
6. Пустая грядка в августе не обязана два месяца выращивать сорняки.
7. В 2200 году марс уже перестал быть мёртвой красной пустыней.
8. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
9. Всю жизнь терпеть не могу своё имя - Валентина.
10. Это не обычное варенье, где яблоки плавают в литре сиропа.
11. Уже нет сил постоянно ругаться со свекровью.
12. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
13. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
14. Дочку с самого детства учила нести ответственность за свои поступки.
15. Моего кота зовут заяц.
16. Добрый день! Вдруг кто с подобным … сталкивался.
17. Российские власти введение дополнительной платы за VPN отложили.
18. Завязей на томатах будет море, а фитофтора обойдёт стороной.
19. Совершенно неважно, сколько было выпито до этого: две бутылки вина или две бутылки текилы.
20. Важные правила подкормки, о которых нельзя забывать.
21. Telegram в России остаётся без альтернатив несмотря на попытки заменить сервис.
22. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
23. Советы дачникам. * Борная кислота:
24. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
25. Картофельные ростки: золотой актив, который вы зря выбрасывали!
26. Все лето держу окна в доме отрытыми и не боюсь комаров.
27. Когда вид на озеро главным элементом проекта дома становится.
28. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
29. Пиpoжки: зaбытый стapый мaмин рeцепт.
30. Американская пара оказалась в центре внимания после того, как их новорождённый малыш родился с кожей значительно темнее, чем у обоих родителей.
31. Ha 2-й день ещё вкycнее.
32. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
33. Кoгда усы клубники нужно обрезать?
34. Дeвочки, прошу вaшего совета.
35. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
36. С легкой и пушистой текстурой, это самый мягкий торт.
37. Помoщь для пeчени.
38. Шикapные нeжные котлeты по-мoлдавски, которое получатся с первого раза!
39. Не торопитесь выбрасывать сено - оно может сослужить отличную службу.
40. Недорогое средство от пятнистостей на розах.
41. Учёные выяснили: мужчины, которые занимаются сексом или мастурбируют более 21 раза в месяц, снижают риск заболеваний простаты более чем на 25%.
42. Калина - это популярная ягода, которая широко используется в народной медицине и кулинарии благодаря своим полезным свойствам.
43. Чем подкармливать морковь в конце лета.
44. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
45. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
46. Что делать с кустами смородины после сбора урожая?
47. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.
48. Желудочный сок стервятников обладает поразительной кислотностью - его pH приближается к 1, 0, что сравнимо с аккумуляторной кислотой.
49. Банановая кожура - природное удобрение для огорода.
50. Лучшие инструменты для веб-скрейпинга 2025 и далее: что попробовать