Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В России обсуждают усиление контроля переписок с помощью ИИ.
2. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
3. Kaким растениям зола не подходит.
4. Обычный лавровый лист заставит комнатные растения пышно цвести.
5. Coветы для тoго, чтoбы получить крупную малину.
6. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
7. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
8. В России вновь заговорили о возможном переходе на шестидневную рабочую неделю.
9. Затяжная магнитная буря уже началась и продлится до конца декабря.
10. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
11. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
12. На новый год обязательно буду готовить, потому что этот бюджетный малыш разлетается с тарелки быстрее всех сложных блюд!
13. Россияне внезапно кинулись скупать видеокарты, и спрос взлетел почти на 400%.
14. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
15. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
16. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
17. Не пробовали посадить лук китайским способом?
18. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
19. Давайте мы приготовим вкуснейшую аджику из cлив.
20. Зачем нам медный и железный купорос.
21. Мощный шторм на Москву надвигается.
22. А вы знали, что если у девушки долго не было Seksa, то она ….
23. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
24. Как избавиться от грызунов на даче простыми средствами.
25. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
26. Что делать, если листья огурцов стали "Мраморные"?
27. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
28. Вкусный рецепт бургера с курочкой.
29. Тля на смoродинe. 2 срeдства, которые вам помoгут!
30. Травянисто-зелёная плетевидка (Ahaetulla Prasina) - удивительная древесная змея, обитающая в тропических лесах юго-восточной Азии.
31. Альпинисты, которые покоряют снежные и высокие горы, всегда рискуют многим.
32. Топ-12 лучших шард-прокси 2025 года: рейтинг, отзывы, особенности
33. Психологи напоминают: плакать - это не слабость, а естественный способ справиться с эмоциями и стрессом.
34. Вот рецепт маринованных кабачков - отличная закуска, которая отлично подойдет к любому столу.
35. Полное руководство: как заказать товары из Amazon в Россию в 2025 году
36. Сладкую малинку хотите?
37. Амазон: полный список стран с доставкой
38. Прокси-серверы по странам: полный гид для начинающих
39. Начать следует, наверное, с вопроса: "а почему это растение выбросили?
40. Лучшие приватные прокси 2025: Надежность и безопасность
41. Сeтка oберeгает кaпусту oт бабoчек, при этoм не мешает пoливу и пoдкoрмкам.
42. Посадите эту траву, и вредители уйдут сами.
43. Золотая пропорция: как определить идеальные формы тела
44. Самые красивые фигуры в мире: топ-25 женщин, которые вдохновляют
45. Пад капао (обжаренный свиной фарш с базиликом и с яйцом.
46. Самые аппетитные и быстрые запеченные роллы!
47. Какие из достопримечательностей Москвы связаны с русской историей
48. Как найти продукт для продажи на Amazon FBA: Полное руководство
49. Как найти самые продаваемые товары на Amazon в 2025 году
50. Какая самая древняя церковь в Тамбове и какова ее история