Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Психологи связь депрессии с состоянием близкого окружения изучили.
2. Российские автомобили не подходят для работы в такси, заявил представитель общественного совета по развитию такси.
3. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
4. Семейный квест: как победить грипп?
5. Дизайнеры придумали вещи, которые выглядят странно, но решают реальные проблемы.
6. Геймер потратил сотни часов, чтобы построить город из "Атаки Титанов".
7. Один взлом может превратить умный пояс верности в настоящий замок.
8. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
9. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
10. Законы астрофизики вынесли вселенной беспощадный смертный приговор на триллионы лет вперед.
11. У нас с мужем был маленький бизнес и собака ещё до рождения ребёнка.
12. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
13. Долго планировали с мужем переезд, нашли жилье.
14. Автоваз крупнейшее обновление Lada Niva Legend за всю историю представил.
15. Огурцы стали плодоносить гораздо лучше, когда я научилась их прищипывать.
16. В нашей семье все склонны к полноте.
17. Маринованные огурцы с красной смородиной без уксуса.
18. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
19. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
20. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
21. За долгое время наш мир сталкивался с невероятно странными событиями.
22. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
23. Эти города не просто "Потерялись" - некоторые из них исчезли всего за одну ночь.
24. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
25. Клубнику от долгоносика спасаю ещё до цветения.
26. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
27. Северная Корея правила ядерного ответа страны изменила.
28. После того как рухнула советская власть, что сделали?
29. Сamые удачные сорта моркови на 2026 год.
30. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
31. В Госдуме предложили необычный способ провести время без интернета.
32. В России обсуждают усиление контроля переписок с помощью ИИ.
33. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
34. Легенды мирового рока украсили фасады домов в елизаветино.
35. Почeму чеснoк при хранении усыхает.
36. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
37. Художник цифрового коллажа Угур галленкуш создаёт выразительные работы о глобальной несправедливости.
38. Пocледний бoй тоpepo альваро муньеры.
39. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
40. Ha 2-й день ещё вкycнее.
41. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
42. Это закуска на любом застолье на ура уходит!
43. Зачем нам медный и железный купорос.
44. Разбираемся как бороться с червяками на малине.
45. Маленький шкафчик своими руками - задача непростая, но дамочка справилась блестяще.
46. Западные топ-менеджеры в шоке после поездок в Китай - технологический разрыв оказался куда глубже, чем они предполагали.
47. Пурпурная малина - настоящая Находка для вашего сада!
48. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.
49. Создавать своими руками - значит делать вещи особенными.
50. Выбор камней для парилки - важный этап, так как от них зависит качество пара и комфорт во время парения.