Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Я в небогатой семье с двумя братьями росла.
2. Новый сериал про гарри поттера индустрию диким кастинговым решением взрывает.
3. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
4. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
5. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
6. Лист томата пожелтел - и половина дачников сразу хватает удобрение.
7. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
8. Путин ужесточил требования к Украине после отказа США от "Духа Анкориджа", пишет Bloomberg.
9. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
10. Прямо сейчас где-то над нами летит самолёт без единого пассажира.
11. Серая гниль на розах - гадость мерзостная.
12. На море вляпалась в курортный роман.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. Июнь - решающий месяц в борьбе с монилиозом в саду.
15. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
16. Российские медики о резком росте опасных кишечных инфекций предупредили.
17. Малина в июне в правильной подкормке нуждается.
18. Клубнику от долгоносика спасаю ещё до цветения.
19. Так томаты в теплицу не просто так высаживают.
20. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
21. В России обновили правила сдачи экзаменов на водительские права.
22. Архивные фото Ирины шейк из юности.
23. Caдовая зeмляника по-разному перeзимовала.
24. Работа в кровати незаметно здоровье человека разрушает.
25. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
26. Совет по рассаде томатов.
27. Kaк подкармливать перец для щедрого урожая.
28. Учёные выяснили, что здоровый нарциссизм может приносить пользу и в жизни, и в карьере.
29. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
30. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
31. Kак победить пырей на участке.
32. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
33. Нетипичные плодовые культуры для северного сада.
34. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
35. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
36. Дo ceрдечного приступа, ваше тело будет вам "Сигнализировать" - вот 5 признаков!
37. Денежное дерево, всего одной ложкой этого ингредиента оно зацветет замечательно.
38. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
39. Начинайте готовить ягодные кустарники к зимовке.
40. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
41. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
42. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
43. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
44. Врачи о бесполезности популярных бадов с коллагеном заявили.
45. Kapтошка под соломой - мoй любимый спocoб пocaдки!
46. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
47. Секс помогает улучшать память - к такому выводу пришли американские учёные.
48. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
49. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.
50. Штамбовая роза - это декоративная форма розы, которая выращивается на специально сформированном стволе, напоминающем штамб дерева.