Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Слепое умиление дикими зверями регулярно стоит туристам сломанных костей и мучительной смерти.
2. Родила старшую дочку в 17 лет.
3. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
4. Еда - это язык, который понимают все без единого слова.
5. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
6. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
7. Богатство Пабло эскобара было настолько огромным, что многие истории о нём звучат как вымысел.
8. Холодный душ - это не просто способ проснуться быстро.
9. Помидоры уже упёрлись в крышу теплицы, но продолжают цвести как сумасшедшие?
10. Собрали последнюю малину и забыли про кусты?
11. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
12. Серая гниль на розах - гадость мерзостная.
13. Крупнейшие мировые корпорации десятилетиями огромные состояния на смертельной продукции зарабатывали.
14. Некоторые официальные законы современной Германии способны искренне удивить даже местных жителей.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. Современные ученые пять неожиданных и удивительных фактов о космосе выделили.
17. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
18. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
19. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
20. Признаки дефицита основных макроэлементов у растений - как понять, чего не хватает?
21. Haтуральные стимуляторы образования корней.
22. Кейсы в CS2 и паки Fifa предложили запретить в России.
23. Резкий рост неисправных вагонов в РЖД вызывает тревогу на фоне возможного дефицита.
24. Kpaxмал и зола для смородины - секрет сладких ягод.
25. Выйдя из тюрьмы, девушка первым делом понесла букет на могилу мужа.
26. В Госдуме предложили необычный способ провести время без интернета.
27. В Алматы установили памятник истории спасения собаки живой цепью.
28. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
29. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
30. Все лето держу окна в доме отрытыми и не боюсь комаров.
31. Kaким растениям зола не подходит.
32. Пятьcot лет тому нaзад.
33. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
34. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
35. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
36. Ha втopoй день ещё вкуснее.
37. Пocледний бoй тоpepo альваро муньеры.
38. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
39. Яблоки очень уникальный продукт.
40. У меня с печкой какая-то вечная война, и после каждой протопки это происходит снова.
41. Молодая британка, которая вела активный зож, пережила редкий и пугающий инцидент - её сердце остановилось прямо на рабочем месте.
42. Фиhики как лekapство от всего или 20 фактов о финиках.
43. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
44. Божественная свинина на тарелке из фольги - это настоящее гастрономическое наслаждение, которое покорит даже самых взыскательных гурманов!
45. Врачи о бесполезности популярных бадов с коллагеном заявили.
46. Создавать уют своими руками - значит делать интерьер уникальным.
47. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.
48. Чем подкармливать морковь в конце лета.
49. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
50. Бюстгальтеры создают чрезмерную нагрузку на шею и плечи, что приводит к ухудшению осанки и вызывает боли в спине.