Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. На земле существуют места, которые выглядят как ошибка реальности.
2. В разных странах существуют негласные запреты, которые туристам лучше знать заранее.
3. Москвичка девять месяцев не подозревала, что носит ребёнка.
4. Я до сих пор не понимаю, как совсем маленькие дети могут арендовать самокаты.
5. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
6. Российские пользователи рискуют остаться без реального 5G из-за несовместимости гаджетов.
7. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
8. Все выбрасывают арбузные корки, а я замариновала одну банку.
9. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
10. На столе опять собралась миска яблок, которые никто не хотел есть.
11. У меня есть знакомый из юности, даже другом не назвать, живёт в Швеции, общаемся только на праздники.
12. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
13. Клубника отплодоносила, но бросать её до весны нельзя.
14. Пустая грядка в августе не обязана два месяца выращивать сорняки.
15. Муж спросил, когда я сильнее всего пугалась в жизни.
16. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
17. Мне 37, молодая и здоровая была, но за год постарела.
18. Думаю, моя мама не человек.
19. Необычные проявления аллергии часто кажутся выдумкой, но они реально портят жизнь многим людям.
20. Вот проверенный рецепт - всегда получаются вкусные, очень, очень вкусные огурчики.
21. Крупные авиакомпании тщательно от пассажиров многие шокирующие секреты скрывают.
22. Некоторые населенные пункты на земле постоянно живут в условиях экстремального мороза.
23. Сезон клубники в самом разгаре!
24. Формировка огурцов. 1. начинаю с нижней части.
25. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
26. История доказывает, что многие теории заговора со временем становятся фактами.
27. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
28. Девушка случайно Airpods вместо таблетки перед сном проглотила.
29. Российские медики о резком росте опасных кишечных инфекций предупредили.
30. 10 худших цветов для дачи.
31. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
32. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
33. Ваши вопросы: пожелтела совсем туя после зимы.
34. Три народных средства для крепкой рассады томатов.
35. В Госдуме предложили необычный способ провести время без интернета.
36. Трещины на тротуарах превращаются в целые миры художника.
37. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
38. Она растёт в каждом саду и называется ведьмина трава.
39. 1 таблетка под любой домашний цветок и даже чахлый оживет и пышно зацветет!
40. Пиpoжки: зaбытый стapый мaмин рeцепт.
41. Coветы для тoго, чтoбы получить крупную малину.
42. Про выращивание укропа.
43. Яблоки очень уникальный продукт.
44. BMW предпринимает шаги, чтобы владельцы не могли самостоятельно ремонтировать свои автомобили.
45. Рецепт плюшек: Ингредиенты для опары:
46. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
47. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
48. Семейная жизнь снижает уровень тестостерона у мужчин, показало исследование американских учёных.
49. Россиян ожидает резкое повышение тарифов на электроэнергию.
50. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.