Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
2. Правительства пугающую правду о запретных для посещения вершинах планеты скрывают.
3. С мужем вместе уже 10 лет.
4. Все выбрасывают арбузные корки, а я замариновала одну банку.
5. Путин призвал готовиться к возвращению военнослужащих после окончания сво.
6. Раньше резала весь перец кубиками, честно заполняла им десять пакетов, а зимой вдруг хотелось нафаршировать перчики.
7. Выкопать свёклу - половина дела.
8. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
9. Насколько огромны самые большие объекты в природе и космосе.
10. "Обожаю" родню, кто бы знал ….
11. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
12. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
13. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
14. Хроническая бедность способна значительно ускорять естественное старение организма.
15. Моего кота зовут заяц.
16. В Египте экстренно отменили все популярные морские экскурсии.
17. Российские власти введение дополнительной платы за VPN отложили.
18. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
19. Без иронии, вначале попробуйте, это очень вкусный напиток.
20. Гигантский астероид скоро рядом с землёй пройдёт.
21. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
22. Когда смотрю квартиры, чтобы снять себе жильё, делаю акцент на ремонте.
23. Тридцать два года работы сделали Рассела о'грэди легендой Northmead.
24. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
25. Cвeжий укроп всегда под рукoй.
26. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
27. "Tы понимаешь, что тебя уже нет?
28. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
29. Обычный лавровый лист заставит комнатные растения пышно цвести.
30. Рецепт меренгового рулета.
31. Красотка Джессика альба после развода продолжает жить свою лучшую жизнь!
32. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
33. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
34. Их форма, цвет и даже расположение никогда не бывают случайными.
35. Убийцы paccaды. Что нельзя добавлять в грунт?
36. Натали вспомнила мужа: "третья новогодняя ночь без него.
37. Дeвочки, прошу вaшего совета.
38. Фильм, который меняет стереотипное представление об атомной энергетике.
39. Мы удобряeм сливу правильно!
40. Один из авторов продемонстрировал удивительно простой, но точный способ взлома кодового замка.
41. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
42. Эти парковочные роботы, работающие на базе искусственного интеллекта, незаметно меняют правила игры.
43. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
44. Мы не дадим слизням перезимовать!
45. Чем обработать теплицу осенью от болезней и вредителей?
46. Мусорные баки никогда не казались арт - объектами, пока этот парень и девушка не взяли их в свои руки.
47. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.
48. На заводе Tesla произошёл настоящий хоррор: американский рабочий заявляет, что его сбил с ног искусственный робот с огромной рукой.
49. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
50. Научные исследования подтверждают: мужчины чаще находят женщин более привлекательными, когда те используют умеренное количество косметики.