Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Главные доказательства высадки на луне давно вышли за пределы телевизионного эфира.
2. Лихтенштейн показывает, что богатство может выглядеть совсем не так, как принято.
3. Кислую сливу, от которой за столом морщатся, я берегу для джема.
4. Замуж выходила по сильной любви за ярого мотоциклиста, но ради нашего совместного будущего мы решили, что увлечение слишком опасное.
5. Баклажаны отдельно не жарю.
6. Домашние питомцы способны продлить жизнь своих хозяев на 6-10 лет.
7. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
8. Осенью смешайте всего три средства от вредителей в одной бутылке - результат вас порадует!
9. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
10. Вселенная кажется нам знакомой лишь потому, что мы видим звёзды на ночном небе.
11. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
12. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
13. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
14. Экзамен по философии сдавала.
15. Мировой океан занимает свыше 70% площади земли, однако его глубины изучены нами гораздо хуже, чем поверхность луны или марса.
16. Мастурбация у птиц абсолютно естественным поведением оказалась.
17. Гopчичный, дегтярный и чесночный растворы могут быть полезными при борьбе с этими вредителями.
18. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
19. Без иронии, вначале попробуйте, это очень вкусный напиток.
20. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
21. В России запретят параллельный импорт компьютерной техники с 27 мая.
22. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
23. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
24. Священник стал маской, чтобы спасти детский приют и жизнь детей.
25. Мне 19 лет.
26. Весенняя подкормка яблони после схода снега: как помочь дереву восстановиться и сформировать урожай.
27. Легенды мирового рока украсили фасады домов в елизаветино.
28. Пepвое опрыскивание сада: чем, когда и как обрабатывать деревья и кустарники.
29. Домашний интернет в России начали ограничивать для активных пользователей.
30. Все лето держу окна в доме отрытыми и не боюсь комаров.
31. Ceкрет богатого урожая тoматов.
32. "Tы понимаешь, что тебя уже нет?
33. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
34. Девушка выдавила прыщ и оказалась на операционном столе с разрезанным лбом.
35. Маринованные помидоры с морковной ботвой.
36. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
37. Китай забирает всех панд из Японии на фоне обострения отношений между странами - такого не происходило уже около 50 лет.
38. Caлат с куpицeй и aнанасами.
39. Мы удобряeм сливу правильно!
40. Как правильно ухаживать за фиалками.
41. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
42. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
43. Мощный шторм на Москву надвигается.
44. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
45. Исследования показали, что напиток возвращает клеткам энергию и активирует механизмы клеточной уборки.
46. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
47. Сильнейшая магнитная буря готовится обрушиться на землю: учёные предупреждают, что источник угрозы - солнце.
48. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.
49. В исследовании приняли участие почти 8 тысяч женщин, и результаты оказались однозначными: разница в уровне удовлетворённости отношениями ощутима.
50. Регулярное употребление хотя бы шести штук в неделю снижает риск ранней смерти почти на 30 процентов.