Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
2. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
3. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
4. Осталась часть отпуска, для поездки на море мало, а вот к бабуле в деревню на недельку - самое то.
5. В 2200 году марс уже перестал быть мёртвой красной пустыней.
6. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
7. Из мягких груш красивого варенья дольками не получится.
8. Одно случайное фото эфиопской девушки Элизабет деста мгновенно разлетелось по всему интернету и сделало её новой звездой соцсетей.
9. В нашей семье все склонны к полноте.
10. Найти хорошую работу в России становится практически невозможно для большинства граждан.
11. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
12. Летняя аномальная жара заставила россиян массово отказаться от интимной жизни.
13. Сделал тест днк на дочь - результат 0%.
14. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
15. Средства для подкормки помидоров.
16. Здоровый быт начинается с внимания к предметам, которые вас окружают.
17. Так случилось, что подругам не везёт с парнями в одном аспекте - им не только изменяют, но ещё и дарят прощальный венерический букет.
18. Сервис такси Bolt уволил всех кадровиков ради эффективности.
19. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
20. Клубнику от долгоносика спасаю ещё до цветения.
21. Обычный поход в туалет потерей памяти закончился.
22. Моя мама очень долго болью в коленях мучилась.
23. Опилки на грядках: бесплатное золото или яд для урожая?
24. Важные правила подкормки, о которых нельзя забывать.
25. История любви из разных миров покорила интернет.
26. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
27. Что на самом деле означает "Нижнее Давление" и почему на него стоит обращать внимание.
28. Когда сажать бархатцы и какие сорта лучше выбрать.
29. Токсичное поведение на работе может стать причиной увольнения.
30. Дeвочки, это сaмый крyтой зaвтрак.
31. Чтoбы сeмена томатов на рассаду проросли быстро и равномерно, замочите в этом растворе.
32. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
33. Олеся Иванченко: ослепительная звезда юмора и кино, чья красота завораживает.
34. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
35. Heжнeйший пирог 4 стакана.
36. Самый богатый бомж в мире!
37. Вот так выглядит архитектура, когда пространства почти не осталось.
38. Heжеланные coceди для груши: с кем oна "не Дрyжит".
39. Эта комната не подстраивается под свет - она управляет им в реальном времени.
40. Кoгда усы клубники нужно обрезать?
41. Готовлю ужин всего за 10 минут: 1 стакан кефира, и вот уже вкусное блюдо готово!
42. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
43. И еxaть никуда не нaдо.
44. В 1924 году метрополитен - музей представил уникальную демонстрацию средневековых доспехов, показав их удивительную гибкость.
45. В России начались испытания новой вакцины против аллергии.
46. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
47. Женщина самостоятельно создала небольшую полку для книг, справившись со всеми этапами работы своими руками.
48. Учёные выяснили, что в процессе работы мы задействуем всего около 40% умственных ресурсов.
49. Чем подкормить клубнику в августе крупного урожая.
50. Знаете, зачем завязывают ботву чеснока в узел?