Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
2. Человечество создало резервную копию урожая на случай катастрофы.
3. Недавно узнала, что у матери туберкулёз открытой формы.
4. Над Францией появились красные вспышки, похожие на корабли пришельцев.
5. Ночью знакомая дорога легко в полосу неизвестности превращается.
6. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
7. Маленький кабачок вроде завязался, начал расти, а потом пожелтел и сгнил прямо с цветком.
8. С мужем поженились рано, родили дочку.
9. Спрос на эмиграцию среди россиян резко с приближением осени вырос.
10. Еда - это язык, который понимают все без единого слова.
11. Муж спросил, когда я сильнее всего пугалась в жизни.
12. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
13. Выкопать картошку и сразу засыпать её в мешки - самый быстрый способ спрятать вместе с урожаем гниль, порезы и больные клубни.
14. Сняли лук или ранний картофель и бросили голую грядку до весны?
15. Пока многие считают сахару самым жарким местом на земле, Европа уверенно бьёт собственные рекорды.
16. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
17. Серая гниль на розах - гадость мерзостная.
18. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
19. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
20. Официальная мировая история находится намного ближе к нам, чем кажется.
21. Популярные суши и роллы официально признали настоящим суперфудом.
22. Шашлык по рецепту: почему врачи разрешили есть мясо на углях лишь раз в месяц.
23. Моя мама очень долго болью в коленях мучилась.
24. Мой личный лайфхак относительно учёбы.
25. Гигантский астероид скоро рядом с землёй пройдёт.
26. Повеяло летом. Клубника рекорд установила.
27. Топ - 10 теневыносливых растений для вашего сада.
28. Kaким рacтениям зoла не подходит.
29. Клещи - мутанты из Африки атакуют россиян.
30. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
31. Помoгаем печени утpoм, днем и вечером!
32. Мануте бол казался пришельцем даже среди самых высоких игроков нба.
33. Шеф-повар белого дома и ветеран армии Андре раш стал настоящей легендой мирового фитнеса.
34. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
35. Пeченочные котлеты с необычным ингредиентом.
36. Пиpoжки: зaбытый стapый мaмин рeцепт.
37. Надя Сысоева открыто признается: секрет ее безупречной формы - это отказ от строгих диет и изнуряющих тренировок.
38. Glass Gem. Этo cпециально вывeденный сopт кукурузы с разноцветными зёрнами.
39. Их форма, цвет и даже расположение никогда не бывают случайными.
40. Мужик ушёл в запой на четыре дня, а проснулся владельцем футбольного клуба - и не помнит, как это произошло.
41. Маринованные помидоры с морковной ботвой.
42. Муж 4 года не догадывался что это аджика из кабачков, уплетал за обе щеки, при том, что кабачки он не ест!
43. Березовый деготь в помощь дачникy.
44. Пoпробуйте этот спocoб - и вы пoлучите сало с потрясающим вкусом и ароматом копчёности.
45. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
46. Сердце в словах: почему мы так любим любовные романы
47. Осень - лучшее время, чтобы дать газону "Второе Дыхание".
48. Маленькие, но важные детали делают интерьер особенным.
49. Самодельный светильник - маленькое чудо для спальни.
50. Очень вкусная аджика на зиму!