Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. После уборки чеснока всегда остаются повреждённые головки.
2. Дочке десять лет, смотрится даже помладше из-за маленького роста.
3. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
4. Депутат Горелкин слухи о блокировке Steam в России развеял.
5. Будущее вселенной через миллионы и миллиарды лет таит захватывающие тайны.
6. Уже нет сил постоянно ругаться со свекровью.
7. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
8. Переехали за город, как давно мечтали.
9. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
10. Некоторые реальные факты о странах мира абсолютно невозможными кажутся.
11. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
12. Формировка огурцов. 1. начинаю с нижней части.
13. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
14. План для женщин, которые одиноки и ищут себе мужчину!
15. В России временно разрешили производство бензина и дизеля более низких экологических классов.
16. Древний Египет - это не только золото и пирамиды, но и пугающая изнанка.
17. Здоровый быт начинается с внимания к предметам, которые вас окружают.
18. Подкормки для петуний: как получить море цветов на балконе и в клумбе.
19. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
20. Клубнику от долгоносика спасаю ещё до цветения.
21. С 1 сентября в России планируют обновить перечень медицинских специальностей.
22. Опасный хантавирус за пределы лайнера вышел.
23. Я не люблю формулировку "мы Встречаемся".
24. Что любит перец после высадки в теплицу - секреты ухода для богатого урожая!
25. Всегда в путешествиях.
26. Когда сажать бархатцы и какие сорта лучше выбрать.
27. Все лето держу окна в доме отрытыми и не боюсь комаров.
28. Редкий секс с повышенным риском смертности и болезней сердца связан.
29. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
30. Обычный школьник сумел привлечь более 2 млн долларов инвестиций для своего ИИ - стартапа.
31. Kaждый гoд при посадке кaртофеля я oбязательно добавляю в каждую лунку немного гороха или бобов, и мой урожай всегда радует.
32. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
33. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
34. Доктор Джон льюин, 93-летний специалист по антивозрастной медицине, и его жена Жанин Лю, 37 лет, стали родителями.
35. Топ - 5 самых неприхотливых сортов перца.
36. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
37. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
38. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
39. Регулярный секс признан учеными как важнейший биохак для поддержания здоровья, ставя его в один ряд с фитнесом и йогой.
40. Учёные выяснили, что зимний секс может реально укрепить здоровье и защитить от болезней.
41. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
42. Топ - 5 идей для уюта на даче осенью.
43. Острый соус, который можно замораживать.
44. Учёные Ozempic без побочных эффектов создали.
45. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
46. Доводчик для откатной двери - это устройство, которое автоматически закрывает дверь после открытия, обеспечивая плавное и безопасное закрытие.
47. Йосинори осуми - японский биолог, лауреат нобелевской премии по физиологии или медицине 2016 года.
48. И другой более масштабный вариант есть.
49. Топ-9 инструментов для веб-скраппинга в 2025 году: что нового и что лучше
50. Какие интересные факты о московских улицах и их названиях