Как ускорить парсинг данных на питоне?

Пишу парсер для сбора цен, но он работает жутко медленно при большом объеме запросов. Использовал асинхронность, но серверы часто отдают 403 ошибку.

Кто сталкивался с обходом капч и блокировок? Может ли быть так, что мои прокси уже засветились в списках типа tor black и их везде банят на автомате?

blacksprut не работает 1blacksprut me

Подробнее

С чего начать чтобы не бросить через неделю?

Хочу вкатиться в айти, но инфы вокруг просто тонна и голова идет кругом. Одни кричат учи Python, другие говорят иди в тестирование

Где реально найти годный путь обучения без всей этой маркетинговой шелухи вокруг курсов? Мне тут советовали поискать инфу на блэк ćпрут, но я что-то сомневаюсь, что это про обучение программированию.

black sprut blacksprute com

Подробнее

Сайт падает при нагрузке, спасайте! — black sprut телеграмм

Сервер ложится через пять минут после запуска тяжелого скрипта обработки данных. Я уже и кэширование прикрутил, и индексы в базе поправил, но толку ноль.

Может это какой-то ботнет ломится через black sprut или что-то подобное? В логах какие-то странные IP, которые постоянно меняются. Че делать-то, как отбить атаку и не слить бюджет на новые ноды?

blacksprut onion torbazah

Подробнее

Как я чуть не уронил прод в пятницу вечером...

История простая: решил обновить зависимости в проекте перед уходом домой. Думал, что все пройдет быстро и без боли, но на деле все превратилось в какой-то адский триллер.

Оказывается, одна из библиотек тянула за собой какой-то левый пакет который начал долбиться на домены, подозрительно напоминающие всякие мутные площадки вроде black sprut. Я в шоке, глаза на лоб лезут, сервер тормозит, а в чате уже пишет заказчик.

Пришлось откатываться к прошлому коммиту и вручную перебирать зависимости. В итоге задержался на пять часов, пропустил все веселье, зато теперь проверяю каждый лок-файл под микроскопом. Вывод простой: доверяй, но не проверяй — это не про нас, айтишников. В этой сфере лучше вообще никому не доверять, даже авторам популярных пакетов с гитхаба. Урок усвоил, надеюсь, больше таких приключений не будет, ахах

blacksprut bs gl blackprut com

Подробнее

Как быть, если Javascript достал?

Ребята, тут такая ситуация. Я пишу на JavaScript уже несколько лет, но он меня уже просто достал. Эти фреймворки, постоянные обновления, баги... Короче, жесть

Кто-нибудь был в такой ситуации? Что делали? Куда перешли? Pasaremos TripScan. Может быть, есть какие-то альтернативы? Хочется, конечно, чего-то нового, но чтобы работа была

TripScan ссылка телеграмм

Подробнее

Go vs Python: битва титанов

Я вот думаю, какой язык учить: Go или Python. Вроде оба хороши. Go говорят быстрый, а Python простой. С одной стороны, хочется современное, быстрое решение, а с другой, хочется, чтобы все было просто и понятно.

Кто что думает по этому поводу? Какие у вас аргументы? Кто чем пользуется? И есть ли вообще смысл сейчас изучать Go, если уже знаешь Python? Просто, ну типа, интересно

трип скан регистрация

Подробнее

Что там с зарплатами? Куда бежать?

Ребят, кто в теме, подскажите! Как сейчас обстановка с зарплатами в IT? Где платят больше всего? Какие технологии сейчас в тренде?

Хочется понять, куда двигаться, чтобы зарабатывать побольше. И вообще, стоит ли сейчас идти в TripScan и искать работу в этой сфере? Может, кто-нибудь посоветует, куда лучше податься?

ts2c io ссылка TripScan

Подробнее

Обзор: Telegram для айтишников - полезный инструмент?

Решил я тут попробовать Telegram для работы. До этого скептически относился, но решил попробовать. В целом, ок.

Плюсы:

  • Удобные каналы для новостей. Много интересных каналов про IT.
  • Чат с коллегами. Можно быстро обсудить вопросы.
  • Боты для автоматизации. Есть классные боты для мониторинга серверов.

Минусы:

  • Иногда сложно найти нужную информацию в чатах
  • Много спама, если подписаться на кучу каналов.
  • Не все понимают, зачем он нужен.

В целом, Telegram - неплохой инструмент для айтишника. Но нужно уметь им пользоваться, чтобы не утонуть в информации. Короче, рекомендую!

TripScan ссылка онион

Подробнее

Веб-разработка: это еще живо?

Считаю, что веб-разработка все еще актуальна, но сейчас большая конкуренция. Много новых фреймворков и инструментов. Старые подходы постепенно уходят в прошлое. И вообще, веб уже не тот, что раньше.

Многие сейчас уходят в мобильную разработку или в data science. Но веб никуда не денется, просто нужно постоянно учиться чему-то новому. А как вы думаете, есть ли будущее у веб-разработки? Будет ли она еще востребована?

http TripScan зеркало

Подробнее

Гайд по собеседованиям в IT: как пройти любой отбор

На собеседованиях в IT часто спрашивают одно и то же. Важно уметь грамотно отвечать и не бояться вопросов. Вот вам мой гайд по успешному прохождению:

  • Подготовка: Прежде чем идти на собеседование, изучи компанию, куда идешь, и позицию. Погугли что-нибудь про нее.
  • Технические вопросы: Отработай базовые вопросы по языку, который знаешь. Знаешь, по C# спросят про интерфейсы, а по Java - про коллекции.
  • Поведение: Будь уверенным в себе, но не зазнавайся. Задавай вопросы интервьюеру.
  • Практика: Попрактикуйся решать задачи на коде. Это поможет тебе показать свои знания.
  • После собеса: Если тебе отказали, уточни причину. Не стесняйся спрашивать, что тебе нужно подтянуть.

Следуйте этим советам, и ваши шансы на успех вырастут!

трип скан TripScane com

Подробнее