В этой заметке вы найдете мои наброски поискового робота, то есть набор скриптов, предназначенный для обхода сайтов… в каких-то целях. Это может быть индексация страниц поисковой системой, поиск какой-то информации, которой в этих самых поисковиках почему-то нет, попытка создать резервную копию World Wide Web и прочее, для чего пишутся пауки.
Вот решил написать небольшой пост о протоколе IRC. Во-первых, что-то я давно не пополнял свою коллекцию описаний сетевых протоколов, а во-вторых это в тему про ботнеты, о которых недавно шла речь.
Не зря я опубликовал черновик моей заметки про пиринговые сети. Комментарии читателей оказались очень полезными. Именно они вдохновили меня на дальнейшую работу в этом направлении. Что из этого вышло — смотрите под катом.
Признаюсь, пиринговые сети и ботнеты интересуют меня уже давно. Когда-то долгие часы я проводил с ручкой и бумажкой, рисуя различные схемы p2p-сетей… Вы правы, я — больной человек.
Если вы пробовали когда-нибудь написать парсер выдачи Google, то наверняка знаете, что в нем предусмотрен ряд мер, направленных против такого использования поисковой машины. В этой заметке я расскажу о нескольких приемах, позволяющих эти меры обойти.
В этом посте я хотел бы поделиться своим опытом создания собственного Twitter-бота на языке программирования Perl. Обычно для создания Twitter-бота предлагается использовать различные сторонние веб-сервисы, но такой подход имеет свои недостатки.