Мини заметки — выпуск 1 | Записки программиста

Мини заметки — выпуск 1

16 сентября 2010

В последнее время у меня накопилось множество мелкий наработок. В основном это скрипты и фильтры для WordPress. Какую-нибудь хитрую bash-команду я также отношу к наработкам.

Для написания полноценного поста одной такой наработки недостаточно. В то же время хранить их в текстовых файлах неудобно. Попробуй отыщи тот самый скриптик, который писался пол года назад и хранится то ли дома, то ли на работе, то ли вообще на флешке или GMail. Потому я решил собирать свои мелкие наработки в этом блоге, чтобы всегда точно знать, где их можно найти. Начнем?

1. Замедляем поисковых роботов

Как я писал в одной из своих предыдущих заметок, поисковые роботы Рамблера могут создать большую нагрузку на ваши сайты. В своих блогах на WordPress я решаю эту проблему с помощью следующего кода:

add_action("wp_head", "anti_rambler");

function anti_rambler() {
if(strpos($_SERVER["USER_AGENT"], "StackRambler"))
sleep(10);
}

Просто добавляем его в файл functions.php вашей темы и все!

2. Качаем видео с YouTube и вырезаем из него музыку

Существует замечательная утилита для скачивания видео с YouTube. Во FreeBSD ее можно установить из портов:

portmaster -dw /usr/ports/distfiles/youtube_dl

Пользоваться ею очень просто:

youtube-dl 'http://www.youtube.com/watch?v=rvYZRskNV3w' -o 1.flv
mplayer 1.flv

Теперь, допустим, мы хотим сохранить звук из скаченного файла в mp3. Сначала смотрим информацию о файле:

ffmpeg -i 1.flv
Input #0, flv, from '1.flv':
Metadata:
duration : 134
starttime : 0
totalduration : 134
width : 480
height : 360
videodatarate : 555
audiodatarate : 58
totaldatarate : 619
framerate : 25
bytelength : 10397942
canseekontime : true
sourcedata : B4A7D6C43HH1284026309763246
purl :
pmsg :
Duration: 00:02:13.84, start: 0.000000, bitrate: 627 kb/s
Stream #0.0: Video: h264, yuv420p, 480x360 [PAR 1:1 DAR 4:3], ...
Stream #0.1: Audio: aac, 44100 Hz, stereo, s16, 59 kb/s
At least one output file must be specified

Если звук хранился в mp3, его можно просто сохранить в отдельном файле:

ffmpeg -i 1.flv -acodec copy 1.mp3

Однако в нашем случае использовался кодек aac, потому звук придется перекодировать:

ffmpeg -i 1.flv -acodec libmp3lame -ab 131072 sparta-techno-remix.mp3

Обратите внимание, что битрейт задается не в Кбит/сек, а в бит/сек.

Видео можно перекодировать в .avi:

ffmpeg -i 1.flv -acodec copy -vcodec mpeg4 1.avi

И напоследок — мой любимый прием с ffmpeg. Делаем звонок на мобильный из mp3:

ffmpeg -ss 00:00:35.10 -t 30 -i Morcheeba-Otherwise.mp3 \
-acodec copy call.mp3

Откуда и сколько резать можно выяснить с помощью mplayer или вашего любимой программы для проигрывания mp3.

Дополнение: См также мой скрипт для просмотра видео c YouTube без Flash.

3. Элементарный пример использования awk

Мне не часто приходится использовать эту утилиту, но иногда она бывает очень полезна. Чтобы сэкономить себе немного времени в следующий раз, когда она мне понадобится, я решил выложить простейший пример ее использования:

cat file.txt | awk 'BEGIN{FS="\t"}{print $1}'

Если file.txt содержит строки с некоторыми данными, разделенными знаками табуляции, данный пример выведет первый столбец данных.

Дополнение: Как совершенно верно отписал в комментах СетевойГибитобой, команда cut справится не хуже:

cut -d : -f 1,7 /etc/passwd # вывести логин:шелл

4. Снимаем скринкаст во FreeBSD

С помощью ffmpeg можно захватывать видео с экрана:

ffmpeg -f x11grab -s 1152x864 -r 20 -b 2000k -i :0.0 nodump/out.mpg

Захватывать можно не весь экран, а только его часть. Размер захватываемой области задаются с помощью ключа -s, а координаты левого верхнего угла можно задать ключом -i

-i :0,0+100,50

В приведенном примере 100 — это смещение по X, 50 — по Y. Но мне кажется, что удобнее сначала снять видео со всего экрана, а потом обрезать лишнее. Также можно прикрепить к видео комментарии или музыку:

ffmpeg -i video.mpg -vcodec copy -i audio.mp3 \
-acodec copy -shortest output.avi

Чтобы снимать скринкасты с помощью ffmpeg, необходимо убедится, что программа была собрана с опцией VHOOK. Порт находится в /usr/ports/multimedia/ffmpeg — переходим и говорим «make config».

Также скринкасты можно снимать с помощью recordmydesktop (/usr/ports/multimedia/recordmydesktop/). Утилита может писать видео только в формате .ogv. Перекодировать его можно с помощью того же ffmpeg или mencoder:

mencoder out.ogv -ovc xvid -oac mp3lame -xvidencopts pass=1 -o out.avi

Предварительно следует убедиться, что mencoder был собран с опцией THEORA.

Да, кстати, для снятия скриншотов я пользуюсь scrot — /usr/ports/graphics/scrot.

5. Постинг в ЖЖ на Perl

Есть замечательный модуль для Perl под названием Net::LiveJournal. В портах его нет, но можно поставить с помощью cpan. Как несложно догадаться, предназначен он для работы с ЖЖ.

#!/usr/bin/perl

use strict;
use Net::LiveJournal;

# ..........

my $lj = Net::LiveJournal->new(
user => $ljuser,
password => $ljpass);

my $entry = Net::LiveJournal::Entry->new(
subject => $title,
body => $data);

$lj->post($entry) or die $lj->errstr;

См также мои посты о создании ботов на Perl для WordPress и Twitter.

6. Памятка по .htaccess

Если посты с вашего блога коммуниздит какой-то говносайт, можно ограничить доступ к блогу по IP, маске сети или UserAgent:

SetEnvIfNoCase User-Agent "^SimplePie" ddos

Order Allow,Deny
Allow from all
Deny from env=ddos # баним по UserAgent
Deny from 192.168.0.1 # баним по IP
Deny from 192.168.0. # баним всю сеть 192.168.0/24

Доступ к некоторым разделам сайта (админкам, веб-шеллам и тд) желательно закрывать с помощью пароля:

AuthUserFile /full/path/to/.htpasswd
AuthType Basic
AuthName "Password Required"
Require valid-user

Для генерации файла .htpasswd используется одноименная утилита:

htpasswd -c .htpasswd newuser

Перенаправление с www.site.ru на site.ru:

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{HTTP_HOST} ^www\.site\.ru$ [NC]
RewriteRule (.*)$ http://site.ru/$1 [R=301,L]
</IfModule>

Перенаправление с «/index.php» на «/»:

RewriteCond %{THE_REQUEST} ^.*/index\.php
RewriteRule ^(.*)index\.php$ http://site.ru/$1 [R=301,L]

Задаем кодировку страниц:

CharsetDisable on
CharsetDefault utf-8
CharsetSourceEnc utf-8
AddDefaultCharset utf-8

Если сервер вырезает из заголовков страниц

и пишет туда что-то вроде «<!— Meta http equivalent was here …», нужно прописать в .htaccess следующее:

CharsetDisable On
AddHandler default-handler html

7. Крадем музыку с интернет-радио

Часто по радио можно услышать редкие треки, которые не найти в сети. Сохранить весь эфир радиостанции под UNIX можно с помощью простого wget:

wget http://radio.bigbeats.ru:9054/ -O bigbeats-2010-XX-XX.mp3

Тут, правда, есть одна проблема — как потом нарезать mp3 файл на треки? В портах я нашел утилиту mp3split (/usr/ports/audio/mp3splt). Она нарезает файл на треки, находя паузы между песнями в исходном файле. К сожалению, в случае с моей любимой радиостанцией такой прием не срабатывает — переход между треками очень плавный, без пауз. Способа автоматизировать процесс мне пока неизвестно, так что делать все приходится руками (см пункт 2).

Кстати, для прослушивания интернет-радио я использую утилиту mpg123. Вот список неплохих радиостанций:

http://radio.bigbeats.ru:9054/
http://www.dnbradio.com/hi.m3u
http://www.bassdrive.com/v2/streams/BassDrive.pls
http://station20.ru:8000/station-128.m3u
http://radio3.promodeejay.net:8000/300kmh-192
http://16bit.fm:9500/listen.pls

А вот кусок моего .bashrc для быстрого включения музыки:

alias eradio="mpg123 -@ `head -n 1 ~/txt/e-radio.txt`"

Разумеется, всю музыку я покупаю только в магазинах на CD, ниоткуда не скачиваю и никаких радиостанций не граблю. Надеюсь, вы поняли что данный пункт — просто шутка. Ха-ха.

8. Генерируем надписи в ascii art

В портах есть интересная утилита — figlet (/usr/ports/misc/figlet). С ее помощью можно генерировать надписи в ascii art:

$ figlet -f small EAX.ME
___ _ __ __ __ __ ___
| __| /_\ \ \/ / | \/ | __|
| _| / _ \ > < _| |\/| | _|
|___/_/ \_\/_/\_(_)_| |_|___|

Полный список поддерживаемых «шрифтов» можно получить, выполнив команду

ls /usr/local/share/figlet

Ну и раз речь зашла об ascii art, грех будет не упомянуть про программу cowsay (/usr/ports/games/cowsay/). Пример ее работы:

$ cowsay -f dragon Subscribe to my RSS feed\!
___________________________
< Subscribe to my RSS feed! >
---------------------------
\ / \ //\
\ |\___/| / \// \\
/0 0 \__ / // | \ \
/ / \/_/ // | \ \
@_^_@'/ \/_ // | \ \
//_^_/ \/_ // | \ \
( //) | \/// | \ \
( / /) _|_ / ) // | \ _\
( // /) '/,_ _ _/ ( ; -. | _ _\.-~ .-~~~^-.
(( / / )) ,-{ _ `-.|.-~-. .~ `.
(( // / )) '/\ / ~-. _ .-~ .-~^-. \
(( /// )) `. { } / \ \
(( / )) .----~-.\ \-' .~ \ `. \^-.
///.----..> \ _ -~ `. ^-`
///-._ _ _ _ _ _ _}^ - - - - ~ ~-- ,.
/.-~

9. Создаем свой словарь для Firefox/Thunderbird/SeaMonkey

По просьбам читателей блога, я отыскал на диске памятку по созданию собственного словаря для программ от Mozilla. Привожу ее как есть — думаю, вы разберетесь:

Страница со словарями:
https://addons.mozilla.org/ru/firefox/browse/type:3

Ссылка на кнопке "Добавить в Firefox":
https://addons.mozilla.org/ru/firefox/downloads/latest/
3497/addon-3497-latest.xpi?src=addondetail

Если убрать ?src=..., в диалоге добавления плагина firefox покажет нам, откуда лить плагин:
http://releases.mozilla.org/pub/mozilla.org/addons/
3497/united_states_english_dictionary-4.0.0-fx+tb+sm.xpi

Тянем wget'ом, аналогично льем русский словарь. Файлы .xpi являются обычными .zip архивами, так что распаковываем их утилитой unzip, затем

$ mkdir en-ru
$ mv en/install.rdf en-ru
$ mv en/install.js en-ru
$ cat en/dictionaries/en-US.dic ru/dictionaries/ru.dic > \
en-ru/dictionaries/en-ru.dic
$ cat en/dictionaries/en-US.aff ru/dictionaries/ru.aff > \
en-ru/dictionaries/en-ru.aff
$ cd en-ru
$ zip -r en-ru.xpi ./

Открываем в браузере URL file:///, находим полученный .xpi плагин и устанавливаем.

Полученный плагин можно также использовать в ThunderBird и SeaMonkey.

Я смутно припоминаю, что там был еще какой-то нюанс с повторяющимися строками. Например, если файлы .aff или .dic начинаются с одинаковых строк, значит после их конкатенации «заголовок» должен быть только один.

10. Заключение

Думаю, для первого выпуска достаточно. Ну как вам мои заметки? Я лично доволен — навел наконец порядок в каталоге ~/txt/.

Дополнение: Мини заметки — выпуск 2

Метки: Всячина.

Вы можете прислать свой комментарий мне на почту, или воспользоваться комментариями в Telegram-группе.

Записки программиста