Приложение C. Маленький учебник по Sed и Awk

C.1. Sed

Sed -- это неинтерактивный строчный редактор. Он принимает текст либо с устройства stdin, либо из текстового файла, выполняет некоторые операции над строками и затем выводит результат на устройство stdout или в файл. Как правило, в сценариях, sed используется в конвейерной обработке данных, совместно с другими командами и утилитами.

Sed определяет, по заданному адресному пространству, над какими строками следует выполнить операции. [66] Адресное пространство строк задается либо их порядковыми номерами, либо шаблоном. Например, команда 3d заставит sed удалить третью строку, а команда /windows/d означает, что все строки, содержащие "windows", должны быть удалены.

Из всего разнообразия операций, мы остановимся на трех, используемых наиболее часто. Это p -- печать (на stdout), d -- удаление и s -- замена.

Без оператора g (global), операция замены будет производиться только для первого найденого совпадения, с заданным шаблоном, в каждой строке.

В отдельных случаях, операции sed необходимо заключать в кавычки.

sed -e '/^$/d' $filename
#  Ключ -e говорит о том, что далее следует строка, которая должна интерпретироваться
#+ как набор инструкций редактирования.
# (При передаче одной инструкции, ключ "-e" является необязательным.)
#  "Строгие" кавычки ('') предотвращают интерпретацию символов регулярного выражения,
#+ как специальных символов, командным интерпретатором.
#
# Действия производятся над строками, содержащимися в файле $filename.

В отдельных случаях, команды редактирования не работают в одиночных кавычках.

filename=file1.txt
pattern=BEGIN

  sed "/^$pattern/d" "$filename"  # Результат вполне предсказуем.
# sed '/^$pattern/d' "$filename"    дает иной результат.
#        В данном случае, в "строгих" кавычках (' ... '),
#+      не происходит подстановки значения переменной "$pattern".

Sed использует ключ -e для того, чтобы определить, что следующая строка является инструкцией, или набором инструкций, редактирования. Если инструкция является единственной, то использование этого ключа не является обязательным.

sed -n '/xzy/p' $filename
# Ключ -n заставляет sed вывести только те строки, которые совпадают с указанным шаблоном.
# В противном случае (без ключа -n), будут выведены все строки.
# Здесь, ключ -e не является обязательным, поскольку здесь стоит единственная команда.

Замена строки пустой строкой, эквивалентна удалению части строки, совпадающей с шаблоном. Остальная часть строки остается без изменений. Например, s/GUI//, изменит следующую строку

The most important parts of any application are its GUI and sound effects

The most important parts of any application are its  and sound effects

Символ обратного слэша представляет символ перевода строки, как символ замены. В этом случае, замещающее выражение продолжается на следующей строке.

s/^  */\
/g

Указание диапазона строк, предшествующее одной, или более, инструкции может потребовать заключения инструкций в фигурные скобки, с соответствующими символами перевода строки.

/[0-9A-Za-z]/,/^$/{
/^$/d
}

Быстрый способ установки двойных межстрочных интервалов в текстовых файлах -- sed G filename.

Примеры использования sed в сценариях командной оболочки, вы найдете в:

1. Пример 33-1

2. Пример 33-2

3. Пример 12-3

4. Пример A-3

5. Пример 12-15

6. Пример 12-23

7. Пример A-13

8. Пример A-19

9. Пример 12-27

10. Пример 10-9

11. Пример 12-36

12. Пример A-2

13. Пример 12-13

14. Пример 12-11

15. Пример A-11

16. Пример 17-12

Ссылки на дополнительные сведения о sed, вы найдете в разделе Библиография.

C.2. Awk

Awk -- это полноценный язык обработки текстовой информации с синтаксисом, напоминающим синтаксис языка C. Он обладает довольно широким набором возможностей, однако, мы рассмотрим лишь некоторые из них -- наиболее употребимые в сценариях командной оболочки.

Awk "разбивает" каждую строку на отдельные поля. По-умолчанию, поля -- это последовательности символов, отделенные друг от друга пробелами, однако имеется возможность назначения других символов, в качестве разделителя полей. Awk анализирует и обрабатывает каждое поле в отдельности. Это делает его идеальным инструментом для работы со структурированными текстовыми файлами -- осбенно с таблицами.

Внутри сценариев командной оболочки, код awk, заключается в "строгие" (одиночные) кавычки и фигурные скобки.

awk '{print $3}' $filename
# Выводит содержимое 3-го поля из файла $filename на устройство stdout.

awk '{print $1 $5 $6}' $filename
# Выводит содержимое 1-го, 5-го и 6-го полей из файла $filename.

Только что, мы рассмотрели действие команды print. Еще, на чем мы остановимся -- это переменные. Awk работает с переменными подобно сценариям командной оболочки, но более гибко.

{ total += ${column_number} }

END { print total }

Команде END, соответствует команда BEGIN, которая открывает блок кода, отрабатывающий перед началом обработки входных данных.

Следующий пример демонстрирует применение awk для разбора текста в сценариях командной оболочки.

#! /bin/sh
# letter-count.sh: Counting letter occurrences in a text file.
#
# Автор: nyal (nyal@voila.fr).
# Используется с разрешения автора сценария.
# Комментарии добавлены автором документа.


INIT_TAB_AWK=""

count_case=0
FILE_PARSE=$1

E_PARAMERR=65

usage()
{
    echo "Порядок использования: letter-count.sh имя_файла символы" 2>&1
    # Например:   ./letter-count.sh filename.txt a b c
    exit $E_PARAMERR  # Вызов сценария без аргументов.
}

if [ ! -f "$1" ] ; then
    echo "Файл $1 не найден." 2>&1
    usage                 # Вывод сообщения и выход.
fi 

if [ -z "$2" ] ; then
    echo "$2: Не заданы символы для поиска." 2>&1
    usage
fi 

shift                      # Символы заданы.
for letter in `echo $@`    # Для каждого из них . . .
  do
  INIT_TAB_AWK="$INIT_TAB_AWK tab_search[${count_case}] = \"$letter\"; final_tab[${count_case}] = 0; " 
  # Передается как параметр в сценарий awk ниже.
  count_case=`expr $count_case + 1`
done

# DEBUG:
# echo $INIT_TAB_AWK;

cat $FILE_PARSE |
# Передать заданый файл по конвейеру в сценарий awk.

# --------------------------------------------------------------------------------
# От переводчика:
#    В оригинальном тексте сценария стоит следующая строка:
#awk -v tab_search=0 -v final_tab=0 -v tab=0 -v nb_letter=0 -v chara=0 -v chara2=0 \
# 
#    с моим gawk 3.1.3 сценарий делается неработоспособным
#    поэтому я взял на себя смелость несколько подправить эту строку,
#    в результате она получилась такой:
awk -v nb_letter=0 -v chara=0 -v chara2=0 \
"BEGIN { $INIT_TAB_AWK } \
{ split(\$0, tab, \"\"); \
for (chara in tab) \
{ for (chara2 in tab_search) \
{ if (tab_search[chara2] == tab[chara]) { final_tab[chara2]++ } } } } \
END { for (chara in final_tab) \
{ print tab_search[chara] \" => \" final_tab[chara] } }"
# --------------------------------------------------------------------------------
#  Ничего сложного. . .
#+ Циклы for, проверка условия if, и пара специфических функций.

exit $?

Более простые примеры использования awk в сценариях командной оболочки, вы найдете в:

1. Пример 11-11

2. Пример 16-7

3. Пример 12-27

4. Пример 33-3

5. Пример 9-22

6. Пример 11-17

7. Пример 27-2

8. Пример 27-3

9. Пример 10-3

10. Пример 12-45

11. Пример 9-27

12. Пример 12-4

13. Пример 9-12

14. Пример 33-12

15. Пример 10-8

Это все, что я хотел рассказать об awk. Дополнительные ссылки на информацию об awk, вы найдете в разделе Библиография.