自动化脚本进阶——Here Document in Shell
本文译自 TLDP Here Documents
享受当下，朋友们。
—— 《岛》，[英] 阿道司·赫胥黎
简要介绍
Here Document 是一段特定用途代码。它通过 IO 重定向，为可交互程序或命令，如 ftp、cat 及 ex 文本编辑器 等，提供 多行 命令列表。
COMMAND <<InputComesFromHERE
...
...
...
InputComesFromHERE特殊符号 << 位于 限定字符串 之前，限定字符串 框住命令列表。如此便产生了，将 命令列表 输出，重定向到 COMMAND 输入的效果。它与 可交互程序 < 命令文件 的形式相似，命令文件中是若干命令行：
command #1
command #2确切得讲，Here Document 几近于以下形式
interactive-program <<LimitString
command #1
command #2
...
LimitString选择一个充分特殊的 限定字符串，以确保它不会出现在 命令列表 中的任何地方，也不会与系统环境产生冲突。
请注意有时 Here Document 也可与非交互工具及命令产生良好效果，如 wall。
例 1. 广播: 向已登录终端用户发送消息
#!/bin/bash
wall <<zzz23EndOfMessagezzz23
请将你的午餐披萨订单通过邮件发送给管理员。
（凤尾鱼和蘑菇盖浇需另外付款。）
# 此处开始是额外说明。
# 注意：'wall' 会打印注释行。
zzz23EndOfMessagezzz23
# 上述功能本可更简洁地通过以下形式实现
# wall <message-file
# 然而，在脚本中嵌入模板文件是以脏换快
#+ 的一次性方法。
exit哪怕是像 vi 文本编辑器 一样，极不可能的参与者，也能与 Here Document 配合良好。
例 2. 虚拟文件: 创建包含 2 行文本的虚拟文件
#!/bin/bash
# 以 'vi' 的非交互方式编辑文件，模拟 'sed'。
E_BADARGS=85
if [ -z "$1" ]
then
echo "用法： `basename $0` 文件名"
exit $E_BADARGS
fi
TRAGETFILE=$1
# 向文件插入 2 行字符并保存
# ---------- Begin here document ----------#
vi $TRAGETFILE <<x23LimitStringx23
i
这是示例文件的第一行。
这是示例文件的第二行。
^[
ZZ
x23LimitStringx23
# ----------- End here document -----------#
# 注意上面的 '^[' 是 <Esc> 的转义，
#+ 可通过 Control-V 打出。
# Bram Moolenaar 指出，由于可能的终端交互问题
#+ 以上写法也许不适用于 'vim'。
exit除了 vi，上述功能也可使用 ex 以同等效率实现。Here Document 包含的一系列 ex 命令足够常用，以至于自成一类，以 ex 脚本 为人熟知。
#!/bin/bash
# 在后缀为 '.txt' 的文件中，将所有
#+ 'Smith' 实例替换为 'Jones'
ORIGINAL=Smith
REPLACEMENT=Jones
for word in $(fgrep -l $ORIGINAL *.txt)
do
# ---------------------------------
ex $word <<EOF
:%s/$ORIGINAL/$REPLACEMENT/g
:wq
EOF
# :%s 是 'ex' 替换命令。
# :wq 的含义是写入并退出。
# ---------------------------------
done与 ex 脚本 类似的是 cat 脚本。
例 3. CAT 多行消息
#!/bin/bash
# 'echo' 很适合单行消息打印，
#+ 但处理多行消息会有些麻烦。
# 'cat' here document 克服了上述限制。
cat <<End-of-message
---------------------------------
这是消息的第一行。
这是消息的第二行。
这是消息的第三行。
这是消息的第四行。
这是消息的最后一行。
---------------------------------
End-of-message
# 将上述代码第 7 行替换为
#+ cat > $Newfile <<End-of-message
#+ ~~~~~~~~~~
#+ 可将输出写入 $Newfile，而非标准输出。
exit 0
# ------------------------------------
# 因为前面有 'exit 0'，以下代码不会执行。
# S.C. 指出，下面的实现同样有效
echo "--------------------------------
这是消息的第一行。
这是消息的第二行。
这是消息的第三行。
这是消息的第四行。
这是消息的最后一行。
--------------------------------"
# 但是，文本中的双引号必须转义。被 - 选项标记的限定字符串，输出时会忽略行首 tabs（不含空格）。该特性也许有助于提高脚本可读性。
例 4. 忽略 TAB 的多行消息
#!/bin/bash
# 和前例相同，但 ...
# 为 here document 加上 - 选项，即 <<-
#+ 来忽略文档体中的行首 tabs，但 *不会忽略* 空格。
cat <<-ENDOFMESSAGE
这是消息的第一行。
这是消息的第二行。
这是消息的第三行。
这是消息的第四行。
这是消息的最后一行。
ENDOFMESSAGE
# 脚本将以左对齐输出。
# 每行开头的 tab 不会显示。
# 上述 5 行消息以 tab 开始，并非空格。
# 空格不被 <<- 影响。
# 注意该选项也不作用于 *内嵌/非行首* tabs。
exit 0Here Document 支持参数和命令替换。 因此，可通过传入不同参数改变输出。
例 5. 可替换参数 Here Document
#!/bin/bash
# 另一个 cat here document，使用参数替换。
# 以无参形式调用, ./scriptname
# 传入 1 个参数， ./scriptname Mortimer
# 传入 1 个引号内的双词参数， ./scriptname "Mortimer Jones"
CMDLINEPARAM=1 # 默认参数个数
if [ $# -ge $CMDLINEPARAM ]
then
NAME=$1 # 多于 1 个参数，仅取第一个。
else
NAME="John Doe" # 默认参数值
fi
RESPONDENT="该脚本作者"
cat <<Endofmessage
你好, $NAME。
很高兴见到你，来自 $RESPONDENT 的问候。
# 该行注释会显示在输出中（为什么？）。
Endofmessage
# 注意空行会出现在输出中。
# 注释也一样。
exit这是一个非常有用的含参 Here Document 脚本。
例 6. 将文件对上传到网站的传入目录
#!/bin/bash
# upload.sh
# 上传文件对（文件名.lsm, 文件名.tar.gz）
#+ 到 Sunsite/UNC（ibiblio.org） 的传入目录。
# 文件名.tar.gz 为压缩包自身。
# 文件名.lsm 是描述文件。
# Sunsite 要求上传 'lsm' 文件，否则拒绝贡献者。
E_ARGERROR=85
if [ -z "$1" ]
then
echo "用法：`basename $0` 要上传的文件名"
exit $E_ARGERROR
fi
Filename=`basename $1` # 从完整文件名中去掉路径。
Server="ibiblio.org"
Directory="/incoming/Linux"
# 上述变量无需写死在脚本中，
#+ 可通过命令行参数传入。
Password="your.e-mail.address"
ftp -n $Server <<End-Of-Session
# -n 选项禁用自动登录
user anonymous "$Password" # 若该行无法工作，尝试：
# `user anonymous "$Password"`
binary
bell # 每个文件传输完成后提醒
cd $Directory
put "$Filename.lsm"
put "$Filename.tar.gz"
bye
End-Of-Session
exit 0在 Here Document 开头，将 限定字符串 引住或转义，将禁用 参数替换 特性。原因是引用或转义 限定字符串 将使 $，\` 和 \特殊字符 被转义，从而原样输出。（感谢 Allen Halsey 指出这点。）
例 7. 禁用参数替换
#!/bin/bash
# 禁用参数替换的 cat here-document。
NAME="Jone Doe"
RESPONDENT="该脚本作者"
cat <<Endofmessage
你好, $NAME。
很高兴见到你，来自 $RESPONDENT 的问候。
Endofmessage
# 当限定字符串被引号引住或转义时，不会发生参数替换。
# 下面两个 here document 开头中的任何一个，都会起
#+ 相同效果。
# cat <<"Endofmessage"
# cat <<\Endofmessage
# 并且，像这样：
cat <<"SpecialCharTest"
若限定字符串未被引住，则随后便会列出
本文件夹中的所有文件。
`ls -l`
若限定字符串未被引住，则数学表达式将
产生计算结果。
$((5 + 3))
若限定字符串未被引住，则单反斜杠将会
输出。
\\
SpecialCharTest
exit禁用参数替换允许将文本原样输出。该特性的用法之一是自动生成脚本甚至程序代码。
例 8. 在脚本中生成脚本
#!/bin/bash
# generate-script.sh
# 源于 Albert Reiner 的创意。
OUTFILE=generated.sh # 最终生成的脚本名
# ------------------------------------
# 包含被生成脚本体的 Here document
(
cat <<'EOF'
#!/bin/bash
echo "这是一个由程序生成的 shell 脚本。"
# 由于处于子 shell 内部，
#+ 我们无法访问外层脚本变量。
echo "生成的脚本将被命名为：$OUTFILE"
# 上面一行不会如预期般工作,
#+ 因为参数表达式已经被禁用。
# 相反，脚本将原样输出。
a=7
b=3
let "c = $a * $b"
echo "c = $c"
exit 0
EOF
) > $OUTFILE
# ------------------------------------
# 引住限定字符串阻止了上述 here document
#+ 体中的变量扩展。
# 这就允许字符文本原样输出到文件中。
if [ -f "$OUTFILE" ]
then
chmod 755 $OUTFILE
# 赋予生成文件执行权限
else
echo "未能成功创建文件：\"$OUTFILE\""
fi
# 这种方法同样可用来生成
#+ C，Perl，Python，Makefiles
#+ 和其他类似程序
exit 0可将 Here Document 输出赋值给变量。事实上，这种一种曲线救国形式的命令替换。
#!/bin/bash
variable=$(cat <<SETVAR
这是一个
跨越多行执行的变量。
SETVAR
)
echo "$variable"Here Document 可为同一脚本中的函数提供输入。
例 9. Here Document 和函数
# here-function.sh
GetPersonalData ()
{
read firstname
read lastname
read address
read city
read state
read zipcode
} # 这显然是交互式方法，但 ...
# 为上述方法提供输入
GetPersonalData <<RECORD001
Bozo
Bozeman
2726 Nondescript Dr.
Bozeman
MT
21226
RECORD001
echo
echo "$firstname $lastname"
echo "$address"
echo "$city, $state, $zipcode"
echo
exit 0可使用冒号 :， 接收 Here Document 的输出。事实上，它叫做匿名 Here Document。
例 10. 匿名 Here Document
#!/bin/bash
: <<TESTVARIABLES
${HOSTNAME?}${USER?}${MAIL?} # 任一变量未定义都会输出错误信息。
TESTVARIABLES
exit $?上述技巧的变体可用来注释一段代码。
例 11. 注释代码块
#!/bin/bash
# commentblock.sh
: <<COMMENTBLOCK
echo "该行不会输出。"
这是一行缺少 '#' 前缀的注释。
这是另一行缺少 '#' 前缀的注释。
&*@!!++=
上面一行不会产生错误信息，
因为 Bash 解释器会忽略它。
COMMENTBLOCK
echo "上述 \"COMMENTBLOCK\" 的返回值是 $?。" # 0
# 不会有错误显示。
echo
# 上述技巧同样可在调试时，为代码块添加注释。
# 这样可省去以前不得不在每行行首添加 '#'，
#+ 调试完毕后再回过头去掉每个 '#' 的麻烦。
# 实际上起始的 ':' 是可选的。
echo "开始注释代码块。"
# 位于双虚线间的代码不会执行。
# -----------------------------------------
# -----------------------------------------
: <<DEBUGXXX
for file in *
do
cat "$file"
done
DEBUGXXX
# -----------------------------------------
# -----------------------------------------
echo "结束注释。"
exit 0
###########################################
# 需要注意的是，如果如果代码块中存在被括号括起
#+ 的变量，将导致问题。
# 比如：
#!/bin/bash
: <<COMMENTBLOCK
echo "该行不会输出。"
&*@!!++=
${foo_bar_bazz?}
$(rm -rf /tmp/foobar/)
$(touch my_build_directory/cups/Makefile)
COMMENTBLOCK
$ sh commented-bad.sh
commented-bad.sh: line 3: foo_bar_bazz: parameter null or not set
# 该问题的补救措施是将上面 49 行的 'COMMENTBLOCK' 加上引号。
: <<'COMMENTBLOCK'
# 此处由 Kurt Pfeifle 指出，非常感谢。这一漂亮技巧的另一曲折用法是编写自文档化脚本。
例 12. 自文档化脚本
#!/bin/bash
# self-document.sh: 自文档化脚本
# 由 'colm.sh' 修改而来。
DOC_REQUEST=70
if [ "$1" = "-h" -o "$1" = "--help" ] # 请求帮助。
then
echo; echo "用法：$0 [目录名]"; echo
sed --silent -e '/DOCUMENTATIONXX$/,/^DOCUMENTATIONXX$/p' "$0" |
sed -e '/DOCUMENTATIONXX$/d'; exit $DOC_REQUEST; fi
: <<DOCUMENTATIONXX
使用表格样式输出特定目录的统计信息。
--------------------------------
命令行参数提供被统计的目录名。
若未指定目录，亦或指定目录不可读，
则统计当前工作目录。
DOCUMENTATIONXX
if [ -z "$1" -o ! -r "$1" ]
then
directory=
else
directory="$1"
fi
echo "统计目录 "$directory":"; echo
(printf "权限 链接 用户 所在组 大小 月 日 时:分 参数名\n" \
; ls -l "$directory" | sed 1d) | column -t
exit 0cat 脚本 是实现该功能的替代方案。
DOC_REQUEST=70
if [ "$1" = "-h" -o "$1" = "--help" ] # 请求帮助。
then
cat <<DOCUMENTATIONXX
使用表格样式输出特定目录的统计信息。
--------------------------------
命令行参数提供被统计的目录名。
若未指定目录，亦或指定目录不可读，
则统计当前工作目录。
DOCUMENTATIONXX
exit $DOC_REQUEST
fi有关自文档化脚本的更多内容，参见 例 A-28，例 A-40，例 A-41 和 例 A-42。
可通过 Here document 创建临时文件，但这些文件在打开后便被删除，无法被其他任何进程访问。
$ bash -c 'lsof -a -p $$ -d0' <<EOF
heredoc> EOF一些工具在 Here Document 中无法工作。
位于最后一行，用于关闭 Here Document 的限定字符串，必须从首字符开始。在其之前不允许任何空格。跟随其后的空格同样会导致非预期行为。空格使限定字符串不被识别。
#!/bin/bash
echo "-----------------------------------------"
cat <<LimitString
echo "这是 here document 内部的第一行消息。"
echo "这是 here document 内部的第二行消息。"
echo "这是 here document 内部的最后一行消息。"
LimitString
#~~~~被缩进的限定字符串。错误！该脚本不会按预期执行。
echo "-----------------------------------------"
# 这些注释位于 here document 之外，
#+ 并且不会输出。
echo "here document 之外。"
exit 0
echo "该行本不该输出。" # 因其在 exit 之后。有些朋友非常聪明地使用 ! 作为限定字符串。但这并不是个好主意。
#!/bin/bash
# 这样可以工作。
cat <<!
你好!
! 三个其他的感叹号 !!!
!
# 但 ...
cat <<!
你好!
单个感叹号!
!
!
# 脚本将崩溃并显示错误信息。
# 但是，以下代码可正常工作。
cat <<EOF
你好!
单个感叹号!
!
EOF
# 使用多字符限定字符串更加安全。对于那些使用 Here Document 后过于复杂的任务，可考虑使用 expect 脚本，该语言专门设计用来传递输入给可交互程序。