有人可以提供执行以下操作的代码:假设有一个文件目录,所有这些都需要通过程序运行。程序将结果输出到标准输出。我需要一个脚本,它将进入一个目录,对每个文件执行命令,并将输出连接到一个大输出文件中。
例如,在 1 个文件上运行命令:
$ cmd [option] [filename] > results.out
ls <directory> | xargs cmd [options] {filenames put in here automatically by xargs} [more arguments] > results.out
以下 bash 代码将 $file 传递给命令,其中 $file 将代表 /dir 中的每个文件
for file in /dir/*
do
cmd [option] "$file" >> results.out
done
例子
el@defiant ~/foo $ touch foo.txt bar.txt baz.txt
el@defiant ~/foo $ for i in *.txt; do echo "hello $i"; done
hello bar.txt
hello baz.txt
hello foo.txt
这个怎么样:
find /some/directory -maxdepth 1 -type f -exec cmd option {} \; > results.out
-maxdepth 1 参数防止 find 递归下降到任何子目录。 (如果你想处理这样的嵌套目录,你可以省略它。)
-type -f 指定只处理普通文件。
-exec cmd option {} 告诉它为找到的每个文件使用指定选项运行 cmd,文件名替换为 {}
\;表示命令的结束。
最后,所有单个 cmd 执行的输出被重定向到 results.out
但是,如果您关心文件的处理顺序,最好编写一个循环。我认为 find
按 inode 顺序处理文件(尽管我可能错了),这可能不是您想要的。
stat
和 sort
)进行排序,这当然取决于排序标准是什么。
-exec
选项之后链接它们?我是否必须将它们用单引号或其他东西括起来?
find
始终是最佳选项,因为您可以使用选项 -name
按文件名模式进行过滤,并且可以在单个命令中完成。
-exec
选项:find . -name "*.txt" -exec echo {} \; -exec grep banana {} \;
我通过运行以下命令在我的 Raspberry Pi 上执行此操作:
for i in *; do cmd "$i"; done
接受/高票的答案很棒,但缺少一些细节。这篇文章介绍了如何更好地处理 shell 路径名扩展 (glob) 失败、文件名包含嵌入的换行符/破折号以及在将结果写入时将命令输出重定向移出 for 循环的情况文件。
使用 *
运行 shell glob 扩展时,如果目录中存在 no 文件,则扩展可能会失败,并且未扩展的 glob 字符串将传递给要执行的命令运行,这可能会产生不良结果。 bash
shell 为此使用 nullglob
提供了扩展的 shell 选项。所以循环基本上在包含你的文件的目录中变成如下
shopt -s nullglob
for file in ./*; do
cmdToRun [option] -- "$file"
done
当表达式 ./*
不返回任何文件(如果目录为空)时,这使您可以安全地退出 for 循环
或以符合 POSIX 的方式(nullglob
是 bash
特定的)
for file in ./*; do
[ -f "$file" ] || continue
cmdToRun [option] -- "$file"
done
当表达式失败一次并且条件 [ -f "$file" ]
检查未扩展的字符串 ./*
是否是该目录中的有效文件名时,这使您可以进入循环,但事实并非如此。因此,在这种情况下失败,使用 continue
我们恢复到随后不会运行的 for
循环。
还要注意在传递文件名参数之前使用 --
。这是必需的,因为如前所述,shell 文件名可以在文件名的任何位置包含破折号。当名称被正确引用时,一些 shell 命令会解释它并将它们视为命令选项,并在考虑是否提供标志的情况下执行命令。
在这种情况下,--
表示命令行选项的结束,这意味着该命令不应将超出此点的任何字符串解析为命令标志,而只能解析为文件名。
双引号文件名正确地解决了名称包含全局字符或空格的情况。但是 *nix 文件名中也可以包含换行符。因此,我们使用唯一不能成为有效文件名一部分的字符来限制文件名 - 空字节 (\0
)。由于 bash
在内部使用 C
样式字符串,其中空字节用于指示字符串的结尾,因此它是正确的候选者。
因此,使用 shell 的 printf
选项使用 read
命令的 -d
选项来分隔具有此 NULL 字节的文件,我们可以执行以下操作
( shopt -s nullglob; printf '%s\0' ./* ) | while read -rd '' file; do
cmdToRun [option] -- "$file"
done
nullglob
和 printf
包裹在 (..)
周围,这意味着它们基本上在子 shell(子 shell)中运行,因为一旦命令退出,为了避免 nullglob
选项反映在父 shell 上. read
命令的 -d ''
选项不 POSIX 兼容,因此需要一个 bash
shell 来完成此操作。使用 find
命令可以这样完成
while IFS= read -r -d '' file; do
cmdToRun [option] -- "$file"
done < <(find -maxdepth 1 -type f -print0)
对于不支持 -print0
的 find
实现(GNU 和 FreeBSD 实现除外),可以使用 printf
进行模拟
find . -maxdepth 1 -type f -exec printf '%s\0' {} \; | xargs -0 cmdToRun [option] --
另一个重要的修复是将重定向移出 for 循环以减少大量文件 I/O。当在循环内使用时,shell 必须为 for 循环的每次迭代执行两次系统调用,一次用于打开,一次用于关闭与文件关联的文件描述符。这将成为运行大型迭代的性能瓶颈。推荐的建议是将其移出循环。
用这个修复扩展上面的代码,你可以做
( shopt -s nullglob; printf '%s\0' ./* ) | while read -rd '' file; do
cmdToRun [option] -- "$file"
done > results.out
这基本上会将文件输入的每次迭代的命令内容放到标准输出中,当循环结束时,打开目标文件一次以写入标准输出的内容并保存它。等效的 find
版本将是
while IFS= read -r -d '' file; do
cmdToRun [option] -- "$file"
done < <(find -maxdepth 1 -type f -print0) > results.out
您可以使用 xarg
:
ls | xargs -L 1 -d '\n' your-desired-command
-L 1 导致一次通过 1 个项目
-d '\n' 根据新行拆分 ls 的输出。
有时完成工作的一种快速而肮脏的方法是:
find directory/ | xargs Command
例如,要查找当前目录中所有文件的行数,您可以执行以下操作:
find . | xargs wc -l
~/.local/share/steam
。Ran steam。它删除了用户拥有的系统上的所有内容”之类的东西结束。错误报告。
基于@Jim Lewis 的方法:
这是使用 find
并按修改日期对文件进行排序的快速解决方案:
$ find directory/ -maxdepth 1 -type f -print0 | \
xargs -r0 stat -c "%y %n" | \
sort | cut -d' ' -f4- | \
xargs -d "\n" -I{} cmd -op1 {}
排序参见:
http://www.commandlinefu.com/commands/view/5720/find-files-and-list-them-sorted-by-modification-time
find
的 -print0
和 xargs
的 -0
,它们使用空字符而不是任何空格(包括换行符)。
-print0
会有所帮助,但整个管道需要使用这样的东西,而 sort
不是
我需要将所有 .md 文件从一个目录复制到另一个目录,所以这就是我所做的。
for i in **/*.md;do mkdir -p ../docs/"$i" && rm -r ../docs/"$i" && cp "$i" "../docs/$i" && echo "$i -> ../docs/$i"; done
这很难阅读,所以让我们分解一下。
首先 cd 进入包含文件的目录,
for i in **/*.md;
用于您的模式中的每个文件
mkdir -p ../docs/"$i"
在包含您的文件的文件夹之外的 docs 文件夹中创建该目录。这会创建一个与该文件同名的额外文件夹。
rm -r ../docs/"$i"
删除因 mkdir -p
而创建的额外文件夹
cp "$i" "../docs/$i"
复制实际文件
echo "$i -> ../docs/$i"
回应您所做的事情
; done
从此过上幸福的生活
**
起作用,需要设置 globstar
shell 选项:shopt -s globstar
最大深度
我发现它与 Jim Lewis's answer 配合得很好,只需添加如下内容:
$ export DIR=/path/dir && cd $DIR && chmod -R +x *
$ find . -maxdepth 1 -type f -name '*.sh' -exec {} \; > results.out
排序
如果要按排序顺序执行,修改如下:
$ export DIR=/path/dir && cd $DIR && chmod -R +x *
find . -maxdepth 2 -type f -name '*.sh' | sort | bash > results.out
仅举个例子,这将按以下顺序执行:
bash: 1: ./assets/main.sh
bash: 2: ./builder/clean.sh
bash: 3: ./builder/concept/compose.sh
bash: 4: ./builder/concept/market.sh
bash: 5: ./builder/concept/services.sh
bash: 6: ./builder/curl.sh
bash: 7: ./builder/identity.sh
bash: 8: ./concept/compose.sh
bash: 9: ./concept/market.sh
bash: 10: ./concept/services.sh
bash: 11: ./product/compose.sh
bash: 12: ./product/market.sh
bash: 13: ./product/services.sh
bash: 14: ./xferlog.sh
无限深度
如果你想在特定条件下无限深度执行,你可以使用这个:
export DIR=/path/dir && cd $DIR && chmod -R +x *
find . -type f -name '*.sh' | sort | bash > results.out
然后放在子目录中的每个文件的顶部,如下所示:
#!/bin/bash
[[ "$(dirname `pwd`)" == $DIR ]] && echo "Executing `realpath $0`.." || return
以及父文件正文中的某处:
if <a condition is matched>
then
#execute child files
export DIR=`pwd`
fi
我认为简单的解决方案是:
sh /dir/* > ./result.txt
不定期副业成功案例分享
/dir/
中不存在任何文件,则循环仍会运行一次,$file
的值为“*”,这可能是不可取的。为避免这种情况,请在循环期间启用 nullglob。在循环shopt -s nullglob
之前添加这一行,在循环shopt -u nullglob #revert nullglob back to it's normal default state
之后添加这一行。done >results.out
会更有效(并且可能您可以覆盖而不是追加,就像我在这里假设的那样)。