ChatGPT解决这个技术问题 Extra ChatGPT

在带有“源”的 Dockerfile 中使用 RUN 指令不起作用

我有一个 Dockerfile,我将它放在一起安装一个 vanilla python 环境(我将在其中安装一个应用程序,但在以后的日期)。

FROM ubuntu:12.04

# required to build certain python libraries
RUN apt-get install python-dev -y

# install pip - canonical installation instructions from pip-installer.org
# http://www.pip-installer.org/en/latest/installing.html
ADD https://bitbucket.org/pypa/setuptools/raw/bootstrap/ez_setup.py /tmp/ez_setup.py
ADD https://raw.github.com/pypa/pip/master/contrib/get-pip.py /tmp/get-pip.py
RUN python /tmp/ez_setup.py
RUN python /tmp/get-pip.py
RUN pip install --upgrade pip 

# install and configure virtualenv
RUN pip install virtualenv 
RUN pip install virtualenvwrapper
ENV WORKON_HOME ~/.virtualenvs
RUN mkdir -p $WORKON_HOME
RUN source /usr/local/bin/virtualenvwrapper.sh

构建运行正常,直到最后一行,我得到以下异常:

[previous steps 1-9 removed for clarity]
...
Successfully installed virtualenvwrapper virtualenv-clone stevedore
Cleaning up...
 ---> 1fc253a8f860
Step 10 : ENV WORKON_HOME ~/.virtualenvs
 ---> Running in 8b0145d2c80d
 ---> 0f91a5d96013
Step 11 : RUN mkdir -p $WORKON_HOME
 ---> Running in 9d2552712ddf
 ---> 3a87364c7b45
Step 12 : RUN source /usr/local/bin/virtualenvwrapper.sh
 ---> Running in c13a187261ec
/bin/sh: 1: source: not found

如果我 ls 进入该目录(只是为了测试前面的步骤是否已提交),我可以看到文件按预期存在:

$ docker run 3a87 ls /usr/local/bin
easy_install
easy_install-2.7
pip
pip-2.7
virtualenv
virtualenv-2.7
virtualenv-clone
virtualenvwrapper.sh
virtualenvwrapper_lazy.sh

如果我尝试仅运行 source 命令,则会收到与上述相同的“未找到”错误。但是,如果我运行交互式 shell 会话,则 source 确实有效:

$ docker run 3a87 bash
source
bash: line 1: source: filename argument required
source: usage: source filename [arguments]

我可以从这里运行脚本,然后愉快地访问 workonmkvirtualenv 等。

我已经进行了一些挖掘,最初看起来问题可能在于 bash 作为 Ubuntu login shelldash 之间的区别> 作为 Ubuntu system shelldash 不支持 source 命令。

但是,对此的答案似乎是使用 '.' 而不是 source,但这只会导致 Docker 运行时因 go panic 异常而崩溃。

从 Dockerfile RUN 指令运行 shell 脚本来解决这个问题的最佳方法是什么(正在运行 Ubuntu 12.04 LTS 的默认基本映像)。


B
Bruno Bronosky

原始答案

FROM ubuntu:14.04
RUN rm /bin/sh && ln -s /bin/bash /bin/sh

这应该适用于每个 Ubuntu docker 基础镜像。我通常为我编写的每个 Dockerfile 添加这一行。

由关心的旁观者编辑

如果您想获得“在整个 Dockerfile 中使用 bash 而不是 sh”的效果,而不更改可能损坏*容器内的操作系统,你可以tell Docker your intention。这样做是这样的:

SHELL ["/bin/bash", "-c"]

* 可能的损害是 Linux 中的许多脚本(在全新的 Ubuntu 上安装 grep -rHInE '/bin/sh' / 返回超过 2700 个结果)期望在 /bin/sh 处使用完全 POSIX shell。 bash shell 不仅仅是 POSIX 加上额外的内置函数。有些内置函数(以及更多)的行为与 POSIX 中的完全不同。我完全支持避免使用 POSIX(以及你没有在另一个 shell 上测试的任何脚本都会工作的谬论,因为你认为你避免了 basmisms)并且只使用 bashism。但是您可以在脚本中使用适当的 shebang 来做到这一点。不是通过从整个操作系统下拉出 POSIX shell。 (除非您有时间验证 Linux 附带的所有 2700 plus 脚本以及您安装的任何软件包中的所有脚本。)

下面的答案中有更多详细信息。 https://stackoverflow.com/a/45087082/117471


这可以稍微简化一下:ln -snf /bin/bash /bin/sh
ln -s /bin/bash /bin/sh 这是一个糟糕的主意。 ubuntu 以 /bin/sh 为目标来冲刺是有原因的。 dash 是一个完全 posix shell,它比 bash 快几个数量级。将 /bin/sh 链接到 bash 会大大降低服务器的性能。引用:wiki.ubuntu.com/DashAsBinSh
这是一个肮脏的黑客,而不是解决方案。如果您的脚本由 sh shell 运行,但您需要 bash,则正确的解决方案是让 sh 进程一次性调用 bash,例如 bash -c 'source /script.sh && …'或者 您甚至可以完全避免使用 bashism(如 source),而选择只使用有效的 POSIX 等效项,例如 . /script.sh。 (注意 . 后面的空格!)最后,如果您的脚本是可执行的(不仅仅是可获取的),从不让您的脚本与 #!/bin/sh shebang 放在一起,如果它实际上不兼容 sh。请改用 #!/bin/bash
B
Benjamin Bannier

RUN 指令的默认 shell 是 ["/bin/sh", "-c"]

RUN "source file"      # translates to: RUN /bin/sh -c "source file"

使用 SHELL instruction,您可以更改 Dockerfile 中后续 RUN 指令的默认 shell:

SHELL ["/bin/bash", "-c"] 

现在,默认 shell 已更改,您无需在每个 RUN 指令中显式定义它

RUN "source file"    # now translates to: RUN /bin/bash -c "source file"

附加说明:您还可以添加 --login 选项来启动登录 shell。这意味着例如 ~/.bashrc 将被读取,并且您不需要在命令之前显式获取它


m
mixja

最简单的方法是使用点运算符代替 source,它相当于 bash source 命令的 sh:

代替:

RUN source /usr/local/bin/virtualenvwrapper.sh

利用:

RUN . /usr/local/bin/virtualenvwrapper.sh

虽然知道如何使用 /bin/sh 获取 shell 脚本可能很好,但它不像 SHELL ["/bin/bash", "-c"] 那样具有自记录性。
A
Andrea Grandi

我有同样的问题,为了在 virtualenv 中执行 pip install 我必须使用这个命令:

RUN pip install virtualenv virtualenvwrapper
RUN mkdir -p /opt/virtualenvs
ENV WORKON_HOME /opt/virtualenvs
RUN /bin/bash -c "source /usr/local/bin/virtualenvwrapper.sh \
    && mkvirtualenv myapp \
    && workon myapp \
    && pip install -r /mycode/myapp/requirements.txt"

我希望它有所帮助。


r
raphinesse

如果您使用的是 Docker 1.12 或更高版本,只需使用 SHELL

简短的回答:

一般的:

SHELL ["/bin/bash", "-c"] 

对于 python vituralenv:

SHELL ["/bin/bash", "-c", "source /usr/local/bin/virtualenvwrapper.sh"]

长答案:

来自https://docs.docker.com/engine/reference/builder/#shell

SHELL ["executable", "parameters"] SHELL 指令允许覆盖用于命令的 shell 形式的默认 shell。 Linux 上的默认 shell 是 ["/bin/sh", "-c"],Windows 上是 ["cmd", "/S", "/C"]。 SHELL 指令必须以 JSON 格式写入 Dockerfile。 SHELL 指令在 Windows 上特别有用,其中有两种常用且完全不同的原生 shell:cmd 和 powershell,以及包括 sh 在内的备用 shell。 SHELL 指令可以出现多次。每个 SHELL 指令都会覆盖所有先前的 SHELL 指令,并影响所有后续指令。例如: FROM microsoft/windowsservercore # 执行为 cmd /S /C echo default RUN echo default # 执行为 cmd /S /C powershell -command Write-Host default RUN powershell -command Write-Host default # 执行为 powershell -command Write -Host hello SHELL ["powershell", "-command"] RUN Write-Host hello #执行为cmd /S /C echo hello SHELL ["cmd", "/S"", "/C"] RUN echo hello在 Dockerfile 中使用它们的 shell 形式时,以下指令可能会受到 SHELL 指令的影响:RUN、CMD 和 ENTRYPOINT。以下示例是在 Windows 上发现的常见模式,可以通过使用 SHELL 指令进行简化: ... RUN powershell -command Execute-MyCmdlet -param1 "c:\foo.txt" ... docker 调用的命令是: cmd /S /C powershell -command Execute-MyCmdlet -param1 "c:\foo.txt" 这个效率低下有两个原因。首先,调用了一个不必要的 cmd.exe 命令处理器(又名 shell)。其次,shell 形式的每个 RUN 指令都需要在命令前面加上一个额外的 powershell -command。为了提高效率,可以采用两种机制之一。一种是使用 JSON 形式的 RUN 命令,例如: ... RUN ["powershell", "-command", "Execute-MyCmdlet", "-param1 \"c:\\foo.txt\""] ... 虽然 JSON 格式是明确的并且不使用不必要的 cmd.exe,但它确实需要通过双引号和转义来增加详细信息。另一种机制是使用 SHELL 指令和 shell 形式,为 Windows 用户提供更自然的语法,尤其是与转义解析器指令结合使用时:# escape=` FROM microsoft/nanoserver SHELL ["powershell","-command" ] RUN New-Item -ItemType Directory C:\Example ADD Execute-MyCmdlet.ps1 c:\example\ RUN c:\example\Execute-MyCmdlet -sample 'hello world' 结果:PS E:\docker\build\shell > 码头工人建造 -t 壳。将构建上下文发送到 Docker 守护程序 4.096 kB 步骤 1/5:FROM microsoft/nanoserver ---> 22738ff49c6d 步骤 2/5:SHELL powershell -command ---> 在 6fcdb6855ae2 中运行 ---> 6331462d4300 删除中间容器 6fcdb6855ae2 步骤 3/ 5 : RUN New-Item -ItemType Directory C:\Example ---> Running in d0eef8386e97 Directory: C:\ Mode LastWriteTime Length Name ---- ------------- ---- -- ---- d----- 10/28/2016 11:26 AM 示例 ---> 3f2fbf1395d9 删除中间容器 d0eef8386e97 步骤 4/5:添加 Execute-MyCmdlet.ps1 c:\example\ --- > a955b2621c31 移除中间容器 b825593d39fc 步骤 5/5 : RUN c:\example\Execute-MyCmdlet 'hello world' ---> 在 be6d8e63fe75 hello world 中运行 ---> 8e559e9bf424 移除中间容器 be6d8e63fe75 成功构建 8e559e9bf424 PS E:\docker \build\shell> SHELL 指令也可以用来修改shell 的运行方式。例如,在 Windows 上使用 SHELL cmd /S /C /V:ON|OFF,可以修改延迟的环境变量扩展语义。如果需要其他 shell,例如 zsh、csh、tcsh 等,也可以在 Linux 上使用 SHELL 指令。 SHELL 功能是在 Docker 1.12 中添加的。


T
TomDotTom

在此页面上的答案的基础上,我要补充一点,您必须知道每个 RUN 语句都使用 /bin/sh -c 独立于其他语句运行,因此不会获得通常在登录 shell 中获取的任何环境变量。

到目前为止,我发现的最好方法是将脚本添加到 /etc/bash.bashrc,然后将每个命令作为 bash 登录名调用。

RUN echo "source /usr/local/bin/virtualenvwrapper.sh" >> /etc/bash.bashrc
RUN /bin/bash --login -c "your command"

例如,您可以安装和设置 virtualenvwrapper,创建虚拟环境,在使用 bash 登录时激活它,然后将 python 模块安装到此环境中:

RUN pip install virtualenv virtualenvwrapper
RUN mkdir -p /opt/virtualenvs
ENV WORKON_HOME /opt/virtualenvs
RUN echo "source /usr/local/bin/virtualenvwrapper.sh" >> /etc/bash.bashrc
RUN /bin/bash --login -c "mkvirtualenv myapp"
RUN echo "workon mpyapp" >> /etc/bash.bashrc
RUN /bin/bash --login -c "pip install ..."

阅读 bash startup files 上的手册有助于了解什么时候采购。


B
Bruno Bronosky

根据 https://docs.docker.com/engine/reference/builder/#runRUN 的默认 [Linux] shell 是 /bin/sh -c。您似乎期待 bashisms,因此您应该使用 RUN 的“执行形式”来指定您的 shell。

RUN ["/bin/bash", "-c", "source /usr/local/bin/virtualenvwrapper.sh"]

否则,使用 RUN 的“shell 形式”并指定不同的 shell 会导致嵌套 shell。

# don't do this...
RUN /bin/bash -c "source /usr/local/bin/virtualenvwrapper.sh"
# because it is the same as this...
RUN ["/bin/sh", "-c", "/bin/bash" "-c" "source /usr/local/bin/virtualenvwrapper.sh"]

如果您有超过 1 个需要不同 shell 的命令,则应阅读 https://docs.docker.com/engine/reference/builder/#shell 并通过将其放在 RUN 命令之前来更改默认 shell:

SHELL ["/bin/bash", "-c"]

最后,如果您在 root 用户的 .bashrc 文件中放置了您需要的任何内容,您可以将 -l 标志添加到 SHELLRUN 命令以使其成为登录 shell 并确保它被获取。

注意:我故意忽略了一个事实,即将脚本作为 RUN 中的唯一命令是没有意义的。


B
Bruno Bronosky

根据 Docker 文档

要使用“/bin/sh”以外的其他 shell,请使用传入所需 shell 的 exec 形式。例如,运行 ["/bin/bash", "-c", "echo hello"]

请参阅https://docs.docker.com/engine/reference/builder/#run


v
vikas027

我在 Dockerfile 中运行 source 时也遇到了问题

这对于构建 CentOS 6.6 Docker 容器运行得非常好,但在 Debian 容器中出现了问题

RUN cd ansible && source ./hacking/env-setup

这就是我解决它的方法,可能不是一种优雅的方式,但这对我有用

RUN echo "source /ansible/hacking/env-setup" >> /tmp/setup
RUN /bin/bash -C "/tmp/setup"
RUN rm -f /tmp/setup

M
Mohan

如果您有 SHELL 可用,您应该使用 this answer - 不要使用接受的一个,这会迫使您将 dockerfile 的其余部分放在每个 this comment 的一个命令中。

如果您使用的是旧 Docker 版本并且无权访问 SHELL,那么只要您不需要 .bashrc 中的任何内容(这在 Dockerfiles 中很少见),这将起作用:

ENTRYPOINT ["bash", "--rcfile", "/usr/local/bin/virtualenvwrapper.sh", "-ci"]

注意 -i 是让 bash 读取 rcfile 所必需的。


v
vimdude

您可能想要运行 bash -v 以查看正在获取的内容。

我会执行以下操作而不是使用符号链接:

RUN echo "source /usr/local/bin/virtualenvwrapper.sh" >> /etc/bash.bashrc


P
Paul Morie

这可能会发生,因为 source 是 bash 的内置文件,而不是文件系统某处的二进制文件。您是否打算使用您采购的脚本来更改容器?


m
mattexx

我最终把我的 env 东西放在 .profile 中并改变了 SHELL 之类的东西

SHELL ["/bin/bash", "-c", "-l"]

# Install ruby version specified in .ruby-version
RUN rvm install $(<.ruby-version)

# Install deps
RUN rvm use $(<.ruby-version) && gem install bundler && bundle install

CMD rvm use $(<.ruby-version) && ./myscript.rb

s
shadfc

如果您只是尝试使用 pip 将某些东西安装到 virtualenv 中,您可以修改 PATH env 以首先查看 virtualenv 的 bin 文件夹

ENV PATH="/path/to/venv/bin:${PATH}"

然后 Dockerfile 中的任何 pip install 命令将首先找到 /path/to/venv/bin/pip 并使用它,它将安装到该 virtualenv 而不是系统 python 中。


D
DeusXMachina

下面是一个示例 Dockerfile,它利用几种巧妙的技术为每个 RUN 节运行完整的 conda 环境。您可以使用类似的方法在脚本文件中执行任意准备。

注意:在登录/交互式与非登录/非交互式 shell、信号、exec、处理多个参数的方式、引用、how CMD and ENTRYPOINT interact 以及其他一百万件事方面存在很多细微差别,所以不要如果在乱搞这些东西时,东西横着走,那就灰心了。我花了很多令人沮丧的时间来挖掘各种文学作品,但我仍然不太明白它们是如何点击的。

## Conda with custom entrypoint from base ubuntu image
## Build with e.g. `docker build -t monoconda .`
## Run with `docker run --rm -it monoconda bash` to drop right into
## the environment `foo` !
FROM ubuntu:18.04

## Install things we need to install more things
RUN apt-get update -qq &&\
    apt-get install -qq curl wget git &&\
    apt-get install -qq --no-install-recommends \
        libssl-dev \
        software-properties-common \
    && rm -rf /var/lib/apt/lists/*

## Install miniconda
RUN wget -nv https://repo.anaconda.com/miniconda/Miniconda3-4.7.12-Linux-x86_64.sh -O ~/miniconda.sh && \
    /bin/bash ~/miniconda.sh -b -p /opt/conda && \
    rm ~/miniconda.sh && \
    /opt/conda/bin/conda clean -tipsy && \
    ln -s /opt/conda/etc/profile.d/conda.sh /etc/profile.d/conda.sh

## add conda to the path so we can execute it by name
ENV PATH=/opt/conda/bin:$PATH

## Create /entry.sh which will be our new shell entry point. This performs actions to configure the environment
## before starting a new shell (which inherits the env).
## The exec is important! This allows signals to pass
RUN     (echo '#!/bin/bash' \
    &&   echo '__conda_setup="$(/opt/conda/bin/conda shell.bash hook 2> /dev/null)"' \
    &&   echo 'eval "$__conda_setup"' \
    &&   echo 'conda activate "${CONDA_TARGET_ENV:-base}"' \
    &&   echo '>&2 echo "ENTRYPOINT: CONDA_DEFAULT_ENV=${CONDA_DEFAULT_ENV}"' \
    &&   echo 'exec "$@"'\
        ) >> /entry.sh && chmod +x /entry.sh

## Tell the docker build process to use this for RUN.
## The default shell on Linux is ["/bin/sh", "-c"], and on Windows is ["cmd", "/S", "/C"]
SHELL ["/entry.sh", "/bin/bash", "-c"]
## Now, every following invocation of RUN will start with the entry script
RUN     conda update conda -y

## Create a dummy env
RUN     conda create --name foo

## I added this variable such that I have the entry script activate a specific env
ENV CONDA_TARGET_ENV=foo

## This will get installed in the env foo since it gets activated at the start of the RUN stanza
RUN  conda install pip

## Configure .bashrc to drop into a conda env and immediately activate our TARGET env
RUN conda init && echo 'conda activate "${CONDA_TARGET_ENV:-base}"' >>  ~/.bashrc
ENTRYPOINT ["/entry.sh"]

M
Manuel Lazo

我已经为使用 Django Web Web 框架开发的应用程序处理了类似的场景,这些步骤对我来说非常有效:

我的 Dockerfile 的内容

[mlazo@srvjenkins project_textile]$ cat docker/Dockerfile.debug 
FROM malazo/project_textile_ubuntu:latest 

ENV PROJECT_DIR=/proyectos/project_textile PROJECT_NAME=project_textile WRAPPER_PATH=/usr/share/virtualenvwrapper/virtualenvwrapper.sh

COPY . ${PROJECT_DIR}/
WORKDIR ${PROJECT_DIR}

RUN echo "source ${WRAPPER_PATH}" > ~/.bashrc
SHELL ["/bin/bash","-c","-l"]
RUN     mkvirtualenv -p $(which python3) ${PROJECT_NAME} && \
        workon ${PROJECT_NAME} && \
        pip3 install -r requirements.txt 

EXPOSE 8000

ENTRYPOINT ["tests/container_entrypoint.sh"]
CMD ["public/manage.py","runserver","0:8000"]

ENTRYPOINT 文件“tests/container_entrypoint.sh”的内容:

[mlazo@srvjenkins project_textile]$ cat tests/container_entrypoint.sh
#!/bin/bash
# *-* encoding : UTF-8 *-*
sh tests/deliver_env.sh
source ~/.virtualenvs/project_textile/bin/activate 
exec python "$@"

最后,我部署容器的方式是:

[mlazo@srvjenkins project_textile]$ cat ./tests/container_deployment.sh 
#!/bin/bash

CONT_NAME="cont_app_server"
IMG_NAME="malazo/project_textile_app"
[ $(docker ps -a |grep -i ${CONT_NAME} |wc -l) -gt 0 ] && docker rm -f ${CONT_NAME} 
docker run --name ${CONT_NAME} -p 8000:8000 -e DEBUG=${DEBUG} -e MYSQL_USER=${MYSQL_USER} -e MYSQL_PASSWORD=${MYSQL_PASSWORD} -e MYSQL_HOST=${MYSQL_HOST} -e MYSQL_DATABASE=${MYSQL_DATABASE} -e MYSQL_PORT=${MYSQL_PORT}  -d ${IMG_NAME}

我真的希望这对其他人有帮助。

问候,


u
unlimitedfox

我遇到过同样的问题。如果您还使用 python 基础映像,则可以将 shell 脚本中的 shebang 行更改为 #!/bin/bash。例如,参见 Manuel Lazo 中的 container_entrypoint.sh


n
nginx 74

这是我在“Ubuntu 20.04”上的解决方案

RUN apt -y update
RUN apt -y install curl
SHELL ["/bin/bash", "-c"]
RUN curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.38.0/install.sh | bash
RUN source /root/.bashrc
RUN bash -c ". /root/.nvm/nvm.sh && nvm install v16 && nvm alias default v16 && nvm use default"