容器用户指南

目录

一 法律声明............................................................................................................. 1

二 前言.................................................................................................................... 1

三 iSula容器引擎...................................................................................................... 3

3.1 概述............................................................................................................ 3

3.2 安装与部署.................................................................................................. 4

3.3 使用方法.................................................................................................... 25

3.4 附录......................................................................................................... 115

一 法律声明

商标声明

版权所有© 2020 北京拓林思软件有限公司。Turbolinux是北京拓林思软件有限公司的注册商标。Linux是Linus Torvalds先生的注册商标。openEuler为华为技术有限公司的商标。本文档提及的其他所有商标或注册商标，由各自的所有人拥有。所有其它商标归其相应的所有者所有。

免责声明
    本文档仅供信息参考，这里提供的信息可能有所变化，将不另行通知。Turbolinux公司不承诺对于本文档有关的任何保证负责。

二 前言

概述

TurboLinux Enterprise Server 15是一款基于openEuler开源源码开发的开源操作系统。

TurboLinux Enterprise Server 15中提供容器运行的基础平台 iSula。

iSula 为华为容器技术方案品牌，其原意是一种非常强大的蚂蚁，学术上称为“子弹蚁”，因为被它咬一口，犹如被子弹打到那般疼痛。在居住于中南美洲亚马逊丛林的巴西原住民眼里，iSula 是世界上非常强大的昆虫之一。华为容器技术方案品牌因其含义取名。

iSula 基础容器平台同时提供 Docker engine 与轻量化容器引擎 iSulad，用户可根据需要自主选择。

同时根据不同使用场景，提供多种容器形态，包括：

适合大部分通用场景的普通容器

适合强隔离与多租户场景的安全容器

适合使用systemd管理容器内业务场景的系统容器

本文档提供容器引擎的安装和使用方法以及各个容器形态的部署使用方法。

读者对象

本文档主要适用于使用TurboLinux Enterprise Server 15并需要安装容器的用户。用户需要具备以下经验和技能：

熟悉Linux基本操作

对容器有一定了解

三 iSula容器引擎

3.1 概述

iSula通用容器引擎相比docker，是一种新的容器解决方案，提供统一的架构设计来满足CT和IT领域的不同需求。相比Golang编写的Docker，轻量级容器使用C/C++实现，具有轻、灵、巧、快的特点，不受硬件规格和架构的限制，底噪开销更小，可应用领域更为广泛。

容器统一架构如图所示。

3.2 安装与部署

3.2.1 安装方法

iSulad可以通过yum或rpm命令两种方式安装，由于yum会自动安装依赖，而rpm命令需要手动安装所有依赖，所以推荐使用yum安装。

这里给出两种安装方式的操作方法。

（推荐）使用yum安装iSulad，参考命令如下：

$ sudo yum install -y iSulad

使用rpm安装iSulad，需要下载iSulad及其所有依赖库的RPM包，然后手动安装。安装单个iSulad的RPM包（依赖包安装方式相同），参考命令如下：

$ sudo rpm -ihv iSulad-xx.xx.xx-YYYYmmdd.HHMMSS.gitxxxxxxxx.aarch64.rpm

3.2.2 部署配置

3.2.2.1 部署方式

轻量级容器引擎（iSulad）服务端daemon为isulad，isulad可以通过配置文件进行配置，也可以通过命令行的方式进行配置，例如：isulad –xxx，优先级从高到低是：命令行方式>配置文件>代码中默认配置。

说明：如果采用systemd管理iSulad进程，修改/etc/sysconfig/iSulad文件中的OPTIONS字段，等同于命令行方式进行配置。

命令行方式

在启动服务的时候，直接通过命令行进行配置。其配置选项可通过以下命令查阅：

$ isulad --help

lightweight container runtime daemon

Usage:  isulad [global options]

GLOBAL OPTIONS:

      --authorization-plugin            Use authorization plugin

      --cgroup-parent                   Set parent cgroup for all containers

      --cni-bin-dir                     The full path of the directory in which to search for CNI plugin binaries. Default: /opt/cni/bin

      --cni-conf-dir                    The full path of the directory in which to search for CNI config files. Default: /etc/cni/net.d

      --default-ulimit                  Default ulimits for containers (default [])

  -e, --engine                          Select backend engine

  -g, --graph                           Root directory of the iSulad runtime

  -G, --group                           Group for the unix socket(default is isulad)

      --help                            Show help

      --hook-spec                       Default hook spec file applied to all containers

  -H, --host                            The socket name used to create gRPC server

      --image-layer-check               Check layer intergrity when needed

      --image-opt-timeout               Max timeout(default 5m) for image operation

      --insecure-registry               Disable TLS verification for the given registry

      --insecure-skip-verify-enforce    Force to skip the insecure verify(default false)

      --log-driver                      Set daemon log driver, such as: file

  -l, --log-level                       Set log level, the levels can be: FATAL ALERT CRIT ERROR WARN NOTICE INFO DEBUG TRACE

      --log-opt                         Set daemon log driver options, such as: log-path=/tmp/logs/ to set directory where to store daemon logs

      --native.umask                    Default file mode creation mask (umask) for containers

      --network-plugin                  Set network plugin, default is null, suppport null and cni

  -p, --pidfile                         Save pid into this file

      --pod-sandbox-image               The image whose network/ipc namespaces containers in each pod will use. (default "rnd-dockerhub.huawei.com/library/pause-${machine}:3.0")

      --registry-mirrors                Registry to be prepended when pulling unqualified images, can be specified multiple times

      --start-timeout                   timeout duration for waiting on a container to start before it is killed

  -S, --state                           Root directory for execution state files

      --storage-driver                  Storage driver to use(default overlay2)

  -s, --storage-opt                     Storage driver options

      --tls                             Use TLS; implied by --tlsverify

      --tlscacert                       Trust certs signed only by this CA (default "/root/.iSulad/ca.pem")

      --tlscert                         Path to TLS certificate file (default "/root/.iSulad/cert.pem")

      --tlskey                          Path to TLS key file (default "/root/.iSulad/key.pem")

      --tlsverify                       Use TLS and verify the remote

      --use-decrypted-key               Use decrypted private key by default(default true)

  -V, --version                         Print the version

   --websocket-server-listening-port    CRI websocket streaming service listening port (default 10350)

示例： 启动isulad，并将日志级别调整成DEBUG

$ isulad -l DEBUG

配置文件方式

isulad配置文件为/etc/isulad/daemon.json，各配置字段说明如下：

overlay2.overri说明如下：de_kernel_check=true # 忽略内核版本检查

overlay2.size=${size} # 设置rootfs quota限额为${size}大小

overlay2.basesize=${size} #等价于overlay2.size

normal    # 启动的容器umask值为0022

secure    # 启动的容器umask值为0027（默认值）

示例：

$ cat /etc/isulad/daemon.json

{

    "group": "isulad",

    "graph": "/var/lib/isulad",

    "state": "/var/run/isulad",

    "engine": "lcr",

    "log-level": "ERROR",

    "pidfile": "/var/run/isulad.pid",

    "log-opts": {

        "log-file-mode": "0600",

        "log-path": "/var/lib/isulad",

        "max-file": "1",

        "max-size": "30KB"

    },

    "log-driver": "stdout",

    "hook-spec": "/etc/default/isulad/hooks/default.json",

    "start-timeout": "2m",

    "storage-driver": "overlay2",

    "storage-opts": [

        "overlay2.override_kernel_check=true"

    ],

    "registry-mirrors": [

        "docker.io"

    ],

    "insecure-registries": [

        "rnd-dockerhub.huawei.com"

    ],

    "pod-sandbox-image": "",

    "image-opt-timeout": "5m",

    "native.umask": "secure",

    "network-plugin": "",

    "cni-bin-dir": "",

    "cni-conf-dir": "",

    "image-layer-check": false,

    "use-decrypted-key": true,

    "insecure-skip-verify-enforce": false

}

说明：默认配置文件/etc/isulad/daemon.json仅供参考，请根据实际需要进行配置

3.2.2.2 存储说明

3.2.2.3 约束限制

50. 高并发场景（并发启动200容器）下，glibc的内存管理机制会导致内存空洞以及虚拟内存较大（例如10GB）的问题。该问题是高并发场景下glibc内存管理机制的限制，而不是内存泄露，不会导致内存消耗无限增大。可以通过设置MALLOC_ARENA_MAX环境变量来减少虚拟内存的问题，而且可以增大减少物理内存的概率。但是这个环境变量会导致iSulad的并发性能下降，需要用户根据实际情况做配置。

参考实践情况，平衡性能和内存，可以设置MALLOC_ARENA_MAX为4。（在arm64服务器上面对iSulad的性能影响在10%以内）

   配置方法：

1. 手动启动iSulad的场景，可以直接export MALLOC_ARENA_MAX=4，然后再启动iSulad即可。

2. systemd管理iSulad的场景，可以修改/etc/sysconfig/iSulad，增加一条MALLOC_ARENA_MAX=4即可。

50. 为daemon指定各种运行目录时的注意事项

以–root为例，当使用/new/path/作为daemon新的Root Dir时，如果/new/path/下已经存在文件，且目录或文件名与isulad需要使用的目录或文件名冲突（例如：engines、mnt等目录）时，isulad可能会更新原有目录或文件的属性，包括属主、权限等为自己的属主和权限。

所以，用户需要明白重新指定各种运行目录和文件，会对冲突目录、文件属性的影响。建议用户指定的新目录或文件为isulad专用，避免冲突导致的文件属性变化以及带来的安全问题。

50. 日志文件管理：

 须知：

日志功能对接： iSulad由systemd管理，日志也由systemd管理，然后传输给rsyslogd。rsyslog默认会对写日志速度有限制，可以通过修改/etc/rsyslog.conf文件，增加”$imjournalRatelimitInterval 0”配置项，然后重启rsyslogd的服务即可。

50. 命令行参数解析限制

使用iSulad命令行接口时，其参数解析方式与docker略有不同，对于命令行中带参数的flag，不管使用长flag还是短flag，只会将该flag后第一个空格或与flag直接相连接的’=‘后的字符串作为flag的参数，具体如下：

使用短flag时，与“-”连接的字符串中的每个字符都被当作短flag（当有=号时，=号后的字符串当成=号前的短flag的参数）。

isula run -du=root busybox 等价于 isula run -du root busybox 或 isula run -d -u=root busybox 或 isula run -d -u root busybox ，当使用isula run -du:root时，由于-:不是有效的短flag，因此会报错。前述的命令行也等价于isula run -ud root busybox，但不推荐这种使用方式，可能带来语义困扰。

使用长flag时，与“–”连接的字符串作为一个整体当成长flag，若包含=号，则=号前的字符串为长flag，=号后的为参数。

isula run --user=root busybox

等价于

isula run --user root busybox

50. 启动一个isulad容器，不能够以非root用户进行isula run -i/-t/-ti以及isula attach/exec操作。

3.2.2.4 DAEMON多端口的绑定

描述

daemon端可以绑定多个unix socket或者tcp端口，并在这些端口上监听，客户端可以通过这些端口和daemon端进行交互。

接口

用户可以在/etc/isulad/daemon.json文件的hosts字段配置一个或者多个端口。当然用户也可以不指定hosts。

{

    "hosts": [

        "unix:///var/run/isulad.sock",

        "tcp://localhost:5678",

        "tcp://127.0.0.1:6789"

    ]

}

用户也可以在/etc/sysconfig/iSulad中通过-H或者–host配置端口。用户同样可以不指定hosts。

OPTIONS='-H unix:///var/run/isulad.sock --host tcp://127.0.0.1:6789'

如果用户在daemon.json文件及iSulad中均未指定hosts，则daemon在启动之后将默认监听unix:///var/run/isulad.sock。

限制

用户不可以在/etc/isulad/daemon.json和/etc/sysconfig/iSuald两个文件中同时指定hosts，如果这样做将会出现错误，isulad无法正常启动；

unable to configure the isulad with file /etc/isulad/daemon.json: the following directives are specified both as a flag and in the configuration file: hosts: (from flag: [unix:///var/run/isulad.sock tcp://127.0.0.1:6789], from file: [unix:///var/run/isulad.sock tcp://localhost:5678 tcp://127.0.0.1:6789])

若指定的host是unix socket，则必须是合法的unix socket，需要以”unix://“开头，后跟合法的socket绝对路径；

若指定的host是tcp端口，则必须是合法的tcp端口，需要以”tcp://“开头，后跟合法的IP地址和端口，IP地址可以为localhost；

可以指定至多10个有效的端口，超过10个则会出现错误，isulad无法正常启动。

3.2.2.5 配置TLS认证与开启远程访问

描述

iSulad采用C/S模式进行设计，在默认情况，iSulad守护进程isulad只侦听本地/var/run/isulad.sock，因此只能在本地通过客户端isula执行相关命令操作容器。为了能使isula可以远程访问容器，isulad守护进程需要通过tcp:ip的方式侦听远程访问的端口。然而，仅通过简单配置tcp ip:port进行侦听，这样会导致所有的ip都可以通过调用isula -H tcp://:port与isulad通信，容易导致安全问题，因此推荐使用较安全版本的TLS(Transport Layer Security - 安全传输层协议）方式进行远程访问。

生成TLS证书

明文私钥和证书生成方法示例

#!/bin/bash

set -e

echo -n "Enter pass phrase:"

read password

echo -n "Enter public network ip:"

read publicip

echo -n "Enter host:"

read HOST

echo " => Using hostname: $publicip, You MUST connect to iSulad using this host!"

mkdir -p $HOME/.iSulad

cd $HOME/.iSulad

rm -rf $HOME/.iSulad/*

echo " => Generating CA key"

openssl genrsa -passout pass:$password -aes256 -out ca-key.pem 4096

echo " => Generating CA certificate"

openssl req -passin pass:$password -new -x509 -days 365 -key ca-key.pem -sha256 -out ca.pem -subj "/C=CN/ST=zhejiang/L=hangzhou/O=Huawei/OU=iSulad/CN=iSulad@huawei.com"

echo " => Generating server key"

openssl genrsa -passout pass:$password -out server-key.pem 4096

echo " => Generating server CSR"

openssl req -passin pass:$password -subj /CN=$HOST -sha256 -new -key server-key.pem -out server.csr

echo subjectAltName = DNS:$HOST,IP:$publicip,IP:127.0.0.1 >> extfile.cnf

echo extendedKeyUsage = serverAuth >> extfile.cnf

echo " => Signing server CSR with CA"

openssl x509 -req -passin pass:$password -days 365 -sha256 -in server.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out server-cert.pem -extfile extfile.cnf

echo " => Generating client key"

openssl genrsa -passout pass:$password -out key.pem 4096

echo " => Generating client CSR"

openssl req -passin pass:$password -subj '/CN=client' -new -key key.pem -out client.csr

echo " => Creating extended key usage"

echo extendedKeyUsage = clientAuth > extfile-client.cnf

echo " => Signing client CSR with CA"

openssl x509 -req -passin pass:$password -days 365 -sha256 -in client.csr -CA ca.pem -CAkey ca-key.pem -CAcreateserial -out cert.pem -extfile extfile-client.cnf

rm -v client.csr server.csr extfile.cnf extfile-client.cnf

chmod -v 0400 ca-key.pem key.pem server-key.pem

chmod -v 0444 ca.pem server-cert.pem cert.pem

加密私钥和证书请求文件生成方法示例

#!/bin/bash

echo -n "Enter public network ip:"

read publicip

echo -n "Enter pass phrase:"

read password

# remove certificates from previous execution.

rm -f *.pem *.srl *.csr *.cnf

# generate CA private and public keys

echo 01 > ca.srl

openssl genrsa -aes256 -out ca-key.pem -passout pass:$password 2048

openssl req -subj '/C=CN/ST=zhejiang/L=hangzhou/O=Huawei/OU=iSulad/CN=iSulad@huawei.com' -new -x509 -days $DAYS -passin pass:$password -key ca-key.pem -out ca.pem

# create a server key and certificate signing request (CSR)

openssl genrsa -aes256 -out server-key.pem -passout pass:$PASS 2048

openssl req -new -key server-key.pem -out server.csr -passin pass:$password -subj '/CN=iSulad'

echo subjectAltName = DNS:iSulad,IP:${publicip},IP:127.0.0.1 > extfile.cnf

echo extendedKeyUsage = serverAuth >> extfile.cnf

# sign the server key with our CA

openssl x509 -req -days $DAYS -passin pass:$password -in server.csr -CA ca.pem -CAkey ca-key.pem -out server-cert.pem -extfile extfile.cnf

# create a client key and certificate signing request (CSR)

openssl genrsa -aes256 -out key.pem -passout pass:$password 2048

openssl req -subj '/CN=client' -new -key key.pem -out client.csr -passin pass:$password

# create an extensions config file and sign

echo extendedKeyUsage = clientAuth > extfile.cnf

openssl x509 -req -days 365 -passin pass:$password -in client.csr -CA ca.pem -CAkey ca-key.pem -out cert.pem -extfile extfile.cnf

# remove the passphrase from the client and server key

openssl rsa -in server-key.pem -out server-key.pem -passin pass:$password

openssl rsa -in key.pem -out key.pem -passin pass:$password

# remove generated files that are no longer required

rm -f ca-key.pem ca.srl client.csr extfile.cnf server.csr

接口

{

    "tls": true,

    "tls-verify": true,

    "tls-config": {

              "CAFile": "/root/.iSulad/ca.pem",

              "CertFile": "/root/.iSulad/server-cert.pem",

              "KeyFile":"/root/.iSulad/server-key.pem"

    }

}

限制

服务端支持的模式如下：

模式1（验证客户端）：tlsverify, tlscacert, tlscert, tlskey。

模式2（不验证客户端）：tls, tlscert, tlskey。

客户端支持的模式如下:

模式1(使用客户端证书进行身份验证，并根据给定的CA验证服务器)：tlsverify, tlscacert, tlscert, tlskey。

模式2(验证服务器)：tlsverify, tlscacert。

如果需要采用双向认证方式进行通讯，则服务端采用模式1，客户端采用模式1；

如果需要采用单向认证方式进行通讯，则服务端采用模式2，客户端采用模式2。

须知：

- 采用RPM安装方式时，服务端配置可通过/etc/isulad/daemon.json以及/etc/sysconfig/iSulad配置修改

- 相比非认证或者单向认证方式，双向认证具备更高的安全性，推荐使用双向认证的方式进行通讯

- GRPC开源组件日志不由iSulad进行接管，如果需要查看GRPC相关日志，请按需设置GRPC_VERBOSITY和GRPC_TRACE环境变量

示例

服务端：

 isulad -H=tcp://0.0.0.0:2376 --tlsverify --tlscacert ~/.iSulad/ca.pem --tlscert ~/.iSulad/server-cert.pem --tlskey ~/.iSulad/server-key.pem

客户端：

 isula version -H=tcp://$HOSTIP:2376 --tlsverify --tlscacert ~/.iSulad/ca.pem --tlscert ~/.iSulad/cert.pem --tlskey ~/.iSulad/key.pem

3.2.3 卸载

卸载iSulad的操作步骤如下：

卸载iSulad及其依赖软件包

若使用yum方式安装，卸载的参考命令如下：

$ sudo yum remove iSulad

若使用rpm方式安装，需卸载iSulad及其依赖包，卸载单个RPM包的参考命令如下：

sudo rpm -e iSulad-xx.xx.xx-YYYYmmdd.HHMMSS.gitxxxxxxxx.aarch64.rpm

镜像、容器、volumes以及相关配置文件不会自动删除，需要手动删除。参考命令如下：

$ sudo rm -rf /var/lib/iSulad

3.3 使用方法

3.3.1 容器管理

3.3.1.1创建容器

描述

isula create 命令用于创建一个新的容器。容器引擎会使用指定的容器镜像创建容器读写层，或者使用指定的本地rootfs作为容器的运行环境。创建完成后，会将容器的ID输出到标准输出，后续可以使用isula start 命令启动该容器。新创建的容器状态为inited状态

用法

isula create [OPTIONS] IMAGE [COMMAND] [ARG...]

参数

create命令支持参数参考下表。

–annotation native.umask=normal # 启动的容器umask值为0022

–annotation native.umask=secure # 启动的容器umask值为0027

约束限制

使用–user或–group-add参数，在容器启动阶段校验user或group时，容器如果使用的是OCI镜像，是从镜像的真实rootfs的etc/passwd和etc/group文件中校验，如果使用的是rootfs文件夹或块设备作为容器的rootfs，则校验的是host中的etc/passwd和etc/group文件；查找时使用的rootfs会忽略-v 和–mount等挂载参数，意味着使用这些参数尝试覆盖etc/passwd和etc/group两个文件时，在查找阶段不生效，只在容器真正启动时生效。生成的配置保存在”iSulad根目录/engine/容器ID/start_generate_config.json”，文件格式如下：

{

    "uid": 0,

    "gid": 8,

    "additionalGids": [

        1234,

        8

    ]

}

示例

创建一个新容器

$ isula create busybox

fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

$ isula ps -a

STATUS PID IMAGE   COMMAND EXIT_CODE RESTART_COUNT STARTAT FINISHAT RUNTIME ID           NAMES                                                            inited -   busybox "sh"    0         0             -       -        lcr     fd7376591a9c fd7376591a9c4521...

3.3.1.2启动容器

描述

isula start命令用于启动一个或多个容器。

用法

isula start [OPTIONS] CONTAINER [CONTAINER...]

参数

start命令支持参数参考下表。

示例

启动一个新容器

$ isula start fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

3.3.1.3 运行容器

描述

isula run命令命令用于创建一个新的容器。会使用指定的容器镜像创建容器读写层，并且为运行指定的命令做好准备。创建完成后，使用指定的命令启动该容器。run命令相当于create然后start容器。

用法

isula run [OPTIONS] ROOTFS|IMAGE [COMMAND] [ARG...]

参数

run命令支持参数参考下表。

–annotation native.umask=normal # 启动的容器umask值为0022

–annotation native.umask=secure # 启动的容器umask值为0027

约束限制

50. 容器父进程进程退出时，则对应的容器也自动退出。
50. 创建普通容器时父进程不能为init，因为普通容器的权限不够，导致容器可以创建成功，但是attach进去的时候会卡住。
50. 运行容器时，不指定–net，默认hostname为localhost。
50. 使用–files-limit参数传入一个很小的值，如1时，启动容器时，iSulad创建cgroup子组后先设置files.limit值，再将容器进程的PID写入该子组的cgroup.procs文件，此时容器进程已经打开超过1个句柄，因而写入报错导致启动失败启动容器会失败。
50. –mount参数和–volume参数同时存在时，如果目的路径有冲突，则–mount会在–volume之后挂载(即将–volume中的挂载点覆盖掉)。

备注：轻量级容器的参数中type支持bind或squashfs，当type=squashfs时，src是镜像的路径；原生docker的参数type支持bind、volume、tmpfs。

50. restart重启策略不支持unless-stopped。
50. 以下三种情况与docker 返回值不一致，docker返回127,轻量级容器返回125

–device参数指定主机设备为不存在的设备

–hook-spec参数指定不存在的hook json文件

–entrypoint 参数指定不存在的入口参数

50. 使用–volume参数时，由于容器启动时会对/dev/ptmx设备进行删除重建，因此请勿将/dev目录挂载至容器/dev目录，应使用–device对/dev下的设备在容器中进行挂载
50. 禁止使用echo的方式向run命令的stdin输入数据，会导致客户端卡死。应该直接将echo的值作为命令行参数传给容器

[root@localhost ~]# echo ls | isula run -i busybox /bin/sh

^C

[root@localhost ~]#

上述命令出现客户端卡死现象，这是由于上述命令相当于往stdin输入ls，随后EOF被读取，客户端不再发送数据，等待服务端退出，但是服务端无法区分客户端是否需要继续发送数据，因而服务端卡在read数据上，最终导致双方均卡死。

正确的执行方式为：

[root@localhost ~]# isula run -i busybox ls

bin

dev

etc

home

proc

root

sys

tmp

usr

var

[root@localhost ~]#

50. 使用host的根目录（/）作为容器的文件系统，那么在挂载路径时，如果有如下情况

须知：

第一种情况，先挂载/home/test1，然后挂载/home/test2，这种情况会导致/home/test1的内容覆盖掉原来/mnt下面的内容，这样可能导致/mnt下面不存在abc目录，这样会导致挂载/home/test2到/mnt/abc失败。

第二种情况，先挂载/home/test2，然后挂载/home/test1。这种情况，第二次的挂载会把/mnt的内容替换为/home/test1的内容，这样第一次挂载的/home/test2到/mnt/abc的内容就看不到了。

因此，不支持第一种使用方式；第二种使用用户需要了解这种数据无法访问的风险

须知：

- 高并发场景（并发启动200容器）下，glibc的内存管理机制会导致内存空洞以及虚拟内存较大（例如10GB）的问题。该问题是高并发场景下glibc内存管理机制的限制，而不是内存泄露，不会导致内存消耗无限增大。可以通过设置MALLOC_ARENA_MAX环境变量来减少虚拟内存的问题，而且可以增大减少物理内存的概率。但是这个环境变量会导致iSulad的并发性能下降，需要用户根据实际情况做配置。

   参考实践情况，平衡性能和内存，可以设置MALLOC_ARENA_MAX为4。（在arm64服务器上面对iSulad的性能影响在10%以内） 

   配置方法： 

   1. 手动启动iSulad的场景，可以直接export MALLOC_ARENA_MAX=4，然后再启动iSulad即可。 

   2. systemd管理iSulad的场景，可以修改/etc/sysconfig/iSulad，增加一条MALLOC_ARENA_MAX=4即可。 

示例

运行一个新容器

$ isula run -itd busybox

9c2c13b6c35f132f49fb7ffad24f9e673a07b7fe9918f97c0591f0d7014c713b

3.3.1.4 停止容器

描述

isula stop命令用于停止一个或多个运行中的容器。首先向容器中的首进程会发送SIGTERM信号，在指定时间（默认为10s）内容器未停止时，会发送SIGKILL。

用法

isula stop [OPTIONS] CONTAINER [CONTAINER...]

参数

stop命令支持参数参考下表。

约束限制

50. 指定t参数且t<0时，请确保自己容器的应用会处理stop信号。

Stop的原理：Stop会首先给容器发送Stop 信号（SIGTERM），然后等待一定的时间（这个时间就是用户输入的 t），过了指定时间如果容器还仍处于运行状态，那么就发送kill信号（SIGKILL）使容器强制退出。

50. 输入参数t的含义：

t<0 : 表示一直等待，不管多久都等待程序优雅退出，既然用户这么输入了，表示对自己的应用比较放心，认为自己的程序有 合理的stop信号的处理机制。

t=0 ： 表示不等，立即发送kill -9 到容器。

t>0 ： 表示等一定的时间，如果容器还未退出，就发送kill -9 到容器。

所以如果用户使用t<0 （比如t=-1），请确保自己容器的应用会正确处理SIGTERM. 如果容器忽略了该信号，会导致isula stop一直卡住。

示例

停止一个容器

$ isula stop fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

3.3.1.5 强制停止容器

描述

isula kill命令用于强制停止一个或多个运行中的容器。

用法

isula kill [OPTIONS] CONTAINER [CONTAINER...]

参数

kill命令支持参数参考下表。

示例

杀掉一个容器

$ isula kill fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

3.3.1.6 删除容器

描述

isula rm命令用于删除一个或多个容器。

用法

isula rm [OPTIONS] CONTAINER [CONTAINER...]

参数

rm命令支持参数参考下表。

约束限制

在IO正常情况，空环境（只有1个容器）删除一个running容器的时间为T1，200个容器的环境（容器无大量IO操作，host IO正常）删除一个running容器所需时间为T2。T2的规格为：T2 = max { T1 * 3, 5 } 秒钟。

示例

删除一个停止状态的容器

$ isula rm fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

3.3.1.7 接入容器

描述

isula attach命令用于将当前终端的标准输入、标准输出和标准错误连接到正在运行的容器。仅支持runtime类型为lcr的容器。

用法

isula attach [OPTIONS] CONTAINER

参数

attach命令支持参数参考下表。

约束限制

原生docker attach容器会直接进入容器，而isulad attach容器后需要敲一个回车才进入。

示例

接入一个运行状态的容器

$ isula attach fd7376591a9c3d8ee9a14f5d2c2e5255b02cc44cddaabca82170efd4497510e1

/ #

/ #

3.3.1.8 重命名容器

描述

isula rename命令用于重命名容器。

用法

isula rename [OPTIONS] OLD_NAME NEW_NAME

参数

rename命令支持参数参考下表。

示例

重命名一个容器

$ isula rename my_container my_new_container

3.3.1.9 在容器中执行命令

描述

isula exec命令用于正在运行的容器中运行一个新命令。新执行的命令将在容器的默认目录中运行。如果基础镜像指定了自定义目录，则将使用该目录。

用法

isula exec [OPTIONS] CONTAINER COMMAND [ARG...]

参数

exec命令支持参数参考下表。

约束限制

50. isula exec 不指定任何参数时，会默认使用-it参数， 表示分配一个伪终端，以交互式的方式进入容器
50. 当使用isula exec 执行脚本，在脚本中执行后台进程时，需使用nohup标志忽略SIGHUP信号。

使用isula exec运行脚本,在脚本中运行后台进程需使用nohup标志。否则内核会在exec执行的进程（session首进程）退出时，向后台执行的进程发送SIGHUP信号，导致后台进程退出，出现僵尸进程。

50. isula exec 进入容器进程后，不能执行后台程序，否则会出现卡死现象。

isula exec执行后台进程的方式如下：

使用isula exec进入容器终端，isula exec container_name bash

进入容器后，执行 script &

执行exit，导致终端卡死

isula exec 进入容器后，执行后台程序卡住的原因为isula exec进入容器运行后台while1程序，当bash退出时，while1程序并不会退出，变为孤儿进程由1号

进程接管，while1程序是由容器的初始bash进程fork &exec执行的，while1进程复制了bash进程的文件句柄，导致bash退出时，句柄并未完全关闭，导致

console进程收不到句柄关闭事件，epoll_wait卡住，进程不退出。

50. isula exec 不能用后台方式执行，否则可能会出现卡死现象。

isula exec后台执行的方式如下：

使用**isula exec 脚本 & **的方式后台执行exec，如：isula exec container_name script & ，isula exec 后台执行，执行的脚本中不断cat某一文件，正常时在当前终端有输出，如果在当前终端执行回车操作，客户端会因读IO失败而退出读stdout的动作，使终端不再输出，服务端由于进程仍然在cat文件，会继续往fifo的buffer里写入数据，当缓存写满时，容器内进程会卡死在write动作上。

50. 轻量级容器使用exec执行带有管道操作的命令时，建议使用/bin/bash -c 方式执行该命令。

典型应用场景：

使用isula exec container_name -it ls /test | grep “xx” | wc -l,用于统计test目录下xx的文件个数，因exec执行的为”ls /test”,其输出通过管道进行grep、wc 处理。exec执行的为”ls /test”的输出会换行，再针对该输出进行处理时，结果有误。

原因：使用exec 执行ls /test,输出带有换行，针对该输出进行“| grep “xx” | wc -l“，处理结果为2（两行）

[root@localhost ~]# isula exec  -it container ls /test

xx    xx10  xx12  xx14  xx3   xx5   xx7   xx9

xx1   xx11  xx13  xx2   xx4   xx6   xx8

[root@localhost ~]#

建议处理方式：使用run/exec执行带有管道操作的命令时，使用/bin/bash -c 执行命令，在容器中执行管道操作。

[root@localhost ~]# isula exec  -it container  /bin/sh -c "ls /test | grep "xx" | wc -l"

15

[root@localhost ~]#

50. 禁止使用echo的方式向exec命令的stdin输入数据，会导致客户端卡死。应该直接将echo的值作为命令行参数传给容器

[root@localhost ~]# echo ls | isula exec 38 /bin/sh

^C

[root@localhost ~]#

上述命令可能出现客户端卡死现象，这是由于上述命令相当于往stdin输入ls，随后EOF被读取，客户端不再发送数据，等待服务端退出，但是服务端无法区分客户端是否需要继续发送数据，因而服务端卡在read数据上，最终导致双方均卡死。

正确的执行方式为：

[root@localhost ~]# isula exec 38 ls

bin   dev   etc   home  proc  root  sys   tmp   usr   var

示例

在运行中的容器中，执行echo命令

$ isula exec c75284634bee echo "hello,world"

hello,world

3.3.1.10 查询单个容器信息

描述

isula inspect提供了容器的详细信息。

用法

isula inspect [OPTIONS] CONTAINER|IMAGE [CONTAINER|IMAGE...]

参数

inspect命令支持参数参考下表。

约束限制

轻量级容器不支持format为“{{.State}}”的格式化输出，支持“{{json .State}}”的json格式化输出。当inspect镜像时，不支持-f参数。

示例

查询容器信息

$ isula inspect c75284634bee

[

    {

        "Id": "c75284634beeede3ab86c828790b439d16b6ed8a537550456b1f94eb852c1c0a",

        "Created": "2019-08-01T22:48:13.993304927-04:00",

        "Path": "sh",

        "Args": [],

        "State": {

            "Status": "running",

            "Running": true,

            "Paused": false,

            "Restarting": false,

            "Pid": 21164,

            "ExitCode": 0,

            "Error": "",

            "StartedAt": "2019-08-02T06:09:25.535049168-04:00",

            "FinishedAt": "2019-08-02T04:28:09.479766839-04:00",

            "Health": {

                "Status": "",

                "FailingStreak": 0,

                "Log": []

            }

        },

        "Image": "busybox",

        "ResolvConfPath": "",

        "HostnamePath": "",

        "HostsPath": "",

        "LogPath": "none",

        "Name": "c75284634beeede3ab86c828790b439d16b6ed8a537550456b1f94eb852c1c0a",

        "RestartCount": 0,

        "HostConfig": {

            "Binds": [],

            "NetworkMode": "",

            "GroupAdd": [],

            "IpcMode": "",

            "PidMode": "",

            "Privileged": false,

            "SystemContainer": false,

            "NsChangeFiles": [],

            "UserRemap": "",

            "ShmSize": 67108864,

            "AutoRemove": false,

            "AutoRemoveBak": false,

            "ReadonlyRootfs": false,

            "UTSMode": "",

            "UsernsMode": "",

            "Sysctls": {},

            "Runtime": "lcr",

            "RestartPolicy": {

                "Name": "no",

                "MaximumRetryCount": 0

            },

            "CapAdd": [],

            "CapDrop": [],

            "Dns": [],

            "DnsOptions": [],

            "DnsSearch": [],

            "ExtraHosts": [],

            "HookSpec": "",

            "CPUShares": 0,

            "Memory": 0,

            "OomScoreAdj": 0,

            "BlkioWeight": 0,

            "BlkioWeightDevice": [],

            "CPUPeriod": 0,

            "CPUQuota": 0,

            "CPURealtimePeriod": 0,

            "CPURealtimeRuntime": 0,

            "CpusetCpus": "",

            "CpusetMems": "",

            "SecurityOpt": [],

            "StorageOpt": {},

            "KernelMemory": 0,

            "MemoryReservation": 0,

            "MemorySwap": 0,

            "OomKillDisable": false,

            "PidsLimit": 0,

            "FilesLimit": 0,

            "Ulimits": [],

            "Hugetlbs": [],

            "HostChannel": {

                "PathOnHost": "",

                "PathInContainer": "",

                "Permissions": "",

                "Size": 0

            },

            "EnvTargetFile": "",

            "ExternalRootfs": ""

        },

        "Mounts": [],

        "Config": {

            "Hostname": "localhost",

            "User": "",

            "Env": [

                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin",

                "TERM=xterm",

                "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin"

            ],

            "Tty": true,

            "Cmd": [

                "sh"

            ],

            "Entrypoint": [],

            "Labels": {},

            "Annotations": {

                "log.console.file": "none",

                "log.console.filerotate": "7",

                "log.console.filesize": "1MB",

                "rootfs.mount": "/var/lib/isulad/mnt/rootfs",

                "native.umask": "secure"

            },

            "HealthCheck": {

                "Test": [],

                "Interval": 0,

                "Timeout": 0,

                "StartPeriod": 0,

                "Retries": 0,

                "ExitOnUnhealthy": false

            }

        },

        "NetworkSettings": {

            "IPAddress": ""

        }

    }

]

3.3.1.11 查询所有容器信息

描述

isula ps 用于查询所有容器的信息。

用法

isula ps [OPTIONS]

参数

ps命令支持参数参考下表。

示例

查询所有容器信息

$ isula ps -a

ID           IMAGE                                     STATUS  PID    COMMAND EXIT_CODE RESTART_COUNT STARTAT        FINISHAT    RUNTIME NAMES

e84660aa059c rnd-dockerhub.huawei.com/official/busybox running 304765 "sh"    0         0             13 minutes ago -           lcr     e84660aa059cafb0a77a4002e65cc9186949132b8e57b7f4d76aa22f28fde016

$ isula ps -a --format "table {{.ID}} {{.Image}}" --no-trunc

ID                                                               IMAGE

e84660aa059cafb0a77a4002e65cc9186949132b8e57b7f4d76aa22f28fde016 rnd-dockerhub.huawei.com/official/busybox

3.3.1.12 重启容器

描述

isula restart 用于重启一个或者多个容器。

用法

isula restart [OPTIONS] CONTAINER [CONTAINER...]

参数

restart命令支持参数参考下表。

约束限制

50. 指定t参数且t<0时，请确保自己容器的应用会处理stop信号。

restart会首先调用stop停止容器。stop会首先给容器发送stop信号（SIGTERM），然后等待一定的时间（这个时间就是用户输入的 t），过了一定时间如果容器仍处于运行状态，那么就发送kill信号（SIGKILL）使容器强制退出。

50. 输入参数t的含义：

t<0 : 表示一直等待，不管多久都等待程序优雅退出，既然用户这么输入了，表示对自己的应用比较放心，认为自己的程序有合理的stop信号的处理机制。

t=0 ： 表示不等，立即发送kill -9 到容器。

t>0 ： 表示等一定的时间，如果容器还未退出，就发送kill -9 到容器。

所以如果用户使用t<0（比如t=-1），请确保自己容器的应用会正确处理SIGTERM. 如果容器忽略了该信号，会导致isula restart一直卡住。

示例

重启单个容器

$ isula restart c75284634beeede3ab86c828790b439d16b6ed8a537550456b1f94eb852c1c0a

c75284634beeede3ab86c828790b439d16b6ed8a537550456b1f94eb852c1c0a

3.3.1.13 等待容器退出

描述

isula wait用于等待一个或者多个容器退出。仅支持runtime类型为lcr的容器。

用法

isula wait [OPTIONS] CONTAINER [CONTAINER...]

参数

wait命令支持参数参考下表。

示例

等待单个容器退出

$ isula wait c75284634beeede3ab86c828790b439d16b6ed8a537550456b1f94eb852c1c0a

 137

3.3.1.14 查看容器中进程信息

描述

isula top用于查看容器中的进程信息。仅支持runtime类型为lcr的容器。

用法

isula top [OPTIONS] container [ps options]

参数