使用Pytest，Selenium Grid和Docker创建测试基础架构


Creating a testing infrastructure with Pytest , Selenium Grid and Docker

基于本文，我成功创建了可伸缩的selenium网格。
然后，我想使用Pytest在网格中运行[用Python编写的]测试套件。

我是Docker的新手，正在尝试寻找将测试过程迁移到微服务架构的最佳方法。本质上，我想让开发人员能够在其PC上本地设置完整的测试基础结构。

因此，我有4个Dockerfile和1个docker-compose.yml。

BASE dockerfile：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
FROM ubuntu

ENV SEL_VERSION 2.44.0

# Update repos for Java
RUN apt-get update -qqy \\
&& apt-get -qqy --no-install-recommends install \\
software-properties-common \\
&& rm -rf /var/lib/apt/lists/*
RUN add-apt-repository -y ppa:webupd8team/java

RUN echo debconf shared/accepted-oracle-license-v1-1 select true | debconf-set-selections
RUN echo debconf shared/accepted-oracle-license-v1-1 seen true | debconf-set-selections

# Install Java7
RUN apt-get update -qqy \\
&& apt-get -qqy --no-install-recommends install \\
oracle-java7-installer \\
&& rm -rf /var/lib/apt/lists/*

# Download Selenium Server
RUN wget http://selenium-release.storage.googleapis.com/${SEL_VERSION%.*}/selenium-server-standalone-${SEL_VERSION}.jar

HUB dockerfile：

1
2
3
4
5
6
7
8
9
10
11
FROM org/grid:base

EXPOSE 4444

# Add and set permissions to the script that will launch the hub
ADD register-hub.sh /var/register-hub.sh
RUN chmod 755 /var/register-hub.sh

# start a shell and run the script
#WORKDIR /
CMD ["/bin/bash","/var/register-hub.sh"]

NODE dockerfile：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
FROM org/grid:base

# set the FF version to use
ENV FIREFOX_MINOR 34.0.5

# Update and install what's needed
RUN apt-get update -qqy \\
&& apt-get -qqy --no-install-recommends install \\
firefox \\
xvfb \\
bzip2 \\
&& rm -rf /var/lib/apt/lists/*

# setup FF
RUN [ -e /usr/bin/firefox ] && rm /usr/bin/firefox
ADD https://ftp.mozilla.org/pub/mozilla.org/firefox/releases/${FIREFOX_MINOR}/linux-x86_64/en-US/firefox-${FIREFOX_MINOR}.tar.bz2 /tmp/
RUN apt-get install -q -y libdbus-glib-1-2
RUN tar -xvjf /tmp/firefox-${FIREFOX_MINOR}.tar.bz2 -C /opt/
RUN chmod -R +x /opt/firefox/
RUN ln -s /opt/firefox/firefox /usr/bin/firefox

# add and set permissions for the bash script to register the node
ADD register-node.sh /var/register-node.sh
RUN chmod 755 /var/register-node.sh

# start a shell and run the script
CMD ["/bin/bash","/var/register-node.sh"]

和PYTEST dockerfile：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
# Starting from base image
FROM ubuntu

# Set the Github personal token [to clone the QA code]
#todo------secret------
ENV GH_TOKEN some_token_some_token_some_token_

# Install Python & pip
RUN apt-get update
RUN apt-get upgrade -y
RUN apt-get install -y python python-pip python-dev && pip install --upgrade pip

# Install GIT
RUN apt-get update -y && apt-get install git -y

# [in the / folder] Create the folder and add the whole project from the repo to the container
RUN git clone https://$GH_TOKEN:[email protected]/org/org_QA.git /org_QA_folder

# Install dependencies via pip
WORKDIR /org_QA_folder
RUN pip install -r dependencies.txt

#
CMD /bin/bash

和docker-compose文件：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
hub:
  image: org/grid:hub # image must already exist
  ports:
    -"4444:4444" # HOST:CONTAINER
  external_links: # link to a container created outside of this YAML file
    - pytest
  volumes_from:
    - pytest # must be created first

firefox:
  image: org/grid:nodeff # image must already exist
  links:
    - hub
  expose:
    -"5555" # grid console open to public

所以...我不明白如何运行" py.test /org_QA_folder/testcase.py "之类的东西并在网格上[本质上是节点]上运行。

我首先使用
docker run -dit -v /org_QA_folder --name pytest schoox/grid:py和其他具有docker-compose up -d的服务。

我尝试了多种方法：

  • 不使用Pytest容器，而是在中心中克隆代码。但是在这种情况下，HUB容器运行网格的中心(每个容器指令一个CMD)。 [编辑：我选择了Docker建议的微服务架构]

  • 我离开集线器和节点容器来运行它们的指定服务，并创建一个单独的容器[pytest]从那里发送测试。但是测试不会运行，因为此容器没有xvfb。[编辑：我刚刚安装了xvfb并开始工作]

  • 我尝试将pytest容器用作集线器的卷，但是仍然存在从已运行服务的集线器容器中运行测试的问题。[编辑：出于开发目的，我从pytest容器中安装了代码并使用它的控制台可以测试其他容器上的内容。之后，我将使用pytest容器将代码分开]

    • 我应该在其他容器中安装该节点容器具有的所有软件包吗？理想情况下，我想使用pytest容器控制台[至少开发基础结构]运行将发送到集线器并运行到许多节点的测试。[编辑：我没有与集线器和节点混合，我只是在pytest容器上安装了xvfb]

    您会如何建议这样做？我想念什么吗？

    编辑[迈向解决方案的步骤]：

    我首先启动pytest容器[docker run -dit -v /org/org_QA_folder --name pytest org/grid:py]，然后运行docker-compose up -d来启动网格

    在撰写文件中，出于开发目的，我使用external_links和volumes_from。安装完成后，我不会在任何容器内工作。

    我更改了Pytest dockerfile并添加了以下内容：

    1
    2
    # Install xvfb [THAT WAS NEEDED!!!!!]
    RUN apt-get install -y xvfb

    我从pytest容器内部运行一个测试，到已经运行的Grid [在EC2实例上]作为概念证明，并且运行良好。它仍然可以将其发送到dockerized网格。

    我想你已经快到了。

    我会向docker-compose.yml添加pytest服务，并从hub图像中删除volumes_from和external_links(这样看起来更像您链接的博客文章中的示例)。

    pytest服务将运行python代码，但它应连接到集线器以运行selenium。我相信org_QA_folder中某处的配置会尝试在本地启动Selenium。需要重新配置它以使用hub服务器。

    相关讨论

    我终于使它像这样工作：

    在我的代码中，我使用以下代码：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    32
    33
    34
    35
    36
    37
    38
    39
    40
    41
    42
    43
    class Fixtures_docker(unittest.TestCase):

        def setUp(self, hub_ip="http://HUB_CONTAINER_IP", hub_port=4444):
            print"--Fixtures_docker in config.py trying to run on--: %s:%s"%(hub_ip, hub_port)

            if platform.system() == 'Linux':
                from pyvirtualdisplay import Display

                self.display = Display(visible=0, size=(1024, 768))
                self.display.start()

            if browser =="Firefox":
                self.wd = webdriver.Remote(
                    command_executor=hub_ip + ':' + str(hub_port) + '/wd/hub',
                        desired_capabilities={
                            #FIREFOX
                           "browserName"   :"firefox",
                            #"maxInstances"  : 10,
                           "seleniumProtocol":"WebDriver",
                           "platform"      :"ANY",
                           "node"          : hub_port
                    })

            # for debugging purposes from local machine
            elif browser =="Firefox" and os =="Windows":
                self.wd = webdriver.Remote(
                    command_executor=hub_ip + ':' + str(hub_port) + '/wd/hub',
                        desired_capabilities={
                            # FIREFOX -> WINDOWS
                            #"firefox_binary":"C:\\\\firefox3\\Firefox3.exe", # path to find another version of ff
                           "browserName"   :"firefox",
                            #"version"      :"3.0b3", # trying to run a specific ff version
                           "platform"      :"WINDOWS",
                           "node"          : hub_port,
                           "maxSession"    : 5
                    })

            self.wd.implicitly_wait(10)

        def tearDown(self):
            self.wd.quit()
            if platform.system() == 'Linux':
                self.display.stop()

    ，并在docker-compose.yml中：

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    hub:
      image: org/grid:hub # image must already exist
      ports:
        -"8080:4444" # HOST:CONTAINER
      external_links: # link to a container created outside of this YAML file
        - pytest
      volumes_from:
        - pytest # must be created first
      expose:
        -"4444" # intercontainer communication [other containers with selenium server]

    firefox:
      image: org/grid:nodeff # image must already exist
      links:
        - hub
      expose:
        -"5555" # intercontainer communication [node registers to hub]
    相关讨论