WDL脚本实战-工作流、程序体、语法检查、输入输出及运行「终于解决」-武大郎

WDL脚本实战（一）-工作流、程序体、语法检查、输入输出及运行「终于解决」WDL是由BroadInstitute开发的一种生物信息流程开发语言，与传统的shell流程相比，具有复用性好、支持多种集群架构、便于多任务并行等优势，初次接触，写了个简易流程试水。1.WDL参考资料WDL语言的一些基本概念可参考以下教程：Cromwell+WDL学习：https://blog.csdn.net/qq_41551450/article/details/93486438GATKCromwell+WDL学习：https://blog.csdn.net/theomarker/ar

WDL是由Broad Institute开发的一种生物信息流程开发语言，与传统的shell流程相比，具有复用性好、支持多种集群架构、便于多任务并行等优势，初次接触，写了个简易流程试水。

1.WDL参考资料

WDL语言的一些基本概念可参考以下教程：

Cromwell +WDL学习：https://blog.csdn.net/qq_41551450/article/details/93486438 GATK Cromwell +WDL学习：https://blog.csdn.net/theomarker/article/details/79627804 WDL学习笔记：https://www.jianshu.com/p/979fd06661cb 官方文档：https://github.com/openwdl/wdl/blob/main/versions/development/SPEC.md

2.流程代码及简介

#工作流：先创建新目录，再创建一个空文件，最后在空文件中写入内容。#声明task create_workdir所需的参数workdir_path#call task create_workdir:传入task create_workdir所需参数workdir#call task create_file:传入task create_file所需参数filedir，内容为task create_workdir的输出work_path#call task write_file：传入task write_file所需参数workdir和filepath，其中filepath内容为task create_file的输出file_pathworkflow myWorkflow {        String workdir_path    call create_workdir {            input:            workdir = workdir_path    }    call create_file {            input:            filedir = create_workdir.work_path    }    call write_file {            input:            workdir = workdir_path,            filepath = create_file.file_path    }}#创建目录，并在目录创建代表操作完成的workdir.SUCCESS文件，若目录已存在，只创建workdir.EXIST文件。#输入：待创建目录路径#输出：创建的目录路径（输入、输出内容其实完全相同）#声明：变量workdir类型为字符串#command：可执行的shell代码，可用{}或<<<>>>括起，建议用<<<>>>，区分于代码其他部分，提高可读性#output：声明并赋值后，可作为其他task的输入task create_workdir {        String workdir    command <<<        if [ ! -d ${    workdir} ]; then            mkdir ${    workdir}            touch ${    workdir}/workdir.SUCCESS        else            touch ${    workdir}/workdir.EXIST        fi    >>>    output {            String work_path = "${workdir}"    }}#创建空文件，并在文件所在目录创建代表操作完成的file.SUCCESS文件，若文件已存在，输出语句“File exist!”，并创建file.EXIST文件#输入：文件所在目录（即task create_workdir的输出目录），文件路径（文件所在目录+文件名)#输出：文件路径task create_file {        String filedir    String filename = filedir + "/test1.txt"    command <<<        if [ ! -f ${    filename} ]; then            touch ${    filename}            touch ${    filedir}/file.SUCCESS        else            echo "File exist!"            touch ${    filedir}/file.EXIST        fi    >>>    output {            String file_path = "${filename}"    }}#向文件中写入内容，并在文件所在目录创建代表操作完成的write.SUCCESS文件，若文件不存在，输出语句“File not exist!”，并创建write.FAIL文件#输入：文件路径#输出：文件内容task write_file {        String workdir    String filepath    String file_content = "Tomorrow is another day."    command <<<        if [ -f ${    filepath} ]; then            echo "${file_content}" >${    filepath}            touch ${    workdir}/write.SUCCESS        else            echo "File not exist!"            touch ${    workdir}/write.FAIL        fi      >>>    output {            String file_txt = "${file_content}"    }}

是否还在为Ide开发工具频繁失效而烦恼，来吧关注以下公众号获取最新激活方式。亲测可用！

为防止网络爬虫，请关注公众号回复”口令”

激活idea 激活CLion DataGrip DataSpell dotCover dotMemory dotTrace GoLand PhpStorm PyCharm ReSharper ReShaC++ Rider RubyMine WebStorm 全家桶 解锁下载刷新

【正版授权，激活自己账号】：Jetbrains全家桶Ide使用，1年售后保障，每天仅需1毛

【官方授权 正版激活】：官方授权 正版激活 自己使用，支持Jetbrains家族下所有IDE…

3.语法检查与流程图

安装womtool：https://anaconda.org/bioconda/womtool

完成WDL流程后，可通过womtool进行语法检查，有语法错误会输出错误信息，无则输出“Success!”

#无语法错误java -jar ../docker/womtool-46.jar validate workflow_test_pipe1.wdlSuccess!#语法错误：workflow缺少一个花括号java -jar ../docker/womtool-46.jar validate workflow_test_pipe1.wdlERROR: Unexpected symbol (line 21, col 1) when parsing '_gen10'.Expected rbrace, got task.task create_workdir {    ^$e = :identifier <=> :dot :identifier -> MemberAccess( lhs=$0, rhs=$2 )

womtool还可根据task间的输入输出关系绘制流程图，清晰地展示各task之间的依赖关系：

java -jar ../docker/womtool-46.jar graph workflow_test_pipe1.wdl >workflow_test_pipe1.wdl.dot#转换为svg格式dot -Tsvg -o workflow_test_pipe1.wdl.svg workflow_test_pipe1.wdl.dot

参考：
Linux命令之dot – 绘制DOT语言脚本描述的图形：https://www.cnblogs.com/zengkefu/p/5569649.html

4.参数输入

womtool可解析WDL脚本，创建json格式的参数输入文件，格式为：

{        "<workflow name>.<task name>.<variable name>": "<variable type>"}

示例：

java -jar ../docker/womtool-46.jar inputs workflow_test_pipe1.wdl >workflow_test_pipe1.wdl.jsoncat workflow_test_pipe1.wdl.json{      "myWorkflow.write_file.file_content": "String (optional, default = \"Tomorrow is another day.\")",  "myWorkflow.workdir_path": "String"}

整个工作流中，需要输入的参数仅为：workdir_path（需要创建的新目录路径）和task write_file中的file_content（写入文件test1.txt的内容）。
且file_content已指定默认值，可在json文件中直接删除该行，不传入任何参数。

修改json文件，只输入workdir_path：

vi workflow_test_pipe1.wdl.json{      "myWorkflow.workdir_path": "/home/test/wdl_test/test/test2/"}

5.运行

运行需安装cromwell：
https://github.com/broadinstitute/cromwell/releases

运行示例：

java -jar ../docker/cromwell-45.1.jar run workflow_test_pipe1.wdl --inputs workflow_test_pipe1.wdl.json

打开workdir_path，可见被写入内容的test1.txt文件和3个表示运行正常的SUCCESS空文件：

cd /home/test/wdl_test/test/test2lsfile.SUCCESS  test1.txt  workdir.SUCCESS  write.SUCCESScat test1.txt Tomorrow is another day.

再次运行脚本，由于目录和文件已存在，会创建workdir.EXIST文件和file.EXIST文件，并再次写入文件内容。

6.标准输出

运行WDL脚本后，WDL文件所在目录会新增cromwell-executions和cromwell-workflow-logs两个目录，标准输出及错误均可在cromwell-executions中查看

#进入cromwell-executions目录，可见以myWorkflow（工作流名称）命名的目录cd cromwell-executions/lshelloworld  myWorkflow  test#进入工作流目录及其最新的运行目录cd myWorkflow/ll -t |headtotal 0drwxrwxr-x 5 test test 96 Apr 27 11:13 26fe9d20-bb48-4beb-b992-1264002ed5fbcd 26fe9d20-bb48-4beb-b992-1264002ed5fb/#可见以"call-task名"命名的目录lscall-create_file  call-create_workdir  call-write_file#进入call-create_file/execution，可见运行脚本，标准输出，标准错误等文件lsrc  script  script.background  script.submit  stderr  stderr.background  stdout  stdout.background#task create_file的标准输出“File exist!”即在stdout文件中cat stdoutFile exist!