10 技能树 linux 20题

http://www.bio-info-trainee.com/2900.html
一、在任意文件夹下面创建形如 1/2/3/4/5/6/7/8/9 格式的文件夹系列。

$ mkdir -p ./tmp/1/2/3/4/5/6/7/8/9

二、在创建好的文件夹下面，比如我的是 /Users/jimmy/tmp/1/2/3/4/5/6/7/8/9 ，里面创建文本文件 me.txt

$ touch 1/2/3/4/5/6/7/8/9/me.txt

三、在文本文件 me.txt 里面输入内容:

Go to: http://www.biotrainee.com/ 
I love bioinfomatics.
And you ?

前三题效果如下：

$ cat >1/2/3/4/5/6/7/8/9/me.txt
Go to: http://www.biotrainee.com/ 
I love bioinfomatics.
And you ?
^C

四、删除上面创建的文件夹 1/2/3/4/5/6/7/8/9 及文本文件 me.txt

$ rm -r ./1

五、在任意文件夹下面创建 folder1~5这5个文件夹，然后每个文件夹下面继续创建 folder1~5这5个文件夹，效果如下：

$ mkdir -p folder{1..5}/folder{1..5}

六、在第五题创建的每一个文件夹下面都 创建第二题文本文件 me.txt ，内容也要一样。(这个题目难度超纲，建议一个月后再回过头来做)

$ cat >me.txt
>Go to: http://www.biotrainee.com/ 
>I love bioinfomatics.
>And you ?
^C
$ find  fold* -type d |while read id; do cp me.txt ${id}/me.txt; done

七，再次删除掉前面几个步骤建立的文件夹及文件

$ rm -r folder{1..5}

八、下载 http://www.biotrainee.com/jmzeng/igv/test.bed 文件，后在里面选择含有 H3K4me3 的那一行是第几行，该文件总共有几行。

$ wget http://www.biotrainee.com/jmzeng/igv/test.bed
$ cat test.bed | wc  # 10 rows
$ cat test.bed | grep -n H3K4me3  # 8th row

九、下载 http://www.biotrainee.com/jmzeng/rmDuplicate.zip 文件，并且解压，查看里面的文件夹结构

$ wget http://www.biotrainee.com/jmzeng/rmDuplicate.zip
$ unzip rmDuplicate.zip
$ tree

十、打开第九题解压的文件，进入 rmDuplicate/samtools/single 文件夹里面，查看后缀为 .sam 的文件，搞清楚 生物信息学里面的SAM/BAM 定义是什么。

$ cd rmDuplicate/samtools/single
$ ls *.sam
$ less -S tmp.sam

1. SAM (Sequence Alignment Map Format)是短序列比对默认的标准格式,是以TAB为分割符的文本格式。
2. BAM 就是SAM的二进制文件, 具有更小的存储空间,并且许多下游分析工具使用的是BAM格式

十一、安装 samtools 软件

$ conda install -y samtools=1.14

十二、打开 后缀为BAM 的文件，找到产生该文件的命令。 提示一下命令是：

/home/jianmingzeng/biosoft/bowtie/bowtie2-2.2.9/bowtie2-align-s --wrapper basic-0 -p 20 -x /home/jianmingzeng/reference/index/bowtie/hg38 -S /home/jianmingzeng/data/public/allMouse/alignment/WT_rep2_Input.sam -U /tmp/41440.unp

$ samtools view tmp.rmdup.bam # 使用samtools打开
$ tail -n 1 tmp.header ## 命令在header文件最后一行

十三题、根据上面的命令，找到我使用的参考基因组 /home/jianmingzeng/reference/index/bowtie/hg38 具体有多少条染色体。

# 在header文件中有参考基因组信息
$ less tmp.header |grep @SQ|cut -f 2| cut -d "_" -f 1|cut -d ":" -f 2|sort -V |uniq|wc -l

十四题、上面的后缀为BAM 的文件的第二列，只有 0 和 16 两个数字，用 cut/sort/uniq等命令统计它们的个数。

$ samtools view tmp.rmdup.bam| cut -f 2| sort -V| uniq -c # 也是使用samtools 
     16 0
     12 16

十五题、重新打开 rmDuplicate/samtools/paired 文件夹下面的后缀为BAM 的文件，再次查看第二列，并且统计

$ samtools view tmp.rmdup.bam| cut -f 2| sort -V| uniq -c  # 同上
      2 83
      2 97
      8 99
      7 147
      2 163
      1 323
      1 353
      1 371
      1 387
      1 433

十六题、下载 http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip 文件，并且解压，查看里面的文件夹结构， 这个文件有2.3M，注意留心下载时间及下载速度。

$ wget http://www.biotrainee.com/jmzeng/sickle/sickle-results.zip
$ unzip sickle-results.zip 
$ tree sickle-results/

十七题、解压 sickle-results/single_tmp_fastqc.zip 文件，并且进入解压后的文件夹，找到 fastqc_data.txt 文件，并且搜索该文本文件以 >>开头的有多少行？

$ unzip single_tmp_fastqc.zip 
$ cd single_tmp_fastqc/
$ cat fastqc_data.txt |grep "^>>" -c
24

十八题、下载 http://www.biotrainee.com/jmzeng/tmp/hg38.tss 文件，去NCBI找到TP53/BRCA1等自己感兴趣的基因对应的 refseq数据库 ID，然后找到它们的hg38.tss 文件的哪一行。
https://www.ncbi.nlm.nih.gov/gene/7157

$ wget http://www.biotrainee.com/jmzeng/tmp/hg38.tss
$ cat hg38.tss |grep 'NM_000546' -n  # TP53 在413 行

413:NM_000546    chr17    7685550    7689550    1

十九题、解析hg38.tss 文件，统计每条染色体的基因个数。

$ cat hg38.tss | cut -f 2| cut -d '_' -f 1| sort -V|uniq -c
   6157 chr1
   4090 chr2
   3395 chr3
   2277 chr4
   2821 chr5
   5782 chr6
   2785 chr7
   2221 chr8
   2310 chr9
   2838 chr10
   3577 chr11
   3014 chr12
   1133 chr13
   1982 chr14
   2377 chr15
   2696 chr16
   3794 chr17
    883 chr18
   5880 chr19
   1692 chr20
    895 chr21
   1410 chr22
      2 chrM
     32 chrUn
   2561 chrX
    414 chrY

二十题、解析hg38.tss 文件，统计NM和NR开头的数量，了解NM和NR开头的含义。

$ cat hg38.tss | cut -f 1| cut -d '_' -f 1| sort -V|uniq -c
  51064 NM
  15954 NR

ref:
https://www.ncbi.nlm.nih.gov/books/NBK21091/table/ch18.T.refseq_accession_numbers_and_mole/?report=objectonly