今天安装 hgvs 这个 python 包的时候,遇到几个比较有代表性的问题,记录分享一下。
hgvs is a Python package to parse, format, validate, normalize, and map biological sequence variants according to recommendations of the Human Genome Variation Society.
怎么查看 python 未安装包的依赖
我们知道的 pip show hgvs 和 pipdeptree -p hgvs 都只能看到已安装 Python 包的依赖,但是未安装的 Python 包依赖目前通过 pip 应该是暂时没法看的。stackoverflow 上看到一个折中的方法,比较繁琐。
In [1]: import requests
In [2]: url = 'https://pypi.org/pypi/{}/json'
In [3]: json = requests.get(url.format('hgvs')).json()
In [4]: json['info']['requires_dist']
Out[4]:
['attrs (>=17.4.0)',
'biocommons.seqrepo (<1.0)',
'bioutils (<1.0,>=0.4.0)',
'configparser (>=3.3.0)',
'ipython',
'parsley',
'psycopg2-binary',
'six']
In [5]: json['info']['requires_python']
Out[5]: ''
除此之外,可以通过 conda 的方式查看(conda search hgvs —info)。
Psycopg requires libpq >= 9.1
hgvs 的安装依赖于 psycopg2-binary,而 psycopg2-binary 又依赖于 psycopg2。
$ pip install psycopg2
Collecting psycopg2
Downloading psycopg2-2.9.1.tar.gz (379 kB)
|████████████████████████████████| 379 kB 133 kB/s
Using legacy 'setup.py install' for psycopg2, since package 'wheel' is not installed.
Installing collected packages: psycopg2
Running setup.py install for psycopg2 ... error
ERROR: Command errored out with exit status 1:
......
In file included from psycopg/psycopgmodule.c:28:0:
./psycopg/psycopg.h:31:2: error: #error "Psycopg requires PostgreSQL client library (libpq) >= 9.1"
#error "Psycopg requires PostgreSQL client library (libpq) >= 9.1"
......
CentOS 6 默认的 PostgreSQL 最高版本为 8.4.18,需要安装 9.1 以上版本的 postgresql 才可以解决以上出现的 “Psycopg requires PostgreSQL client library (libpq) >= 9.1“ 问题。
CentOS/Red Hat 安装 PostgreSQL
使用 yum list postgresql* 命令可以看到:
- CentOS 6 默认的 PostgreSQL 最高版本为 8.4.18;
- CentOS 7 默认的 PostgreSQL 最高版本为 9.2.24。
如果需要在 CentOS/Red Hat Enterprise Linux 中安装 PostgreSQL 9/10 以上版本,需要:
1. 配置 yum 源
该步骤安装完成后,会在 /etc/yum.repos.d 目录下生成一个 pgdg-redhat-all.repo,里面为 PostgreSQL 各个版本的源信息。
# Red Hat Enterprise Linux 7 - x86_64
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
# CentOS 7 - x86_64
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-7-x86_64/pgdg-redhat-repo-latest.noarch.rpm
# Red Hat Enterprise Linux 6 - x86_64
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-6-x86_64/pgdg-redhat-repo-latest.noarch.rpm
# CentOS 6 - x86_64
yum install -y https://download.postgresql.org/pub/repos/yum/reporpms/EL-6-x86_64/pgdg-redhat-repo-latest.noarch.rpm
最新的 yum 源 rpm 包可以在这里找到:https://yum.postgresql.org/repopackages/
2. 安装
yum 源安装完成后,再次执行 yum list postgresql 命令可以看到 postgresql、postgresql10、postgresql11、…. 各个版本的 PostgreSQL 列表,选择需要的版本安装。
yum install -y postgresql10 postgresql10-devel
yum 的方式安装的 PostgreSQL 默认保存在 /usr/pgsql-10(/usr/pgsql-9.6)下面。
3. 初始化与启动
具体自己去谷歌,或者参考:《Linux 下 PostgreSQL 源码编译安装》。
undefined symbol: PQescapeIdentifier
安装完 psycopg2 和 hgvs 后,如果 import 过程中出现类似于 _psycopg.cpython-37m-x86_64-linux-gnu.so: undefined symbol: PQescapeIdentifier 的异常,可以查看一下 _psycopg.cpython-37m-x86_64-linux-gnu.so 的对应的动态库链接 libpq.so 是否正确。
$ ldd /SoftWare/Python-3.7.3/lib/python3.7/site-packages/psycopg2/_psycopg.cpython-37m-x86_64-linux-gnu.so
linux-vdso.so.1 => (0x00007fff65bff000)
libpq.so.5 => /usr/lib64/libpq.so.5 (0x00007fbe7bb03000)
libpthread.so.0 => /lib64/libpthread.so.0 (0x00007fbe7b8e6000)
libc.so.6 => /lib64/libc.so.6 (0x00007fbe7b551000)
libssl.so.10 => /usr/lib64/libssl.so.10 (0x00007fbe7b2e5000)
libcrypto.so.10 => /usr/lib64/libcrypto.so.10 (0x00007fbe7af00000)
libgssapi_krb5.so.2 => /lib64/libgssapi_krb5.so.2 (0x00007fbe7acbb000)
libldap_r-2.4.so.2 => /lib64/libldap_r-2.4.so.2 (0x00007fbe7aa67000)
/lib64/ld-linux-x86-64.so.2 (0x0000003636a00000)
libkrb5.so.3 => /lib64/libkrb5.so.3 (0x00007fbe7a781000)
libcom_err.so.2 => /lib64/libcom_err.so.2 (0x00007fbe7a57c000)
libk5crypto.so.3 => /lib64/libk5crypto.so.3 (0x00007fbe7a350000)
libdl.so.2 => /lib64/libdl.so.2 (0x00007fbe7a14c000)
libz.so.1 => /RiboBio/Bioinfo/APPS/R-3.3.2/lib/libz.so.1 (0x00007fbe79f34000)
libkrb5support.so.0 => /lib64/libkrb5support.so.0 (0x00007fbe79d29000)
libkeyutils.so.1 => /lib64/libkeyutils.so.1 (0x00007fbe79b26000)
libresolv.so.2 => /lib64/libresolv.so.2 (0x00007fbe7990b000)
liblber-2.4.so.2 => /lib64/liblber-2.4.so.2 (0x00007fbe796fc000)
libssl3.so => /usr/lib64/libssl3.so (0x00007fbe794bf000)
libsmime3.so => /usr/lib64/libsmime3.so (0x00007fbe79292000)
libnss3.so => /usr/lib64/libnss3.so (0x00007fbe78f54000)
libnssutil3.so => /usr/lib64/libnssutil3.so (0x00007fbe78d28000)
libplds4.so => /lib64/libplds4.so (0x00007fbe78b23000)
libplc4.so => /lib64/libplc4.so (0x00007fbe7891e000)
libnspr4.so => /lib64/libnspr4.so (0x00007fbe786e1000)
libsasl2.so.2 => /usr/lib64/libsasl2.so.2 (0x00007fbe784c6000)
libselinux.so.1 => /lib64/libselinux.so.1 (0x00007fbe782a7000)
librt.so.1 => /lib64/librt.so.1 (0x00007fbe7809e000)
libcrypt.so.1 => /lib64/libcrypt.so.1 (0x00007fbe77e67000)
libfreebl3.so => /lib64/libfreebl3.so (0x00007fbe77bf0000)
正常情况下,/usr/lib64/libpq.so.5 应该对应于 /usr/pgsql-10/lib/libpq.so.5,如果不是,可以参考下面两种方法:
- 通过设置 LD_LIBRARY_PATH,使其链接正确的动态库。
export LD_LIBRARY_PATH=/usr/pgsql-10/lib:$LD_LIBRARY_PAT
- 先备份重命名 /usr/lib64/libpq.so.5,再把正确的 libpq.so.5 软连接过去。
$ mv /usr/lib64/libpq.so.5 /usr/lib64/libpq.so.5.old
$ ln -s /usr/pgsql-10/lib/libpq.so.5 /usr/lib64/libpq.so.5