Python升級後ssl模塊不可用問題解決和淺析

在Cent0S 7.5下將Python 2.7.5升級到Python 3.6.6後，發現ssl模塊不可用，具體詳細信息如下所示：

[root@db-server ~]# pip list
Package    Version
 --
pip        19.2.3 
setuptools 39.0.1 
WARNING: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
Could not fetch URL https://pypi.org/simple/pip/: There was a problem confirming the ssl certificate: HTTPSConnectionPool(host='pypi.org', port=443): Max retries exceeded with url: /simple/pip/ (Caused by SSLError("Can't connect to HTTPS URL because the SSL module is not available.",)) - skipping

[root@db-server ~]# python -V
Python 3.6.6

>>> import ssl
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "/usr/local/lib/python3.6/ssl.py", line 101, in <module>
    import _ssl             # if we can't import it, let the error propagate
ModuleNotFoundError: No module named '_ssl'
>>> 
>>> import socket
>>> hasattr(socket,"SSL")
False
>>>

檢查發現openssl包已經安裝了，然後按照網上的文章，修改Modules/Setup.dist中，找到SSL配置部分，如下截圖所示
[root@db-server ~]# yum list installed |grep openssl
openssl.x86_64                        1:1.0.2k-19.el7                  @base    
openssl-libs.x86_64                   1:1.0.2k-19.el7                  @base 
# Socket module helper for SSL support; you must comment out the other
# socket line above, and possibly edit the SSL variable:
#SSL=/usr/local/ssl
#_ssl _ssl.c \#       -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \#       -L$(SSL)/lib -lssl -lcrypto

# The crypt module is now disabled by default because it breaks builds
# on many systems (where -lcrypt is needed), e.g. Linux (I believe).
#
# First, look at Setup.config; configure may have set this for you.

#_crypt _cryptmodule.c # -lcrypt        # crypt(3); needs -lcrypt on some systems

這裡需要取消注釋部分（上圖紅框附近部分的設置），設置SSL路徑，但是這個SSL的安裝路徑在哪裡呢？我查找了一下，發現openssl的安裝路徑如下：
[root@db-server ~]# whereis openssl
openssl: /usr/bin/openssl /usr/lib64/openssl /usr/share/man/man1/openssl.1ssl.gz
[root@db-server ~]# rpm -ql openssl
/etc/pki/CA
/etc/pki/CA/certs
/etc/pki/CA/crl
/etc/pki/CA/newcerts
/etc/pki/CA/private
/etc/pki/tls/certs/Makefile
/etc/pki/tls/certs/make-dummy-cert
/etc/pki/tls/certs/renew-dummy-cert
/etc/pki/tls/misc/CA
/etc/pki/tls/misc/c_hash
/etc/pki/tls/misc/c_info
/etc/pki/tls/misc/c_issuer
/etc/pki/tls/misc/c_name
/usr/bin/openssl
/usr/share/doc/openssl-1.0.2k
/usr/share/doc/openssl-1.0.2k/FAQ
/usr/share/doc/openssl-1.0.2k/NEWS
/usr/share/doc/openssl-1.0.2k/README
/usr/share/doc/openssl-1.0.2k/README.FIPS
/usr/share/doc/openssl-1.0.2k/README.legacy-settings
/usr/share/licenses/openssl-1.0.2k
/usr/share/licenses/openssl-1.0.2k/LICENSE
/usr/share/man/man1/asn1parse.1ssl.gz
/usr/share/man/man1/ca.1ssl.gz
....

嘗試了幾個路徑，例如SSL=/usr/lib64/openssl ，然後重新編譯安裝Python，發現依然報錯，
[root@db-server Python-3.6.6]# vi Modules/Setup.dist


SSL=/usr/lib64/openssl
_ssl _ssl.c \
       -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
       -L$(SSL)/lib -lssl -lcrypto


#cd /tmp/Python-3.6.6
#./configure --prefix=/usr/local
#make
#make install

在Python的解壓安裝包裡面，我查了一下setup.py , 發現搜索ssl關鍵字，發現有如下一些代碼， 但是我搜索了一下相關文件和目錄，居然找不到這些目錄（ssl/include和/ssl/lib）和ssl.h這些文件。
[root@db-server ~]# vi /tmp/Python-3.6.6/setup.py
    # Detect SSL support for the socket module (via _ssl)
        search_for_ssl_incs_in = [
                              '/usr/local/ssl/include',
                              '/usr/contrib/ssl/include/'
                             ]
        ssl_incs = find_file('openssl/ssl.h', inc_dirs,
                             search_for_ssl_incs_in
                             )
        if ssl_incs is not None:
            krb5_h = find_file('krb5.h', inc_dirs,
                               ['/usr/kerberos/include'])
            if krb5_h:
                ssl_incs += krb5_h
        ssl_libs = find_library_file(self.compiler, 'ssl',lib_dirs,
                                     ['/usr/local/ssl/lib',
                                      '/usr/contrib/ssl/lib/'
                                     ] )

        if (ssl_incs is not None and
            ssl_libs is not None):
            exts.append( Extension('_ssl', ['_ssl.c'],
                                   include_dirs = ssl_incs,
                                   library_dirs = ssl_libs,
                                   libraries = ['ssl', 'crypto'],
                                   depends = ['socketmodule.h']), )
        else:
            missing.append('_ssl')
[root@db-server ~]# ls -lrt /usr/lib64/openssl
total 0
drwxr-xr-x. 2 root root 218 Sep 20 07:00 engines

[root@db-server ~]# ls /usr/local/ssl
ls: cannot access /usr/local/ssl: No such file or directory

[root@db-server ~]# find / -name ssl.h

後面才搞清楚，openssl包只包含了可執行部分，openssl-devel才包含了頭文件、頭文件參考、某些庫文件等以及跟開發相關的東西。所以只安裝了openssl包是找不到相應的頭文件的，安裝完openssl-devel之後，
[root@db-server ~]# rpm -qa | grep openssl-devel
[root@db-server ~]# rpm -qa | grep openssl
openssl-1.0.2k-19.el7.x86_64
openssl-libs-1.0.2k-19.el7.x86_64

[root@db-server ~]# yum list installed |grep openssl-devel
[root@db-server ~]# yum list installed |grep openssl
openssl.x86_64                        1:1.0.2k-19.el7                  @base    
openssl-libs.x86_64                   1:1.0.2k-19.el7                  @base    
[root@db-server ~]# 

[root@db-server ~]# yum install openssl-devel

使用rpm -ql  openssl-devel 定位安裝安裝路徑為「/usr/include/openssl」，修改安裝路徑的Modules/Setup.dist文件，修改後的部分如下所示（對比上面截圖），然後重新編譯安裝Python後問題解決。
# Socket module helper for SSL support; you must comment out the other
# socket line above, and possibly edit the SSL variable:
SSL=/usr/include/openssl
_ssl _ssl.c \
        -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \
        -L$(SSL)/lib -lssl -lcrypto