OSにバンドルされているOpenSSL（/usr/bin/openssl）とは別に、新しいバージョン（/usr/local/openssl-1.1.1/bin/openssl）をインストールしました。新しいバージョンのOpenSSLを使うために、以下のようにPATHを設定したのですが、古いバージョンの方が優先されてしまう。。
結論からいうと僕がPATHの優先順位を理解していないだけでした。対処法をメモしておきます。
PATHは先頭に書いたものから優先的に適用される
PATHには優先順位があって、先頭に書いたものから優先的に適用されます。さきほどのOpenSSLの件だと、新しいバージョン（/usr/local/openssl-1.1.1/bin/openssl）を適用させるためには、PATHの先頭に書いてやればOKです。
まとめ
PATHは先頭に書いたものから優先的に適用される！