常時SSL(HTTP/2)が常に速いはウソ

HTTP/2は、HTTP1.1に代わる新しいプロトコル(実際にはマイナーアップデート)です。
HTTP/2は本来HTTPプロトコル上でも利用できますが、多くのブラウザはHTTPSの場合のみ動くように実装しているので、HTTP/2の恩恵を受けたければ常時SSLは必須ということになります。
※常時SSL導入にはサーバー側での対応が必要です

HTTP/2で高速化できる!と謳っているサイトが多いですが、実運用すると速度は同じか、むしろ常時SSLのほうが遅い場合がほとんどです。
ダウンロードする要素の少ないテキストベースのサイトの場合はHTTPSのほうが暗号鍵のやりとりなどが必要となるため、表示速度は若干低下します。0.5秒程度なので大きな違いはありませんが、体感で分かるかもしれません。
一方、遅くなることで検索順位が下がるのではと心配するかもしれませんが真逆で、googleの検索順位に関しては常時SSL化しているサイトを優先して上位表示することは既にご存知の方も多いと思います。
なので結論としては、
画像が多いサイト=高速化の恩恵を受ける(概ね50%)
画像が少ないサイト=0.5秒程度遅くなる
ということになります。
画像が少ないサイトの場合はページ表示時間が長くかかりページ表示時間だけでのランキングでは不利になってしまうため、それを防ぐ意味でSSL対応をランキング要因にしたのかもしれません。またページ単位でのSEOには限界がありますが、常時SSLによってページの評価を高めそれによりサイト全体の評価上昇も見込めます。

以下の画像はchromeの開発者ツールでウォーターフォールを表示したものですが、画像の多いページの場合、このように一斉にダウンロードを開始できるかそうで無いかが大きくページ表示時間に関わってきます。
この画像はキャッシュを適用しない「シークレットウインドウ」で実行しています。
確かにキャッシュがあれば二回目以降は素早く表示できますが、検索から流入する場合は初回訪問が多いためあまりに表示時間が長いとユーザーの離脱要因につながってしまいます。

HTTP/1.1

HTTP/2

ちなみに、1.1か2.0かの区別はProtocol列で判別できます。「h2」となっている場合はHTTP/2通信である事を示しています。
確かに画像の少ないサイトでは表示速度は遅くなるが、代わりにランキングが上昇するかもしれない可能性を秘めている常時SSL。

☆収益化しているサイトでの常時SSLはちょっと待って
サイトに広告を載せている場合、公式では「大きな差は無い」とアナウンスされていても、実際に運用してみると収益が大幅に下がる場合があります。特に専門サイトでの影響は顕著です。なぜなら専門サイトの場合はジャンルが限られているためhttps化すると表示される広告が少なくなり収益が下がるのです。実際にhttpとhttpsで確認してみれば表示される広告が違うので分かります。一般的な雑学サイトであれば常時SSLにして問題ありません(上位表示されることで閲覧数増加&収益増加)が、上位表示されてもさほど大きなメリットはない専門的な内容を扱うマニアックなサイトの場合には数年間猶予すべきでしょう。

☆共用(共有)SSLと独自SSLについて
共用SSLと独自SSLは、全く別物です。
共用SSLはいわゆるサーバー管理会社がサーバーユーザー向けに無料で提供する簡易なSSLで、一部で脆弱性が指摘されています。
独自SSLはユーザーが有料で購入するSSLで、古いブラウザにも対応するなど、比較的安全性が担保されています。
ただ何も対処していないとゼロ、共用SSLにすれば0.5、独自SSLにすれば1になるというような話です。この知識を頭に入れた上で、しないよりはしたほうがいいということでサイトの規模や予算に合わせて適切な方法を選択してください。

現在は検索結果で常時SSLサイトは判別できますが、今後はブラウザでの表示も強化されていきます。鍵マークが表示されるのでユーザーの安心感に繋がります。
フォームがないから常時SSLは無駄だ、などといわずに時代の潮流に乗ることをお勧めします。