appcompat-v7:21で android.support.v7.app.ActionBar.Tab周りが軒並み deprecation指定されてしまったので代替を探していたら SlidingTabLayout.java | Android Developersというところへ行き着いた。
で、Android 5.0 material tabs with toolbar – Stack Overflowに習って toolbarにこいつを入れるのがいいらしい。
ざっと見ると「タブによって Viewを切り替える&Viewのスワイプによってタブを切り替える」というサンプルになっているので PagerAdapterを FragmentPagerAdapterに変えた実装をしてやるだけで期待通りの動きになった。