レイアウトに余裕がないのなら長押しでドラッグ開始でも良いのだけど、ハンドルを設置する余裕があるのならソレを使ってすぐにドラッグを開始したい。
そんな時はドラッグを開始したい Viewの TouchListenerでドラッグを開始すれば良いだけ。
ドキュメントにそのまんまのコードが。*1
void startDrag (RecyclerView.ViewHolder viewHolder)
ドキュメントにも書いてあるけど、長押しによるドラッグ開始を無効にしたければ isLongPressDragEnabledのオーバーライドが必要。
*1 そのままだとコンパイルエラーになるのはサンプルコードの常と言うことで。