なかなか難しい質問です。 接ベクトルを多様体上の曲線の接ベクトルとして定義する流儀もあります。そしてある点の接ベクトルが与えられると、そのベクトルの方向にスカラー関数を方向微分することができます。この方向微分という微分作用素とその方向は完全に対応が付き、どちらもベクトル空間なので同一視することができます。このアイデアはそんなにおかしいくないように思います。 どちらと見なすかは議論する側の自由であり、意思の問題です。そのベクトル場に沿って微分したいと思ったら微分作用素と見なして微分します。ですのでもしかしたら納得できてないのは、なぜこの場面で微分したいのか、という議論の意思の方かもしれません。