断るのであれば、体調が優れないとか急用ができたみたいな無難な理由がいいのではないでしょうか。ありがちな断り文句でもいいので、しっかりと相手に行けないことを伝えることが大切だと思います。 とはいえ、もしかしたら相手は誘いを承諾してもらえたことを喜んでるかもしれないし、実際に出掛けてみないとわからないこともあると思うので、今回はとりあえず出掛けてみて、どうも合わないなと思ったら次から断るってのが結局は一番波風立てない無難な選択肢な気はします。