椅子やベビーカーにはちゃんと座るのですが、床の上ではいやがってすぐにうつぶせになり、お座りしません。大丈夫なのでしょうか？

つかまり立ちや伝い歩きができるようであれば、お座りは基本的にはできていると考えてよいでしょう。
しかし、筋肉の緊張が弱い（抱き上げたときや関節を伸ばしたり曲げたりすると筋肉がぐにゃぐにゃしている）と、お座りをしたときにすぐに前のめりになったり、仰向けに倒れたりすることがあります。椅子やベビーカーでは手すりや背もたれがありますので、お座りがしやすいのだと思われます。
しばらくはひとりで座らせるときは、まわりにクッションのようなものを置いて補助してあげればよいでしょう。次第にひとりで座って遊ぶようになるでしょう。

つかまり立ちや伝い歩きをするということですが、かなりの補助が必要であるようならば、本当にまだできるというほどではないかもしれません。片手を少し支える程度でもできるのかどうか確かめてください。つかまり立ちが十分でなければ、お座りも完全にできていないかもしれません。
もう少し（2〜3ヵ月）様子を見られて同じようにお座りをいやがるようであれば、小児科の専門医に相談してください。