実際のデータがないので確定ではありませんが、赤丸部の面が細すぎて指定半径のRが入らない(面の幅が0.7mmしかないのにR1mmを入れようとしても入らなくてエラーになるようなイメージ)、もしくフィレットをかける部分の先端が選択から抜けている(or余分に選択している)といった原因が考えられます。
拡大して見て、エッジ先端の面が別れている部分まで選択されているか確認する。
フィレットを付ける順番を変えてみる、もしくは隣接する場所と同時にフィレットをかけるなどで解決する場合があります。
下図のようにフィレットをかける順番を変えてみてください。
これでうまくいくかもしれません。
フィレットを上手く付けて綺麗な丸みを付けるのは実は3D-CADの操作でも難しい部類に入ります。ちょっとしたコツのようなものがあるのですが、形状によって一概に説明できないところがありますので、できれば実際のデータを添付していただくと助かります。