遺言書と法律上の相続権の優先順位は？

お父様が愛人の方に財産を贈与するという内容の遺言書を作成されていたとのことですから、まずはその遺言書が正式なものとして認められるのか、有効に成立しているのかを慎重に検証すべきです。仮に遺言書に瑕疵が見つかり無効となるのであれば、その愛人の方に対して財産を渡す必要がなくなる可能性が出てきます。

そのうえで、もし遺言書が有効なものであると確認された場合には、遺言書にしたがい、その愛人の方がお父様の財産を全て受け取ることとなります。お父様と愛人の方が法律上の夫婦関係でなければ、愛人の方は法定相続人でありません。一方、あなたや弟さんはお父様の法定相続人となりますが、法定相続人であれば自動的に相続できるわけではなく、遺産分割にあたっては遺言書に書かれた内容が優先されます。

しかし、これでは被相続人とともに長年生活してきた人にとって、あまりにも不合理な結果となる場合があります。そこで、一定の法定相続人については最低限相続することができる割合が定められています。この割合のことを遺留分といいます。
遺留分が認められるのは、配偶者、子ども、直系尊属（父母など）の相続人です。法定相続人であっても、被相続人の兄弟姉妹については遺留分が認められません。
配偶者が既に死亡しているなどしておらず、子どもだけが相続人となる場合、その子供全員で相続財産の1/2に相当する金額の財産を受け取ることが保証されています。

もし愛人の方が、遺言書にしたがって相続財産の相続に関する名義変更や相続登記の手続きを進めているのであれば、あなたと弟さんは遺留分侵害請求権を主張することができます。まずは愛人の方に主張して、遺留分を侵害している財産を受け取るか、それに相当する金額の現金を受け取ることとなります。
しかし、実際には話し合いによってすんなり解決しないケースも珍しくありません。そのような場合には、家庭裁判所へ調停の申し立てを行うこととなります。また、調停によっても話がまとまらない場合には、裁判により解決することとなります。

なお、遺留分を侵害している人に対して、遺留分侵害額請求を行うことができるのは、相続と遺留分侵害の事実を知ってから1年以内とされています。時効を迎える前に遺留分侵害額請求を行ったことを証明するため、内容証明郵便により遺留分侵害額請求を行う必要があります。