相続を放棄したら、債務の負担について兄弟間でトラブルになった

相続人が相続放棄をするかどうかは、ほかの相続人の意向とは関係なく単独で決定することができます。
そのため、あなたが相続放棄をしたことについて、お兄様が口出しすることはできません。
仮に、相続放棄する前に相談や報告をしていなかったとしても、そのこと自体が相続放棄の効力に何らかの影響を与えることはありません。

また、相続放棄した人も債務の負担をしなければならないとお兄様はおっしゃっているようですが、これは誤りです。
相続放棄すると、最初から相続人でなかったものとみなされるため、財産を相続することができないのはもちろんですが、債務を引き継ぐことも、その後に債務の支払い義務が生じることもありません。

ちなみに、相続放棄した後に間違えて債務の返済のための支払いをしてしまった場合、支払った相手方（債権者）や本来支払うべきだったほかの相続人からお金を取り戻すことができます。
このことも、あわせて覚えておいてください。