在處理財務負責人職務時，單方面解雇并非公司的常規操作。除非財務負責人存在嚴重且特定的違規行為，否則法律并不支持這樣的行為。依據《中華人民共和國勞動合同法》第三十九條規定，允許解除勞動合同的情況包括：

試用期間證明不符合錄用條件的；

嚴重違反公司的規章制度；

因嚴重失職或營私舞弊導致重大經濟損失；

同時在其他單位兼職嚴重影響本職工作，經警告不改正；

勞動合同因法律原因無效；

被依法追究刑事責任。

然而，如果公司單方面解除合同，必須事先告知工會，并且必須遵循法定程序，尊重工會的意見。如果違反法律規定，如無正當理由解雇，勞動者有權要求繼續履行合同或獲得賠償，賠償金標準為經濟補償標準的兩倍，具體可參照第四十八條和第八十七條。

總結來說，除非財務負責人確實觸犯了上述法律條款中的某一條，否則單方面解雇財務負責人將面臨法律約束。在實際操作中，應謹慎處理并遵循相關法律規定。