在日本的中國銀行辦理的卡，如果你存的是日元，是可以直接將日元兌換成人民幣提取的。中國銀行提供外幣兌換服務，允許客戶在各網點按照實時的匯率將賬戶內的日元轉換為人民幣或其他可自由兌換貨幣。因此，你可以選擇提取人民幣，或者保持日元，根據個人需求進行選擇。

具體的辦理流程相對簡單，只需攜帶有效的身份證明文件，如中國公民的身份證、戶口簿（十六歲以下）、軍人或武裝警察的身份證件，港澳居民或臺灣居民的相應通行證，以及外國公民的護照。填寫相關單據，提供現鈔即可完成兌換手續。

需要注意的是，中國銀行對于退匯也有相關規定，境外個人如果兌換的人民幣未用完，可以憑有效身份證件和原兌換水單在兌換日起24個月內辦理兌回。當天在境內關外場所累計不超過等值1000美元的兌回，僅需身份證即可辦理。但請記住，匯率是實時變動的，建議你在匯率有利時進行兌換，一旦操作完成，無法撤銷。

以上信息參考自中國銀行的外幣兌換服務政策。