對于您的擔憂，可以明確的是，如果沒有您的密碼，其他人無法直接從銀行取走您的錢。即使他人持有您的身份證，他們也無法在沒有授權的情況下更改您的密碼。銀行在辦理業務時會嚴格遵循規定，只有在確認身份無誤的情況下才會進行操作。

按照相關規定，儲蓄機構在處理大額取款時會對取款人的身份進行核查。例如，如果一天內一次性提取5萬元（含5萬元）以上的現金，銀行會要求出示身份證件。儲戶本人親自取款時，需要出示有效的身份證件，如身份證、軍官證或護照。如果儲戶委托他人代取，代理人也需要提供儲戶的身份證件，并且儲蓄機構會核對存單存折上的姓名是否與身份證信息一致，這是一種形式審查，而非深入的實質審查。

因此，如果您的銀行卡密碼被泄露或擔心他人冒領，應盡快去銀行辦理卡的凍結，并在身份證解凍后更換新卡。這樣可以有效防止他人冒用您的身份取款。請確保您的個人安全措施到位，以保障您的財產安全。