家庭成員中負有贍養、扶養、撫養義務的成員對需要贍養、扶養和撫養的成員不履行其應盡義務的算是遺棄家庭成員。《刑法》第二百六十一條遺棄罪對于年老、年幼、患病或者其他沒有獨立生活能力的人，負有扶養義務而拒絕扶養，情節惡劣的，處五年以下有期徒刑、拘役或者管制。這里所指的情節惡劣，通常是指被遺棄人因生活無著而被迫到處乞討，遺棄動機卑鄙，遺棄手段十分惡劣的，由于遺棄造成病、殘、死亡后果的等情況。一、遺棄罪怎么判定遺棄罪，是指對于年老、年幼、患病或者其他沒有獨立生活能力的人，負有扶養義務而拒絕撫養，情節惡劣的行為。遺棄罪一經定罪可判處五年以下有期徒刑、拘役或管制。要想認定為遺棄罪，該行為就必須符合以下遺棄罪的構成要件：1、本罪侵犯的客體是被害人在家庭成員中的平等權利。對象只限于年老、年幼、患病或者其他沒有獨立生活能力的家庭成員。2、本罪在客觀方面表現為年老、年幼、患病或者其他沒有獨立生活能力的家庭成員，應當扶養而拒不扶養，情節惡劣的行為。3、本罪的主體為特殊主體，必須是對被遺棄者負有法律上的扶養義務而且具有撫養能力的人。4、本罪在主觀方面表現為故意。即明知自己應履行扶養義務而拒絕扶養。二、父親遺棄子女母親撫養構成遺棄罪嗎？遺棄罪(我國刑法第261條)，是指對于年老、年幼、患病或者其他沒有獨立生活能力的人，負有扶養義務而拒絕撫養，情節惡劣的行為。父親遺棄子女的行為必須達到情節惡劣程度的，才構成犯罪，否則，達不到遺棄罪的立案標準。根據司法實踐經驗，遺棄行為情節惡劣是指：由于遺棄而致被害人重傷、死亡的；被害人因被遺棄而生活無著，流離失所，被迫沿街乞討的；因遺棄而使被害人走投無路被迫自殺的；行為人屢經教育，拒絕改正而使被害人的生活陷一危難境地的；遺棄手段十分惡劣的(如在遺棄中又有打罵、虐待行為的)等等。