三四個人的小企業是不需要繳納殘保金的。根據《殘疾人就業保障金征收使用管理辦法》，自工商登記注冊之日起3年內，對安排殘疾人就業未達到規定比例、在職職工總數20人以下（含20人）的小微企業，可以免征保障金。具體而言，用人單位安排殘疾人就業的比例不得低于本單位在職職工總數的1.5%。具體比例由各省、自治區、直轄市人民政府根據本地區的實際情況規定。如果用人單位安排殘疾人就業達不到其所在地省、自治區、直轄市人民政府規定比例的，則應當繳納保障金。《管理辦法》還指出，用人單位將殘疾人錄用為在編人員或依法與就業年齡段內的殘疾人簽訂1年以上（含1年）勞動合同（服務協議），且實際支付的工資不低于當地最低工資標準，并足額繳納社會保險費的，方可計入用人單位所安排的殘疾人就業人數。值得注意的是，用人單位安排1名持有《中華人民共和國殘疾人證》（1至2級）或《中華人民共和國殘疾軍人證》（1至3級）的人員就業的，按照安排2名殘疾人就業計算。用人單位跨地區招用殘疾人的，也應當計入所安排的殘疾人就業人數。以上信息旨在幫助小企業更好地了解相關政策，從而合理規劃企業運營，減輕負擔。根據相關規定，小企業如符合特定條件，可以在一定時期內免除繳納殘保金。這有助于減輕企業負擔，促進企業發展。為確保信息準確無誤，請參考相關官方文件或咨詢專業人士獲取最權威的信息。