使用什么可以減輕shuffle階段的數(shù)據(jù)傳輸負擔
使用什么可以減輕shuffle階段的數(shù)據(jù)傳輸負擔
1、使用序列化:將數(shù)據(jù)序列化為字節(jié)數(shù)組可以減少數(shù)據(jù)傳輸?shù)拇笮。S玫男蛄谢蚣馨ˋvro、Protobuf和Thrift等。2、使用壓縮輸出:在reduce節(jié)點輸出數(shù)據(jù)時,使用壓縮算法對輸出結(jié)果進行壓縮,可以減少輸出數(shù)據(jù)的大小,進而減少數(shù)據(jù)傳輸?shù)呢摀?、使用本地性感知調(diào)度:在調(diào)度任務時,優(yōu)先將任務調(diào)度到與輸入數(shù)據(jù)所在節(jié)點相同的節(jié)點上,以減少跨節(jié)點的數(shù)據(jù)傳輸。
導讀1、使用序列化:將數(shù)據(jù)序列化為字節(jié)數(shù)組可以減少數(shù)據(jù)傳輸?shù)拇笮。S玫男蛄谢蚣馨ˋvro、Protobuf和Thrift等。2、使用壓縮輸出:在reduce節(jié)點輸出數(shù)據(jù)時,使用壓縮算法對輸出結(jié)果進行壓縮,可以減少輸出數(shù)據(jù)的大小,進而減少數(shù)據(jù)傳輸?shù)呢摀?、使用本地性感知調(diào)度:在調(diào)度任務時,優(yōu)先將任務調(diào)度到與輸入數(shù)據(jù)所在節(jié)點相同的節(jié)點上,以減少跨節(jié)點的數(shù)據(jù)傳輸。
使用序列化、使用壓縮輸出、使用本地性感知調(diào)度。1、使用序列化:將數(shù)據(jù)序列化為字節(jié)數(shù)組可以減少數(shù)據(jù)傳輸?shù)拇笮。S玫男蛄谢蚣馨ˋvro、Protobuf和Thrift等。2、使用壓縮輸出:在reduce節(jié)點輸出數(shù)據(jù)時,使用壓縮算法對輸出結(jié)果進行壓縮,可以減少輸出數(shù)據(jù)的大小,進而減少數(shù)據(jù)傳輸?shù)呢摀?、使用本地性感知調(diào)度:在調(diào)度任務時,優(yōu)先將任務調(diào)度到與輸入數(shù)據(jù)所在節(jié)點相同的節(jié)點上,以減少跨節(jié)點的數(shù)據(jù)傳輸。
使用什么可以減輕shuffle階段的數(shù)據(jù)傳輸負擔
1、使用序列化:將數(shù)據(jù)序列化為字節(jié)數(shù)組可以減少數(shù)據(jù)傳輸?shù)拇笮。S玫男蛄谢蚣馨ˋvro、Protobuf和Thrift等。2、使用壓縮輸出:在reduce節(jié)點輸出數(shù)據(jù)時,使用壓縮算法對輸出結(jié)果進行壓縮,可以減少輸出數(shù)據(jù)的大小,進而減少數(shù)據(jù)傳輸?shù)呢摀?、使用本地性感知調(diào)度:在調(diào)度任務時,優(yōu)先將任務調(diào)度到與輸入數(shù)據(jù)所在節(jié)點相同的節(jié)點上,以減少跨節(jié)點的數(shù)據(jù)傳輸。
為你推薦