数组去重：四种方法的性能对比

一、四种去重方法详解

1. Set方法（ES6推荐）

function uniqueWithSet(arr) {
    return [...new Set(arr)];
    // 或使用 Array.from(new Set(arr))
}

2. filter + indexOf方法

function uniqueWithFilter(arr) {
    return arr.filter((item, index) => arr.indexOf(item) === index);
}

3. reduce + includes方法

function uniqueWithReduce(arr) {
    return arr.reduce((acc, cur) => {
        return acc.includes(cur) ? acc : [...acc, cur];
    }, []);
}

4. 双重循环法（传统方法）

function uniqueWithDoubleLoop(arr) {
    const result = [];
    for (let i = 0; i < arr.length; i++) {
        let isDuplicate = false;
        for (let j = 0; j < result.length; j++) {
            if (arr[i] === result[j]) {
                isDuplicate = true;
                break;
            }
        }
        if (!isDuplicate) result.push(arr[i]);
    }
    return result;
}

二、性能对比实测

1. Set方法在百万级数据上比传统indexOf方法快约300倍以上
2. 数据量越大，性能差异越明显
3. 双重循环法在小数据量下尚可接受，但大数据量下完全不可用

三、时间复杂度分析

• Set基于哈希表实现：查找、添加和删除操作的时间复杂度为O(1)
• indexOf/includes需要线性搜索：每次调用都需要遍历数组，时间复杂度为O(n)
• 嵌套循环导致平方级复杂度：双重循环使得时间复杂度达到O(n²)

四、适用场景与选择建议

1. 现代项目首选：Set方法

• 推荐度：⭐⭐⭐⭐⭐
• 适用场景：绝大多数场景，特别是ES6+环境
• 优势：代码简洁、性能最优、可读性强
• 示例：处理API返回的用户ID列表、商品SKU去重等

2. 兼容性要求：filter+indexOf

• 推荐度：⭐⭐⭐
• 适用场景：需要支持老浏览器（IE9+）的项目
• 注意：仅适用于小数据量（<1000条）

3. 教学演示：reduce+includes

• 推荐度：⭐⭐
• 适用场景：教学示例、需要清晰逻辑展示的场合
• 特点：函数式编程风格，逻辑清晰但性能一般

4. 学习理解：双重循环

• 推荐度：⭐
• 适用场景：算法学习、理解去重原理
• 实际开发：不推荐在生产环境使用

5. 特殊场景补充

• 对象数组去重：使用Map数据结构

function uniqueObjects(arr, key) {
    const map = new Map();
    return arr.filter(item => !map.has(item[key]) && map.set(item[key], true));
}

• 需要保留顺序：Set和Map都能保持插入顺序
• 超大数组优化：可考虑先排序后去重（时间复杂度O(n log n)）

五、实战性能优化建议

1. 数据量预判：根据预估数据量选择方法
   • <1000条：任意方法均可
   • 1000-10万条：优先使用Set

   • 10万条：必须使用Set或Map

2. 内存考虑：Set和Map会占用额外内存，在内存敏感场景下需权衡
3. 类型处理注意：
   • Set能正确处理NaN（Set认为NaN等于NaN）
   • 对象去重需特别注意引用比较
   • 数字和字符串会被区分（1和”1″视为不同）
4. 实际案例：
   • 电商SKU去重：使用Set方法，万级数据下性能无感
   • 日志数据清洗：大数据量可考虑排序后去重
   • 实时数据流：使用Map保持顺序并去重

六、总结

1. 性能王者：Set方法凭借O(n)的时间复杂度，在大数据量下性能优势明显，是现代JavaScript项目的首选。
2. 兼容之选：filter+indexOf在需要兼容老环境时是不错的备选，但需注意数据量限制。
3. 理解价值：传统双重循环法虽性能最差，但对理解去重算法原理有教育意义。
4. 场景适配：没有绝对最好的方法，只有最适合场景的方案。需综合考虑数据量、数据类型、环境兼容性、代码可维护性等因素。