引言
在日常办公与企业数据处理场景中，经常遇到需要将多个结构相似的Excel工作簿（Workbook）合并为一个总表的需求。例如：汇总各分公司的月度报表、整合不同来源的客户数据或合并历史审计记录。对于非编程背景的普通用户而言，传统的“复制-粘贴”方法不仅耗时费力，而且极易产生人为错误，如漏行、重复录入或格式错乱。当涉及的数据量达到数百甚至上千个文件时，这种手动方式更是不可接受。
Microsoft Office Excel中内置的强大工具 Power Query（在Excel 2016及以上版本中称为“获取和转换数据”）为这一问题提供了完美的解决方案。它不仅能自动化执行数据合并任务，还能进行复杂的数据清洗、类型转换和去重处理，且整个流程可重复使用。本文将详细介绍如何利用Power Query实现多工作簿的高效合并与数据去重。
核心原理：文件夹查询机制
Power Query合并多个工作簿的核心逻辑是“文件夹查询”（Folder Query）。其工作原理如下：
- 监控目录：用户指定一个包含所有待处理Excel文件的文件夹路径。
- 识别文件：Power Query会自动扫描该文件夹下的所有特定类型文件（如.xlsx, .xls）。
- 统一模板：假设所有文件中的数据结构相同（例如都在Sheet1的第A1:C10区域），Power Query会将每个文件视为一个独立的表格源。
- 动态加载：将每个文件提取出的表格数据追加（Append）到一个主表中，形成最终的大数据集。
实战步骤：从零开始合并与去重
第一步：准备数据环境
为了演示清晰，请准备以下测试环境：
- 新建一个名为“Data_Source”的文件夹。
- 在该文件夹内放置三个示例Excel文件：Jan_Report.xlsx, Feb_Report.xlsx, Mar_Report.xlsx。
- 确保这三个文件具有相同的结构：每个文件只有一个工作表（Sheet1），且数据从第2行开始（第1行为标题行），包含列：日期、产品ID、销售额。
第二步：创建Power Query查询
- 打开一个新的空白Excel工作簿。
- 点击顶部菜单栏的“数据”（Data）选项卡。
- 在“获取和转换数据”组中，选择“获取数据” > “来自文件” > “来自文件夹”。
- 在弹出的浏览窗口中，选择刚才创建的“Data_Source”文件夹路径，点击“确定”。
第三步：组合与转换数据
此时会弹出一个预览窗口，显示文件夹中的所有文件名。点击右下角的“组合” > “合并和转换数据”按钮。
- 样本文件：Power Query可能会提示选择一个样本文件来识别结构。请选择任意一个已准备好的Excel文件（如Jan_Report.xlsx）。
- 加载选项：在随后的“合并文件”对话框中，确保选择的Sheet名称正确（通常是Sheet1），并确认数据范围包含标题行。点击“确定”。
这将打开Power Query编辑器。你会看到一个包含两列的表：Content（二进制内容）和Name（文件名）。我们的目标是提取Content中的实际数据。
- 展开内容：点击
Content列标题右侧的“展开”图标（两个相互垂直的箭头）。在弹出的窗口中，保持默认选择（通常会自动检测CSV或XML结构），点击“确定”。 - 提升标题：如果数据行没有表头，请点击顶部菜单的“主页” > “使用第一行作为标题”。这一步至关重要，它将第一行数据转换为列名，方便后续引用。
- 清理数据：检查各列的数据类型。确保“日期”列为日期格式，“销售额”列为货币或小数格式。点击列标题上的类型图标进行更改。
第四步：执行数据去重
在多文件合并场景中，重复数据是一个常见问题（例如同一笔交易在不同月份文件中误存，或文件命名重叠导致多次读取）。以下是几种常见的去重策略：
1. 基于主键去重
如果“产品ID”或“订单号”是唯一的业务主键：
- 选中“产品ID”列。
- 点击右键，选择“删除重复项”。
- Power Query将保留每条唯一记录的第一次出现，移除后续重复项。
2. 基于多列组合去重
有时单列不足以标识唯一性，需要结合“产品ID”和“日期”：
- 按住Ctrl键，同时选中“产品ID”和“日期”两列。
- 点击右键，选择“删除重复项”。
- 这确保了只有当这两列内容完全一致时，才会被视为重复记录并被移除。
3. 保留最新记录去重
如果存在多条相同业务记录，但需要保留最新的一条（例如基于时间戳排序）：
- 首先按“日期”列进行降序排序。
- 然后选中业务主键列（如“产品ID”）。
- 选择“删除重复项”。由于已按时间降序排列，Power Query会保留第一条（即最新的）记录，删除旧的副本。
发布与刷新机制
完成上述转换步骤后，点击左上角的“关闭并上载”。数据将被加载到新的Excel工作表中。
关键优势：一键刷新
当新的月份报表放入“Data_Source”文件夹时，无需重新编写任何代码或步骤：
- 回到Excel主界面。
- 右键点击生成的数据表。
- 选择“刷新”。
- Power Query将自动重新扫描文件夹，读取新增的文件，应用之前的清洗和去重规则，并更新结果表。
常见问题与优化建议
- 性能优化：对于超大型数据集（超过百万行），建议在Power Query中进行尽可能多的过滤和列裁剪（只保留必要列），以减少内存占用和提升刷新速度。
- 文件命名规范：虽然Power Query能处理任意命名，但建议统一文件命名格式（如YYYY_MM_DD_Name.xlsx），以便在后续调试时快速定位问题。
- 隐藏中间列：在最终输出前，可以右键点击
Content和Name列选择“删除”，以避免在最终表格中暴露内部结构信息。 - 错误处理：如果某个文件结构发生变化（如缺少某列），Power Query会在预览阶段标记错误。可通过添加自定义列或使用“移除错误”功能来处理个别异常文件，确保整体流程不因单个文件故障而中断。
结语
利用Power Query处理多工作簿合并与去重，不仅将原本需要数小时的手动操作缩短至秒级，还极大地提高了数据的准确性和可维护性。对于中小企业IT支持人员和行政财务人员而言，掌握这一技能是提升数字化办公效率的关键一步。随着数据量的增长，这种基于ETL（抽取、转换、加载）思想的自动化流程，将成为日常数据处理的标准范式。