【Python】如何实现交叉匹配后去重

发布时间:2024年01月12日

【背景】

问题本身叙述起来比较不容易理解,但是在实际场景中是很容易遇到的问题,我称之为不严格匹配后的清洗。下面举个例子。

【需求】

有两组记录,分别用两个dataframe,df1和df2表示,这两组记录各自都有自己的唯一编号df1_index和df2_index,但是由于是两个不同系统的数据df1_index是a,b,c,d,同时df2_index是1,2,3,4,所以df1_index和df2_index无法匹配。
不过在业务上这两组记录又是一一对应的,所以只能用特征量来判断,特征量完全相同的记录视为等价记录,要求最终结果给出一一匹配。
这样的场景有一个问题,就是可能存在特征量,比如金额、客户号,成交日期等完全相同的多条记录,假设存在特征量相同的两条记录,那么通过交叉匹配后就会产生4行匹配结果,我们需要从四行中取出正确的两行。所谓正确,就是这两行记录无论index1还是index2都不应该有重复。

比如,匹配完的index数据是:

index1 index2
a 1
a 2
b 1
b 2

要求最终获得的形式:

<
index1 index2
a 1
b 2
文章来源:https://blog.csdn.net/weixin_41697242/article/details/135522642
本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。