问题本身叙述起来比较不容易理解,但是在实际场景中是很容易遇到的问题,我称之为不严格匹配后的清洗。下面举个例子。
有两组记录,分别用两个dataframe,df1和df2表示,这两组记录各自都有自己的唯一编号df1_index和df2_index,但是由于是两个不同系统的数据df1_index是a,b,c,d,同时df2_index是1,2,3,4,所以df1_index和df2_index无法匹配。
不过在业务上这两组记录又是一一对应的,所以只能用特征量来判断,特征量完全相同的记录视为等价记录,要求最终结果给出一一匹配。
这样的场景有一个问题,就是可能存在特征量,比如金额、客户号,成交日期等完全相同的多条记录,假设存在特征量相同的两条记录,那么通过交叉匹配后就会产生4行匹配结果,我们需要从四行中取出正确的两行。所谓正确,就是这两行记录无论index1还是index2都不应该有重复。
比如,匹配完的index数据是:
index1 | index2 |
---|---|
a | 1 |
a | 2 |
b | 1 |
b | 2 |
要求最终获得的形式:
index1 | index2 |
---|---|
a | 1 |
b | 2 | <