发布时间:2025-12-09 16:51:15 浏览次数:4
匹配样本的程序主要来自于下面这篇文献:
Brandt, L., et al. (2012). "Creative accounting or creative destruction? Firm-level productivity growth in Chinese manufacturing."Journal of Development Economic 97(2): 339-351.
作者公开了自己的代码,下载链接地址:http://feb.kuleuven.be/public/n07057/China/
其中一部分就是匹配样本,这里算是记录了自己对作者程序的注解。
2.使用循环,匹配连续两年之间的数据。loca i 代表当年年份,local j=i+1 代表未来一年。
Step 10. 根据法人代码 firm_id 匹配。
匹配后生成三类文件:
duplicates_ID`i'.dta; duplicates_ID`j'.dta - 同一年内,多个企业共用同一id的企业文件;
match`i'.1.dta; match`j'.1.dta - 不存在多个企业共用同一id的企业文件,用于 连续两年之间的merge
matched_by_ID`i'_`j'.dta - match`i'.1.dta和 match`j'.1.dta merge之后 _m == 3 即利用id匹配成功的记录;
*另外 step10之后可以注意到没有匹配成功的记录并不包括在上述三类文件中,在后续合并步骤中这些记录还会被重新匹配。
Step20 利用 firmname 继续匹配Step10中未匹配的记录。
duplicates_name`i'.dta - Step10中合并失败_m==1的文件+duplicates_ID`i'.dta中的文件 append在一起之后,存在多个企业共享“企业名称”字段的记录。
duplicates_name`j'.dta - Step10中合并失败_m==2的文件+duplicates_ID`j'.dta中的文件 append在一起之后,存在多个企业共享“企业名称”字段的记录。
unmatched_by_ID`i'.dta - Step10中合并失败_m==1且不存在共享“企业名称”字段的记录,用于按照firm_name merge.
unmatched_by_ID`i'.dta - Step10中合并失败_m==2且不存在共享“企业名称”字段的记录,用于按照firm_name merge.
matched_by_name`i'_`j'.dta unmatched_by_ID`i'.dta 和 unmatched_by_ID`j'.dta merge 之后匹配成功的记录,即按照firm_name匹配成功。
*另外 step10之后可以注意到没有匹配成功的记录并不包括在上述三类文件中,也就是既不能按照id也不能按照name匹配成功的记录,在后续合并步骤中这些记录还会被重新匹配。
Step30 利用 法人 legal person 继续匹配Step10中未匹配的记录。
思路与Step10一致,同样生成了三类文件。
disp "Step 30 "use unmatched_by_ID`i'.dta,clearmerge 1:1 name using unmatched_by_ID`j'.dtakeep if _m == 1rename name name`i'append using duplicates_name`i'.dtareplace legal_person`i' = "." if legal_person`i' == ""gen code1 = legal_person`i' + substr(dq`i',1,4)bysort code1: keep if _N>1keep *`i' compresssaveold duplicates_code1_`i'.dta,replaceuse unmatched_by_ID`i'.dta,clearmerge 1:1 name using unmatched_by_ID`j'.dtakeep if _m == 1rename name name`i'append using duplicates_name`i'.dtareplace legal_person`i' = "." if legal_person`i' == ""gen code1 = legal_person`i' + substr(dq`i',1,4)bysort code1: drop if _N>1sort code1keep code1 *`i'compresssaveold unmatched_by_ID_and_name`i'.dta,replaceuse unmatched_by_ID`i'.dta,clearmerge 1:1 name using unmatched_by_ID`j'.dtakeep if _m == 2rename name name`j'append using duplicates_name`j'.dta*replace legal_person`j' = "." if legal_person`j' == ""gen code1 = legal_person`j' + substr(dq`j',1,4)bysort code1: keep if _N>1keep *`j' compresssaveold duplicates_code1_`j'.dta,replaceuse unmatched_by_ID`i'.dta,clearmerge 1:1 name using unmatched_by_ID`j'.dtakeep if _m == 2rename name name`j'append using duplicates_name`j'.dta*replace legal_person`j' = "." if legal_person`j' == ""gen code1 = legal_person`j' + substr(dq`j',1,4)bysort code1: drop if _N>1sort code1keep code1 *`j'compresssaveold unmatched_by_ID_and_name`j'.dta,replaceuse unmatched_by_ID_and_name`i'.dta,cleardisp _Nmerge 1:1 code1 using unmatched_by_ID_and_name`j'.dtakeep if _m==3drop _m code1gen match_method_`i'_`j' = "legal_person"gen match_status_`i'_`j' = "3"compresssaveold matched_by_legalperson`i'_`j'.dta,replace
将这六个文件合并,就得到了所有连续两年匹配后的样本
匹配后的效果以m1998-m1999.dta为例:
这里只用开头的文件作为检查是不合适的,应该同时使用m2006-m2007.dta作为检查。
对比 Brandet(2012)中每年记录数目的表格:
可以验证合并过程没有问题,根据图1,1998年-1999年匹配的有140653条,未匹配成功1998年的共有24465条,相加刚好是165118条;其他年份的数据经检验后也是如此。至此,连续两年的跨期合并执行结束。
unmatched`i'.10.dta - 来自于 m`i'-m`j'.dta 中,未成功匹配且仅在year i 中的记录。
m`i'-m`j'.10.dta - 来自于 m`i'-m`j'.dta中,包括成功匹配的和仅在year j中的记录。
unmatched`k'.10.dta - 来自于m`j'-m`k'.dta中,未成功匹配且仅在year k中的记录
m`j'-m`k'.10.dta - 来自于m`j'-m`k'.dta中,包括成功匹配和仅在year j中的记录
balanced.m`i'-m`j'-m`k'.dta - m`i'-m`j'.10.dta和m`j'-m`k'.10.dta merge之后,两边都match的记录,即连续三年均出现的记录。
Step 80. 生成未成功匹配的文件,用于后续的匹配。
Step 70 生成了连续三年的平衡面板数据,但还有部分记录未能match起来,这一部分就是提取出这部分数据以便用于进一步的匹配。
**Step 80: Creat files for unmatched `i' firms and `k' firms**disp "Step 80"use m`i'-m`j'.10.dta,clearmerge 1:1 code using m`j'-m`k'.10.dtadrop _m codedrop if match_status_`i'_`j'=="3" & match_status_`j'_`k'=="3"drop if id`i'==""gen code = id`i'+string(revenue`i')+string(employment`i')+string(profit`i')+province`i'sort codecompresssaveold unmatched`i'.15.dta,replaceuse unmatched`i'.15.dta,clearkeep *`i' append using unmatched`i'.10.dtacompresssaveold unmatched`i'.20.dta,replaceuse m`i'-m`j'.10.dta,clearmerge 1:1 code using m`j'-m`k'.10.dtadrop _m codedrop if match_status_`i'_`j'=="3" & match_status_`j'_`k'=="3"drop if id`k'== ""gen code = id`k'+string(revenue`k')+string(employment`k')+string(profit`k')+province`k'sort codecompresssaveold unmatched`k'.15.dta,replaceuse unmatched`k'.15.dta,clearkeep *`k' append using unmatched`k'.10.dtacompresssaveold unmatched`k'.20.dta,replaceuse m`i'-m`j'.10.dta,clearmerge 1:1 code using m`j'-m`k'.10.dtadrop _m codedrop if match_status_`i'_`j'=="3" & match_status_`j'_`k'=="3"gen code = id`j'+string(revenue`j')+string(employment`j')+string(profit`j')+province`j'sort codecompresssaveold unmatched`j'.15.dta,replace生成的各个文件的含义
unmatched`i'.15.dta - m`i'-m`j'.10.dta和m`j'-m`k'.10.dta merge之后不在平衡面板中且仅仅来自于year i的记录。
unmatched`i'.20.dta - unmatched`i'.15.dta 与 unmatched`i'.10.dta append起来的记录,其中 10.dta 是由Step70生成,表示 m`i'-m`j'.dta 中仅仅来自于year i 的记录。二者合并之后得到的就是目前为止所有来自于i的未能匹配的记录。
unmatched`k'.15.dta - 同unmatched`i'.15.dta
unmatched`k'.20.dta - 同unmatched`i'.20.dta
unmatched`j'.15.dta - m`i'-m`j'.10.dta和m`j'-m`k'.10.dta merge之后 不在平衡面板中所有记录(与 以i, k为下表的同类文件相比,由于这次merge肯定是完全merge,因此所有都是“无法按照j进行match的记录”,但显然这样存在一定的重叠。后续在合并的时候会对这里的重叠部分进行处理)
Step90 对Step80中得到的未匹配数据(即不在三年平衡面板中的记录:ummatched`i'.20.dta,unmatched`k'.20.dta)进行再一次匹配,运用 firm_id 和firm_name 进行匹配。
匹配思路与构建两年平衡面板时对应的处理思路是完全一样的:先确定有否duplicates的现象,区分后分别merge
**Step 90: Match `i' firms and `k' firms by firm ID and name***ID*disp "Step 90"use unmatched`i'.20.dta,clearbysort id`i': keep if _N>1compresssaveold duplicates_ID`i'.dta,replaceuse unmatched`i'.20.dta,clearbysort id`i': drop if _N>1rename id`i' idkeep *`i' idsort idcompresssaveold match`i'.1.dta,replaceuse unmatched`k'.20.dta,clearbysort id`k': keep if _N>1compresssaveold duplicates_ID`k'.dta,replaceuse unmatched`k'.20.dta,clearbysort id`k': drop if _N>1rename id`k' idkeep *`k' idsort idcompresssaveold match`k'.1.dta,replaceuse match`i'.1.dta,clearmerge 1:1 id using match`k'.1.dtakeep if _m==3gen id`i'=idrename id id`k'drop _mgen match_method_`i'_`k'="`j'"gen match_status_`i'_`k'="3"compresssaveold matched_by_ID`i'_`k'.dta,replace*name*use match`i'.1.dta, clearmerge 1:1 id using match`k'.1.dtakeep if _merge==1rename id id`i'append using duplicates_ID`i'.dtabysort name`i': keep if _N>1keep *`i'compresssaveold duplicates_name`i'.dta, replaceuse match`i'.1.dta, clearmerge 1:1 id using match`k'.1.dtakeep if _merge==1rename id id`i'append using duplicates_ID`i'.dtabysort name`i': drop if _N>1rename name`i' namesort namekeep name *`i'compresssaveold unmatched_by_ID`i'.dta, replaceuse match`i'.1.dta, clearmerge 1:1 id using match`k'.1.dtakeep if _merge==2rename id id`k'append using duplicates_ID`k'.dtabysort name`k': keep if _N>1keep *`k'compresssaveold duplicates_name`k'.dta, replaceuse match`i'.1.dta, clearmerge 1:1 id using match`k'.1.dtakeep if _merge==2rename id id`k'append using duplicates_ID`k'.dtabysort name`k': drop if _N>1rename name`k' namesort namekeep name *`k'compresssaveold unmatched_by_ID`k'.dta, replaceuse unmatched_by_ID`i'.dta, clearmerge 1:1 name using unmatched_by_ID`k'.dtakeep if _merge==3gen name`i'=namerename name name`k'drop _mergegen match_method_`i'_`k'="firm name"gen match_status_`i'_`k'="3"compresssaveold matched_by_name`i'_`k'.dta, replaceuse unmatched_by_ID`i'.dta, clearmerge 1:1 name using unmatched_by_ID`k'.dtakeep if _merge==1rename name name`i'keep *`i'append using duplicates_name`i'.dtagen match_method_`i'_`k'=""gen match_status_`i'_`k'="1"compresssaveold unmatched_by_ID_and_name_`i'.dta, replaceuse unmatched_by_ID`i'.dta, clearmerge 1:1 name using unmatched_by_ID`k'.dtakeep if _merge==2rename name name`k'keep *`k'append using duplicates_name`k'.dtagen match_method_`i'_`k'=""gen match_status_`i'_`k'="2"compresssaveold unmatched_by_ID_and_name_`k'.dta, replace执行之后得到了如下几个文件:
matched_by_ID`i'_`k'.dta, clear
matched_by_name`i'_`k'.dta
unmatched_by_ID_and_name_`i'.dta
unmatched_by_ID_and_name_`k'.dta
文件含义从名字上就已经很清楚。
Step 100 合并所有文件,处理冲突问题,生成连续三年的非平衡面板
**step 100: merge the files**disp "Step 100"use matched_by_ID`i'_`k'.dta, clearappend using matched_by_name`i'_`k'.dtaappend using unmatched_by_ID_and_name_`i'.dtaappend using unmatched_by_ID_and_name_`k'.dtacompresssaveold m`i'-m`k'.dta, replaceuse m`i'-m`k'.dta, cleargen code = id`i'+string(revenue`i')+string(employment`i')+string(profit`i')+province`i'sort code*drop if code == "..."merge code using unmatched`i'.15.dtadrop code _mergesort id`i'compresscompresssaveold m`i'-m`k'.05.dta, replace*deal with disagreement (_merge==5 if "update" is used)*use m`i'-m`k'.05.dta, cleargen code = id`k'+string(revenue`k')+string(employment`k')+string(profit`k')+province`k'sort codemerge code using unmatched`k'.15.dta, updatekeep if _merge==5drop *`k'drop code _merge sort id`i'compresscompresssaveold m`i'-m`k'.disagree.dta, replaceuse m`i'-m`k'.05.dta, clearmerge id`i' using m`i'-m`k'.disagree.dtadrop if _merge==3drop _mergeappend using m`i'-m`k'.disagree.dtagen code = id`k'+string(revenue`k')+string(employment`k')+string(profit`k')+province`k'sort codemerge code using unmatched`k'.15.dta, updatedrop code _merge gen code = id`j'+string(revenue`j')+string(employment`j')+string(profit`j')+province`j'sort codemerge code using unmatched`j'.15.dta, updatedrop code _mergecompresssaveold m`i'-m`k'.dta.10.dta, replaceuse m`i'-m`k'.dta.10.dta, clearappend using balanced.m`i'-m`j'-m`k'.dtadrop match_status_`i'_`j'drop match_status_`j'_`k'drop match_status_`i'_`k'drop match_method_`i'_`j'drop match_method_`j'_`k'drop match_method_`i'_`k'gen match_status_`i'_`j'_`k'="`i'-`j'-`k'" if id`i'!=""&id`j'!=""&id`k'!=""replace match_status_`i'_`j'_`k'="`i'-`j' only" if id`i'!=""&id`j'!=""&id`k'==""replace match_status_`i'_`j'_`k'="`j'-`k' only" if id`i'==""&id`j'!=""&id`k'!=""replace match_status_`i'_`j'_`k'="`i'-`k' only" if id`i'!=""&id`j'==""&id`k'!=""replace match_status_`i'_`j'_`k'="`i' no match" if id`i'!=""&id`j'==""&id`k'==""replace match_status_`i'_`j'_`k'="`j' no match" if id`i'==""&id`j'!=""&id`k'==""replace match_status_`i'_`j'_`k'="`k' no match" if id`i'==""&id`j'==""&id`k'!=""compresssaveold unbalanced.`i'-`j'-`k'.dta, replace
执行完了之后 以unbalanced.1998-1999-2000.dta,检查匹配状况:
可以验证合并过程没有问题
*最初只用了unbalanced.1998-1999-2000.dta作为检查对象,没有用unbalanced.2005-2006-2007.dta 同时做检查,导致有一个小错误没有发现,所有检查应注意至少检测所有的情况。
第三部分,生成10年的非平衡面板。
首先,将1998-1999-2000的非平衡面板保存为test1.dta
use unbalanced.1998-1999-2000.dta, cleartab match_status_1998_1999_2000gen code=id2000+string(revenue2000)+string(employment2000)+string(profit2000)sort codesave test1.dta, replace从 1999-2000-2001中挑选出 以2000年为合并基准的记录,保存为test2.dta
将test1.dta和test2.dta 依据 code2000 merge起来,存为test3
从 1999-2000-2001中挑选出 以1999年为合并基准的记录,保存为test4.dta
将test3.dta和test4.dta依据code1999 merge起来,存为test5.
将test3.dta和test4.dta依据code1999 merge起来,取值存在冲突的记录,存为test6. test3.dta和test4.dta中公共的部分是var2000-var2002。如果merge的时候这部分公共变量有不同,说明不是同一条,应作为两条数据处理。
将2001年未能匹配的记录存为test7.dta
append test5.dta, test6.dta, test7.dta。
随后,通过Step120将2002将2002合并进来,。。。,直到顺次将2007也合并进来,就得到了这样一个非平衡面板。
最后,通过下面的代码,得到面板和原始数据的对应关系
use "unbalanced.1998--2007.dta",clearkeep id_in_source*gen id_in_panel=_nreshape long id_in_source, i(id_in_panel) j(year)drop if id_in_source == .sort id_in_panel yearsaveold "PanelID_1998-2007.dta",replace
*由于数据库来源的问题,我使用的数据与Brandt(2012)的数据在某些年份上存在一定的误差。(主要是2004年,所用的数据来自于全国经济普查,这同时也导致了很多关键指标的缺失等问题)
至此,匹配程序处理完毕,完整版程序见另一篇博文: 工业企业数据库处理代码完整版本——2.匹配样本 。