前几天在博客园首页看到这个2000W数据的消息，刚好这个学期正在SQL入门，加上好奇心的驱使，把这个下载下来。

一个是600多M的CSV文件，还有一个是1.7G的SQL Server的备份文件，解压后都接近8G了，试着在sql server2000上导入一下，貌似直接就说太多了……汗

所以，只好先看看这个CSV文件了，这个解压后也接近2G了，一般的文本编辑器似乎都没辙了，excel之类的东西更是别指望了，好吧，我先承认我的电脑很差，80G的硬盘，并口，ATA/133……呃

我用HEX编辑软件查看了一下，居然是UTF8的编码，那就先用Python简单写段查询，看看有没有村里人中枪吧，哈哈

# -*- coding: utf-8 -*-def cn(s):return s.decode("utf8").encode("gbk")try:fp=file("2000w.csv","r")while 1:fp.seek(0)word=raw_input(cn("查询关键词:"))fout=file(word+".txt","w")#sline=int(raw_input(cn("起始行:")))if word=='exit':breakword=word.decode("gbk").encode("utf8")i=0print "start..."while 1:i=i+1datl=fp.readline()if datl=="":breakif i%10000==0:print i#if i<sline:continueif datl.find(word)>0:tstr=cn("【Line:%d】%s"%(i,datl))print tstr,print>>fout,tstr,#pmt=raw_input(cn("是否继续(y/n):"))#if pmt=='n':breakprint "end"fout.close()finally:fp.close()fout.close()

顺便把查询记录也保存为一个文件，结果……似乎没发现认识的人，看来他们的保密措施做的不错，哈哈。

终归还是为了练习SQL的，所以还是要将数据导入到sql server先。

在此吐槽一下微软的东西，安装包越做越大，装个软件好几个小时，记得去年装个VS2012Express居然花了整整一上午！！！

所以，对于我这种偏执狂以及标准穷*丝来说，VC用6.0，sql server用2000的，还是云端版，才几十M，入门学习足够了，哈哈。

回正题，我试着将CSV文件导入到SQL Server里去，发现编码方式只能选择ANSI或者Unicode之类的，选Unicode后英文字符都不正确了，ANSI的话中文肯定乱码，所以还是用Python将编码转成UTF8，插了下资料，UTF8的文本文件有个3字节的文件头，EFBBBF，我直接把它忽略了，哈哈

#MAXLIST=1000frp=file("2000w_utf8.csv","r")fwp=file("2000w_ansi.csv","w")i=1dat=frp.readline()fwp.write(dat[3:])try:while 1:i=i+1if i%10000==0:print idat=frp.readline()if dat=="":break#if i>MAXLIST:breakelse:try:dat_w=dat.decode("utf8").encode("gbk")except UnicodeEncodeError:print "gbk encode error"fwp.write(dat)fwp.write(dat_w)except Exception,e:print efinally:frp.close()fwp.close()print "ok"

这样，导入SQLServer就正确了。

PS：我的数据似乎只有1200多万，没有2000W啊，不知是不是没有下载到完整版，嘿嘿

转载于:https://www.cnblogs.com/fwindpeak/p/3392955.html