python：解决从字符串中提取省市区的问题
需求
从发货订单的地址中，如下的字符串：
"浙江省温州市永嘉县岩头镇芙蓉新村15栋"
"温州XX永嘉县岩头镇芙蓉新村15栋"
"浙江X永嘉县岩头镇芙蓉新村15栋"
"永嘉X岩头镇芙蓉新村15栋"
"XXXXX温州市XXXXX永嘉县岩头镇芙蓉新村15栋"
精确提取出省市区
解决思路
1.获取国内最新的省市区县数据并导入数据库
2.将地址分词
3.将所有的关键词，依次同省市县三级数据比较
从而获取出精确的省，市，区县
补丁：
1.若匹配不出省，则匹配全国的市，增大市一级匹配概率
2.若匹配不出市，则匹配全国或全省的区县，增大区县一级匹配概率
3.匹配出县后，再根据县，匹配出所在市所在省的数据
4.去除分词中类似 ['镇', '区', '县', '号'] 这样的单字，降低错误命中
5.若省市县三级均匹配不出，则说明无省市县三级数据
放弃的思路：
1.正则匹配。因为所要分词的数据非常无规律，可能没有省什么的，匹配效果不佳。
2.省市县数据放到json文件中。因为要做类似关键词对比这样的操作，有频繁的数据查询匹配，所以最好将数据存入数据库中去，好提高效率。
执行
1.获取国内最新的省市区县数据并导入数据库
我的数据来源是国家民政部官网：
http://www.mca.gov.cn/article/sj/xzqh/2019/
在这个网站中，能获取到最新的省市县：
http://www.mca.gov.cn/article/sj/xzqh/2019/201908/201908271607.html
然后撸下来，插入数据库中。
我的方法是：
1）拷贝网页内容到excel
2）python脚本读取excel文件，并插入数据库
建表语句如下：
CREATE TABLE `T_Province` (
`ProID` varchar(50) NOT NULL,
`ProName` varchar(50) DEFAULT NULL,
PRIMARY KEY (`ProID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `T_City` (
`CityID` varchar(50) NOT NULL,
`CityName` varchar(50) DEFAULT NULL,
`ProID` varchar(50) DEFAULT NULL,
PRIMARY KEY (`CityID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
CREATE TABLE `T_District` (
`DisID` varchar(50) NOT NULL,
`DisName` varchar(50) DEFAULT NULL,
`CityID` varchar(50) DEFAULT NULL,
`ProID` varchar(50) DEFAULT NULL,
PRIMARY KEY (`DisID`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
脚本语句我就不再写了，需要注意的是，北京天津上海重庆四个直辖市，没有市一级的数据，我做了补全。
类似：'北京市，北京市，朝阳区’
这样方便对地址的匹配，也方便逻辑的连贯性。
2.将地址分词
地址分词，我使用的是jieba这个库来做的
jieba就是“结巴”中文分词
github:https://github.com/fxsjy/jieba
安装说明
代码对 Python 2/3 均兼容
全自动安装：easy_install jieba 或者 pip install jieba / pip3 install jieba
半自动安装：先下载 http://pypi.python.org/pypi/jieba/ ，解压后运行 python setup.py install
手动安装：将 jieba 目录放置于当前目录或者 site-packages 目录
通过 import jieba 来引用
使用方法
#encoding=utf-8
import jieba
seg_list = jieba.cut("我来到北京清华大学", cut_all=True)
print("Full Mode: " + "/ ".join(seg_list)) # 全模式
seg_list = jieba.cut("我来到北京清华大学", cut_all=False)
print("Default Mode: " + "/ ".join(seg_list)) # 默认模式
seg_list = jieba.cut("他来到了网易杭研大厦")
print(", ".join(seg_list))
seg_list = jieba.cut_for_search("小明硕士毕业于中国科学院计算所，后在日本京都大学深造") # 搜索引擎模式
print(", ".join(seg_list))
而且github 上有非常详尽的使用方法，请自行查阅。
3.将所有的关键词，依次同省市县三级数据比较
我的python 脚本
# -*- coding: UTF-8 -*-
import sql
import jieba
import json
def address_match(address):
if not address:
return {}
address = address.replace(' ', '')
# 查省
sql_str = 'select * from tools.T_Province;'
province_data = sql.myOperationdb.query(sql_str)
seg_list = jieba.lcut(address, cut_all=False)
# 对分出的关键词去出对查询结果影响较大的关键词，而且只去单个的分词
for key in seg_list:
if key.encode('UTF-8') in ['镇', '区', '县', '号']:
seg_list.remove(key)
province_dict = {}
for item in province_data:
for key in seg_list:
if key in item['ProName']:
province_dict = item
break
if province_dict:
break
# 查市
if not province_dict:
sql_str = 'select * from tools.T_City;'
else:
sql_str = 'select * from tools.T_City where ProID = \'' + province_dict['ProID'] + '\';'
city_data = sql.myOperationdb.query(sql_str)
city_dict = {}
if len(city_data) == 1:
city_dict = city_data[0]
else:
for item in city_data:
for key in seg_list:
if key in item['CityName']:
city_dict = item
break
if city_dict:
break
# 查区县
if not city_dict:
if not province_dict:
sql_str = 'select * from tools.T_District'
else:
sql_str = 'select * from tools.T_District where ProID = \'' + province_dict['ProID'] + '\';'
else:
sql_str = 'select * from tools.T_District where CityID = \'' + city_dict['CityID'] + '\';'
dis_data = sql.myOperationdb.query(sql_str)
dis_dict = {}
index = 0
if len(dis_data) == 1:
dis_dict = dis_data[0]
else:
for item in dis_data:
for key in seg_list:
if key in item['DisName']:
dis_dict = item
index = address.decode('utf8').index(key)
break
if dis_dict:
break
if not dis_dict:
return {}
else:
if not province_dict:
sql_str = 'select * from tools.T_Province where ProID = \'' + dis_dict['ProID'] + '\';'
province_dict = sql.myOperationdb.query(sql_str)
province_dict = province_dict[0]
if not city_dict:
sql_str = 'select * from tools.T_City where CityID = \'' + dis_dict['CityID'] + '\';'
city_dict = sql.myOperationdb.query(sql_str)
city_dict = city_dict[0]
address_dict = {
'province': province_dict['ProName'],
'city': city_dict['CityName'],
'dis': dis_dict['DisName'],
'add': address.decode('utf8')[int(index) + len(key):]
}
print address
return address_dict
其中 sql 模块，是我写的一个sql处理类
代码如下：
# -*- coding: UTF-8 -*-
import pymysql
import sys
from decimal import Decimal
reload(sys)
class Operationdb(object):
def __init__(self):
try:
self.conn = pymysql.connect(host='localhost',
user='root',
passwd='root',
charset='utf8',
use_unicode=True,
db='tools',
port=3306,
cursorclass=pymysql.cursors.DictCursor)
self.cur = self.conn.cursor()
except pymysql.Error as e:
print ("创建数据库连接失败|Mysql Error %d: %s" % (e.args[0], e.args[1]))
def __del__(self):
self.cur.close()
self.conn.close()
def query(self, sql):
self.cur.execute(sql)
data = self.cur.fetchall()
if data:
return data
else:
return 0
def execute(self, sql):
try:
self.cur.execute(sql)
self.conn.commit()
return True
except pymysql.Error as e:
self.conn.rollback()
return False
def executemany(self, sql, d_list):
try:
self.cur.executemany(sql, d_list)
self.conn.commit()
except pymysql.Error as e:
self.conn.rollback()
myOperationdb = Operationdb()
最终执行效果：
浙江省温州市永嘉县岩头镇芙蓉新村15栋
{"province": "浙江省", "city": "温州市", "add": "岩头镇芙蓉新村15栋", "dis": "永嘉县"}
温州XX永嘉县岩头镇芙蓉新村15栋
{"province": "浙江省", "city": "温州市", "add": "岩头镇芙蓉新村15栋", "dis": "永嘉县"}
浙江X永嘉县岩头镇芙蓉新村15栋
{"province": "浙江省", "city": "温州市", "add": "岩头镇芙蓉新村15栋", "dis": "永嘉县"}
永嘉X岩头镇芙蓉新村15栋
{"province": "浙江省", "city": "温州市", "add": "X岩头镇芙蓉新村15栋", "dis": "永嘉县"}
XXXXX温州市XXXXX永嘉县岩头镇芙蓉新村15栋
{"province": "浙江省", "city": "温州市", "add": "岩头镇芙蓉新村15栋", "dis": "永嘉县"}