如何从apache/nginx日志分析ip的来源并写入到数据库-白红宇

如何从apache/nginx日志分析ip的来源并写入到数据库

阅读量：5917 次

发布时间：2019-06-19

本文共 7705 字，大约阅读时间需要 25 分钟。

如题，分析首先最简单的取出ip

cd /usr/local/nginx/logsawk '{print $1}'  access.log | sort  |  uniq -c  | sort -rn | head -n 50 | awk '{print $2}' > /root/list#在nginx/apache 下执行上述代码。把ip写到list列表

然后思路就是把每个ip的来源地分析出来，我用的淘宝的ip数据库，还是不错的

#!/bin/bashipInfo() {  for i in `cat list`  do    TransCoding="/usr/bin/python TransCoding.py"    JsonDate="curl -s http://ip.taobao.com/service/getIpInfo.php?ip=$i"    country=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==2{print $3}'`    area=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==4{print $2}'`    region=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==6{print $2}'`    city=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==8{print $2}'`    county=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==10{print $2}'`    isp=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==12{print $2}'`    printf "%-18s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\n" $i $country $isp $area $region $city $county  done}printf "%-18s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\n" IP地址 国家 运营商 区域 省份 城市 县/区echo -e "\e[1;33m======================================================================\e[0m"ipInfo

转码代码

#!/usr/bin/env python# -*- coding: utf-8 -*-import reimport sysdef main():    for line in sys.stdin:        sys.stdout.write(re.sub(r'\\u\w{4}',            lambda e: unichr(int(e.group(0)[2:], 16)).encode('utf-8'),            line))if __name__ == '__main__':    main()

说明一下，shell用可以从淘宝的api把每个ip地址来源获取出来，但是是json的格式，需要用python把他转化为utf8的格式。

此时解决ip来源查询的，下一步就是写到数据库，很简单，把shell修改下就行了。当然了前提是去数据库手工创建字段咯，数据类型自己定义就ok。

+-----------------+---------+--------------+--------+--------------------------+-----------------+52 rows in set (0.00 sec)mysql> quitByeYou have new mail in /var/spool/mail/root[root@10-6-12-175 ~]# vim ip1.sh #!/bin/bashipInfo() {  for i in `cat list`  do    TransCoding="/usr/bin/python TransCoding.py"    JsonDate="curl -s http://ip.taobao.com/service/getIpInfo.php?ip=$i"    country=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==2{print $3}'`    area=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==4{print $2}'`    region=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==6{print $2}'`    city=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==8{print $2}'`    county=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==10{print $2}'`    isp=`$JsonDate | sed 's/,/\n/g' | $TransCoding | tr -d "{}\"" | awk -F ":" 'NR==12{print $2}'`    printf "%-18s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\t%-8s\n" $i $country $isp $area $region $city $county    mysql -uroot -pxxxxxx  ip_address << EOF    use ip_address;    insert into ip_address values ("$i","$country","$isp","$area","$region","$city");EOF  done}ipInfo

来个mysql的查询界面：

mysql> SELECT * FROM ip_address;+-----------------+---------+--------------+--------+--------------------------+-----------------+| ip              | country | isp          | area   | region                   | city            |+-----------------+---------+--------------+--------+--------------------------+---------| 101.199.112.45  | 中国    |              | 华北   | 北京市                   | 北京市          || 101.226.125.116 | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 101.226.33.199  | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 101.226.33.222  | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 101.226.61.142  | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 101.81.49.203   | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 106.120.160.109 | 中国    | 电信         | 华北   | 北京市                   | 北京市          || 111.73.45.242   | 中国    | 电信         | 华东   | 江西省                   | 上饶市          || 111.73.46.22    | 中国    | 电信         | 华东   | 江西省                   | 上饶市          || 112.65.191.116  | 中国    | 联通         | 华东   | 上海市                   | 上海市          || 115.231.218.126 | 中国    | 电信         | 华东   | 浙江省                   | 杭州市          || 116.231.78.64   | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 117.131.99.203  | 中国    | 移动         | 华东   | 上海市                   | 上海市          || 117.21.226.160  | 中国    | 电信         | 华东   | 江西省                   | 赣州市          || 119.161.140.147 | 中国    |              | 华北   | 北京市                   | 北京市          || 12.197.154.136  | 美国    |              |        |                          |                 || 120.132.72.219  | 中国    | 天地祥云     | 华北   | 北京市                   | 北京市          || 120.204.200.42  | 中国    | 移动         | 华东   | 上海市                   | 上海市          || 121.32.128.186  | 中国    | 电信         | 华南   | 广东省                   | 广州市          || 121.40.83.80    | 中国    | 阿里云       | 华东   | 浙江省                   | 杭州市          || 125.211.216.98  | 中国    | 联通         | 东北   | 黑龙江省                 | 哈尔滨市        || 140.207.30.50   | 中国    | 联通         | 华东   | 上海市                   | 上海市          || 180.153.163.205 | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 180.153.213.141 | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 180.154.173.64  | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 180.173.226.55  | 中国    | 电信         | 华东   | 上海市                   | 上海市          || 183.233.169.183 | 中国    | 移动         | 华南   | 广东省                   | 韶关市          || 183.61.171.132  | 中国    | 电信         | 华南   | 广东省                   | 东莞市          || 192.3.6.2       | 美国    |              |        |                          |                 || 198.13.108.236  | 美国    |              |        |                          |                 || 203.156.217.33  | 中国    |              | 华东   | 上海市                   | 上海市          || 203.171.238.69  | 中国    |              | 华中   | 河南省                   | 郑州市          || 216.99.156.172  | 美国    |              |        |                          |                 || 218.84.251.209  | 中国    | 电信         | 西北   | 新疆维吾尔自治区         | 乌鲁木齐市      || 220.181.132.193 | 中国    | 电信         | 华北   | 北京市                   | 北京市          || 220.181.132.215 | 中国    | 电信         | 华北   | 北京市                   | 北京市          || 221.2.205.150   | 中国    | 联通         | 华东   | 山东省                   | 聊城市          || 221.203.98.43   | 中国    | 联通         | 东北   | 辽宁省                   | 本溪市          || 222.174.5.25    | 中国    | 电信         | 华东   | 山东省                   | 泰安市          || 222.186.30.115  | 中国    | 电信         | 华东   | 江苏省                   | 镇江市          || 222.186.30.82   | 中国    | 电信         | 华东   | 江苏省                   | 镇江市          || 222.186.31.130  | 中国    | 电信         | 华东   | 江苏省                   | 镇江市          || 222.186.31.149  | 中国    | 电信         | 华东   | 江苏省                   | 镇江市          || 222.215.230.233 | 中国    | 电信         | 西南   | 四川省                   | 眉山市          || 223.104.3.186   | 中国    | 移动         | 华北   | 北京市                   | 北京市          || 42.62.56.151    | 中国    | 森华易腾     | 华北   | 北京市                   | 北京市          || 50.7.37.98      | 美国    |              |        |                          |                 || 58.217.255.4    | 中国    | 电信         | 华东   | 江苏省                   | 南京市          || 59.108.122.184  | 中国    | 方正网络     | 华北   | 北京市                   | 北京市          || 61.148.243.106  | 中国    | 联通         | 华北   | 北京市                   | 北京市          || 61.164.211.98   | 中国    | 电信         | 华东   | 浙江省                   | 嘉兴市

转载于:https://blog.51cto.com/ribble/1655368

你可能感兴趣的文章