괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

태터툴즈 레퍼러 분석기 2. :: 2006/12/18 12:16

지난번에 올렸던 걸 조금 수정한 것 입니다.
검색되는 사이트가 좀 늘었고, 코드가 조금 깔끔해졌습니다.
무엇에 쓰는 물건인지는 아래 글을 참고하세요.
http://www.jiniya.net/tt/370

만들다보니 이상한게 하나있더군요.
query=%uB178%uD2B8%uBD81%20%uB7A8%201%uAE30%uAC00%20%uAC00%uACA9
위와같은 url입니다. query 부분이 이상하죠. 유니코드는 맞는데 저렇게 쓰는게 표준인지 모르겠네요. 검색해봐도 잘 나오지도 않고, 네이버랑 네이트만 되더군요. 구글같은데 넣으면 %uB... 이런식으로 그대로 나옵니다.
그냥 대응대는 유니코드로 변경하니 되는군요. 아래는 쿼리 스트링의 유니코드를 변경하는 부분입니다.

소스보기...

#!/usr/local/bin/python
#-*- coding: utf8 -*-

import re
import MySQLdb
import urllib
import cgi

MYSQL_HOST = "호스트"
MYSQL_USERID = "아이디"
MYSQL_PASSWD = "패스워드"
MYSQL_DB = "디비명"
MYSQL_TABLE = "테이블명_ReferLogs"

EUC_KR = 0
UTF8 = 1

PT_SITE = 0
PT_SE = 1

class RefItem(object):
   def __init__(self, name="", urls=[], type=PT_SE, count=1):
       self.name = name
       self.count = count
       self.urls = urls
       self.type = type

def __cmp__(self, other):
       if self.name == other.name and self.type == other.type:
           return 0

r = self.count - other.count
       if r == 0:
           return 1
       return r

def AddUrl(self, url):
       for u in self.urls:
           if u[1]트== url[1]:
               return

self.urls.append(url)

def Add(self, item):
       self.count = self.count + item.count
       for url in item.urls:
           self.AddUrl(url)

class RefItems(object):
   def __init__(self, items=[]):
       self.items = items

def Add(self, item):
       added = False
       for it in self.items:
           if it == item:
               it.Add(item)
               added = True

if not added:
           self.items.append(item)

class Pattern(object):
   def __init__(self, name="", pattern="", ptype=PT_SE, utype=EUC_KR, gno=1):
       self.pattern = pattern
       self.utype = utype
       self.name = name
       self.gno = gno
       self.ptype = ptype

def GetRefItem(self, url):
       r = re.compile(self.pattern)
       m = r.search(url)
       if m:
           if self.ptype == PT_SITE:
               return RefItem(self.name, [(url, m.group(self.gno))], self.ptype)

q = urllib.unquote(urllib.unquote_plus(m.group(self.gno)))
           if self.utype == EUC_KR:
               try:
                   qstr = unicode(q, "euc_kr").encode("utf8")
               except UnicodeDecodeError:
                   qstr = q
           else:
               qstr = q

r = re.compile("%u(....)")
           qstr = r.sub(lambda m: unichr(int(m.group(1), 16)), qstr)
           if type(qstr) == unicode:
               qstr = qstr.encode("utf8")

return RefItem(qstr, [(url, self.name)], self.ptype)

def GetRefItem(url):
   patterns = [ Pattern("구글", ".*\.google\..*/search?.*=(EUC-KR|euc-kr).*q=([^&]*)", PT_SE, EUC_KR, 2)
           , Pattern("구글", ".*\.google\..*/search?.*q=([^&]*)", PT_SE, UTF8)
           , Pattern("구글", ".*\.google\..*/custom?.*q=([^&]*)", PT_SE, EUC_KR) 
           , Pattern("네이트", ".*searchplus\.nate\.com/searchplus/search\.plus?.*query=([^&]*)")
           , Pattern("다음",".*search\.daum\.net/cgi-bin/nsp/search\.cgi?.*q=([^&]*)")
           , Pattern("엠에쎈", ".*search\.msn\.co\.kr/(sp|)results\.aspx?.*q=([^&]*)", PT_SE, EUC_KR, 2)
           , Pattern("야후", ".*search.yahoo.com/search?(.*&|)p=([^&]*)", PT_SE, EUC_KR, 2)
           , Pattern("파란", "http://search.paran.com/search/index.php?.*KeyWord=([^&]*)")
           , Pattern("파란", "^http://.*paran.com/.*nlia=([^&]*)")
           , Pattern("네이버", "http://search.naver.com/search.naver?.*query=([^&]*)")
           , Pattern("라이브닷컴", "http://search.live.com/results.aspx?.*q=([^&]*)")
           , Pattern("올블로그", "http://www.allblog.net/GoPage/.*\.html?.*orignalUrl=([^&]*)", PT_SITE, 1)
           , Pattern("이올린", "^http://.*(\eolin\.com)/.*", PT_SITE)
           , Pattern("구글이미지", ".*images\.google\..*/imgres?.*imgurl=([^&]*)", PT_SITE)
           , Pattern("넷피아", "^http://.*netpia\.com/.*nlia=([^&]*)", PT_SE, EUC_KR)
           , Pattern("블로그라인스", "^http://.*(bloglines.com)", PT_SITE)
           , Pattern("데브피아", "^http://.*devpia\.com/[Ff]orum/BoardView\.aspx?.*forumname=([^&]*)", PT_SITE)
           , Pattern("기타", "^http://([^/]*)", PT_SITE)]

for pat in patterns:
       ri = pat.GetRefItem(url)
       if ri:
           return ri

return

def GetRefererLogs():
   db = MySQLdb.connect(MYSQL_HOST, MYSQL_USERID, MYSQL_PASSWD, MYSQL_DB)
   cursor = db.cursor()
   cursor.execute("select * from %s" % (MYSQL_TABLE))
   result = cursor.fetchall()

urls = []
   for r in result:
       urls.append(r[2])

return urls

def Main():
   urls = GetRefererLogs()

refs = RefItems()
   for url in urls:
       ref = GetRefItem(url)
       if ref:
           refs.Add(ref)

tableHtmlSE = "<table width=100% border=0 cellpadding=0 cellspacing=0 style='font-size:9pt;'>"
   tableHtmlSite = "<table width=100% border=0 cellpadding=0 cellspacing=0 style='font-size:9pt;'>"
   for ref in refs.items:
       buf = ""
       for url in ref.urls:
           buf += """<a href="%s">%s</a><br/> """ % (url[0], url[1])

if ref.type == PT_SE:
          tableHtmlSE += "<tr><tdwidth=200>%s</td><td>%d</td><td>%s</td></tr>"% (ref.name, ref.count, buf)
       else:
          tableHtmlSite +="<tr><td>%s</td><td>%d</td><td>%s</td></tr>"% (ref.name, ref.count, buf)

tableHtmlSE += "</table>"
   tableHtmlSite += "</table>"
   print "Content-type: text/html\n"
   print """<html><head>
       <meta htt-equiv="Content-type" content="text/html; charset=utf-8" />
       </head><body>%s<br/><br/>\n\n%s</body></html>""" % (tableHtmlSite, tableHtmlSE)

Main()

그리고 태터툴즈 레퍼러 로그를 좀 더 장기간 수집하고 싶으신 분들은 태터 소스의 blog/index.php 파일을 수정하시면됩니다. 해당 파일에서 아래 문자열을 찾아서 604800을 더 큰 숫자로 변경하면 됩니다. 숫자는 초단위입니다. 따라서 기본값 604800은 7일 동안 로그를 보관한다는 이야기죠.

mysql_query("delete from {$database['prefix']}RefererLogs where referred < UNIX_TIMESTAMP() - 604800");

스폰서	글타래 관련 글 디버거 혁명: Immunity Deb (8206) 파이썬에서 문자열에 포함 (8206) 최근 글 블로그 옮겼습니다.(24859) 노무현 전 대통령님의 서거(23037) 정보처리기사(26480) 2주간 인기 글 2주간 인기글이 없습니다.

레퍼러, 파이썬

11445명이 보았고, 댓글 2개가 달렸습니다!!!
트랙백 17개,

Trackback Address :: http://jiniya.net/tt/trackback/380

google apps for android

Tracked from google apps for android | 2014/10/14 14:28 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

venus factor weight loss programs

Tracked from venus factor weight loss programs | 2014/10/23 04:00 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

computer power supply 800wvhu

Tracked from computer power supply 800wvhu | 2014/10/24 16:00 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

cheap instagram followers - www.Helpwyz.com

Tracked from cheap instagram followers - www.Helpwyz.com | 2014/10/25 05:12 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

filipino channel

Tracked from filipino channel | 2014/10/27 17:40 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

buy facebook likes reviews 2012

Tracked from buy facebook likes reviews 2012 | 2014/10/28 08:51 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

pozycjonowanie chorz\u00f3w

Tracked from pozycjonowanie chorz\u00f3w | 2014/10/30 22:32 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

ppr pipe

Tracked from ppr pipe | 2014/11/02 12:45 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

fdpod.com

Tracked from fdpod.com | 2014/11/03 08:54 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

Clash of Clans Hack

Tracked from Clash of Clans Hack | 2014/11/11 05:54 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

summoners war hack Tool

Tracked from summoners war hack Tool | 2014/11/11 18:10 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

induction heater

Tracked from induction heater | 2014/11/12 18:09 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

sbobet

Tracked from sbobet | 2014/11/20 23:19 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

corporate proxy solicitation investopedia dictionary

Tracked from broadridge proxy solicitation rules | 2018/12/05 10:25 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

sbo

Tracked from sbo | 2019/07/29 07:08 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

sbo

Tracked from sbo | 2019/08/02 22:24 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

Letou

Tracked from Letou | 2019/08/04 22:39 | DEL

괴짜 프로그래머의 일상사~@@ - 태터툴즈 레퍼러 분석기 2.

루돌프 | 2006/12/17 03:49 | PERMALINK | EDIT/DEL | REPLY

허허... 만들어 쓰시는군요..ㅠㅠ
그 능력이 부럽습니다...

Name
Password
Homepage

Secret

< PREV | 1| ... 279|280|281|282|283|284|285|286|287| ... 604| NEXT >

태터툴즈 레퍼러 분석기 2. :: 2006/12/18 12:16

google apps for android

venus factor weight loss programs

computer power supply 800wvhu

cheap instagram followers - www.Helpwyz.com

filipino channel

buy facebook likes reviews 2012

pozycjonowanie chorz\u00f3w

ppr pipe

fdpod.com

Clash of Clans Hack

summoners war hack Tool

induction heater

sbobet

corporate proxy solicitation investopedia dictionary

sbo

sbo

Letou

Informed

Category

Photo Log

Tags

Recent Entries

Recent Comments

Recent Trackbacks

Calendar

Archive

Link Site

« 2019/10 »
일	월	화	수	목	금	토
		1	2	3	4	5
6	7	8	9	10	11	12
13	14	15	16	17	18	19
20	21	22	23	24	25	26
27	28	29	30	31