0. "대한항공 박 사무장 징계 시도한 적 없다…단순 안내 메일" similar words 

   ---> 원본
   ---> 대한항공
   ---> 진단서
   ---> 사무장
   ---> 박

1. "[뉴욕개장] 스위스 최저환율제 폐지 충격 벗어나 상승 개장" similar words 

   ---> 대비
   ---> 지수
   ---> 전장
   ---> 상승
   ---> 증시

2. "강남, 데뷔 초 공개 나 진짜 잘생겼네 스타일 변신" similar words 

   ---> 강남
   ---> 모습
   ---> 머리
   ---> 나 혼자 산다
   ---> 데뷔

3. "美 12월 cpi 전월比 0.4% ↓…6년래 최대 하락폭" similar words 

   ---> 대비
   ---> 기록
   ---> 하락
   ---> 전월
   ---> 이후

4. "성인 adhd 증상 주의력 결핍 과잉 행동 장애 방치하면 나타나" similar words 

   ---> adhd
   ---> 성인
   ---> 환자
   ---> 사람
   ---> 원인

5. "美 12월 산업생산 전월比 0.1% ↓…월가 예상 0.2%" similar words 

   ---> 생산
   ---> 감소
   ---> 산업
   ---> 지난해
   ---> 대비

6. "나혼자 산다 강남, 데뷔초 모습공개 ‘세련된 댄디남’…반전" similar words 

   ---> 강남
   ---> 모습
   ---> 혼자
   ---> 나
   ---> 머리

7. "영화 ‘국제시장’ 열풍…‘변호인’ 넘을까?" similar words 

   ---> 변호인
   ---> 국제시장
   ---> 관객
   ---> 영화
   ---> 시대

8. "[뉴스쇼 판] 전재국, 고가 그림 숨겨뒀다 덜미…檢 구상권도 행사" similar words 

   ---> 검찰
   ---> 재국
   ---> 시공사
   ---> 작품
   ---> 그림

9. "공운위, 장석효 가스공사 사장 해임결의" similar words 

   ---> 사장
   ---> 해임
   ---> 이상
   ---> 대통령
   ---> 사실

10. "[미리보는 동아일보]거리로 내몰린 ‘베이비붐 세대’" similar words 

   ---> 대통령
   ---> 전직
   ---> 거리
   ---> 스위스
   ---> 가치

11. "[뉴스쇼 판] 1달러=1유로 시대 임박…유럽 여행객 급증" similar words 

   ---> 유럽
   ---> 유로화
   ---> 여행
   ---> 가치
   ---> 여행객

12. "[뉴스쇼 판] 육군 일병, 총기 소지한채 근무지 이탈…일대 수색" similar words 

   ---> 일병
   ---> 수색
   ---> 목포
   ---> 군
   ---> 근무

13. "안산 인질범 김상훈, 딸 성폭행시도까지? 경악" similar words 

   ---> 김상훈
   ---> 작은딸
   ---> a
   ---> 서울신문
   ---> 인질범

14. "野 자문단 야당 대안 못 돼...국민들 답답" similar words 

   ---> 국민
   ---> 정당
   ---> 회의
   ---> 자문
   ---> 구성

15. "이준석 미숙한 일처리 반성…공식 경로로 보고 김무성 대표에 전달" similar words 

   ---> 청와대
   ---> 위원
   ---> 대표
   ---> 음
   ---> 그

16. "美 12월 산업생산 전월比 0.1% 감소..예상 웃돌아" similar words 

   ---> 생산
   ---> 산업
   ---> 감소
   ---> 지난해
   ---> 전월

17. "뉴욕 증시, 장 초반 약세..12월 cpi 대폭 하락" similar words 

   ---> 하락
   ---> 대비
   ---> 폭
   ---> cpi
   ---> 발표

18. "가스공사 장석효 사장, 결국 해임될 듯" similar words 

   ---> 해임
   ---> 사장
   ---> 보수
   ---> 동안
   ---> 건의안

19. "항공 유류할증료 한달만에 74%, 항공사 울상 소비자 활짝" similar words 

   ---> 할증료
   ---> 유류
   ---> 하락
   ---> 항공
   ---> 노선

20. "대통령 지지율 35%, 취임 후 최저치…도대체 왜?" similar words 

   ---> 평가
   ---> 대통령
   ---> 부정
   ---> 지지
   ---> p

21. "열차 속 노란풍선" similar words 

   ---> 열차
   ---> 세월호
   ---> 용산역
   ---> 서울
   ---> 청년

22. "北 김여정 키 오빠와 엇비슷…엄마 유전자?" similar words 

   ---> 김여정
   ---> 김정은
   ---> 키
   ---> 북한
   ---> 공장

23. "김재원 세금도둑 발언 “세월호 진상규명위 세금도둑 작태” 무슨 이유?" similar words 

   ---> 도둑
   ---> 세금
   ---> 규명
   ---> 진상
   ---> 급

24. "檢, ‘조사위 사건’ 수임 민변 변호사 수사" similar words 

   ---> 변호사
   ---> 조사
   ---> 위
   ---> 민변
   ---> 규명

25. "‘차량의전 로비 의혹’ 김광두는 누구?" similar words 

   ---> 동영상
   ---> 대통령
   ---> 자세
   ---> 국가
   ---> 정치부

26. "문재인 “민심을 보라” vs 박지원 “당심 내편”" similar words 

   ---> 후보
   ---> 당
   ---> 문재인
   ---> 박지원
   ---> 인터뷰

27. "새정치연합 첫 국정자문회의…올드보이 귀환" similar words 

   ---> 인터뷰
   ---> 새정치민주연합
   ---> 야당
   ---> 국민
   ---> 국정자문회의

28. "박 대통령 지지율 35%…무너진 ‘콘크리트층’" similar words 

   ---> 지지
   ---> 대통령
   ---> 기자회견
   ---> 평가
   ---> 신년

29. "함안군, 구제역·ai 방역 활동에 총력" similar words 

   ---> 사진
   ---> 영상
   ---> 뉴시스
   ---> 함안군
   ---> 제보

30. "우크라 대통령 동부지역으로 새 전투부대 배치" similar words 

   ---> 대통령
   ---> 우크라이나
   ---> 지역
   ---> 징집
   ---> 반군

31. "이준석 고자질이라는 비판도 달게 받겠다" similar words 

   ---> 위원
   ---> 비대
   ---> 생각
   ---> 음
   ---> 전달

32. "만나고 싶었습니다" similar words 

   ---> 세월호
   ---> 서울
   ---> 용산역
   ---> 열차
   ---> 기자

33. "파리 우체극 인질극 종료…인명피해 없어 (상보)" similar words 

   ---> 현지
   ---> 시간
   ---> 김
   ---> 인질
   ---> 인질극

34. "어린이집 가해 교사 영장…뺨 가격 2건-베개 투척 등 추가 폭력 4건 추가" similar words 

   ---> a
   ---> 아동
   ---> 추가
   ---> 어린이집
   ---> 경찰

35. "[나침반]르네상스 서울 호텔 “딸기 뷔페 문턱 낮췄어요. 맘껏 즐기세요”" similar words 

   ---> 딸기
   ---> 호텔
   ---> 서울
   ---> 디저트
   ---> 르네상스

36. "“종말의 날처럼…” 中 ‘최악 스모그’ 한반도 습격" similar words 

   ---> 스모그
   ---> 베이징
   ---> 중국
   ---> 이번
   ---> 공항

37. "2015 청춘열차 출발합니다" similar words 

   ---> 서울
   ---> 용산역
   ---> 세월호
   ---> 열차
   ---> 청년

38. "북한, 범죄자 소탕 ‘100일 전투’ 왜?" similar words 

   ---> 김정은
   ---> 탁
   ---> 북한
   ---> 동영상
   ---> 자세

39. "농해양수산위원회, 합천군 구제역 방역현장 방문" similar words 

   ---> 사진
   ---> 뉴시스
   ---> 영상
   ---> com
   ---> newsis

40. "2015 청춘열차 출발합니다" similar words 

   ---> 열차
   ---> 서울
   ---> 용산역
   ---> 세월호
   ---> 청년

41. "2015 청춘열차 출발합니다" similar words 

   ---> 열차
   ---> 세월호
   ---> 서울
   ---> 용산역
   ---> 시간

42. "세월호 청춘열차" similar words 

   ---> 세월호
   ---> 사진
   ---> 열차
   ---> 유가족
   ---> 팽목항

43. "박상학 “전단 살포 신중히 고려”…北 화답할까?" similar words 

   ---> 북한
   ---> 살포
   ---> 전단
   ---> 통일부
   ---> 대표

44. "미끄럼틀부터 생리대까지…軍이 다 만드는 北" similar words 

   ---> 북한
   ---> 군부대
   ---> 미끄럼틀
   ---> 제작
   ---> 자체

45. "北 “영화 ‘인터뷰’ 막아라”…미얀마에 압력" similar words 

   ---> 복제
   ---> 인터뷰
   ---> 단속
   ---> 본
   ---> 미얀마

46. "미국 12월 소비자물가 0.4%↓…6년간 최대폭 하락" similar words 

   ---> 지난해
   ---> cpi
   ---> 상승
   ---> 폭
   ---> 하락

47. "뜻깊은 기차여행 나선 세월호 세대들" similar words 

   ---> 열차
   ---> 세월호
   ---> 서울
   ---> 용산역
   ---> 청년

48. "2015 청춘열차 발대식" similar words 

   ---> 서울
   ---> 세월호
   ---> 용산역
   ---> 열차
   ---> 청년

49. "어린이집 가해 교사 영장-추가 학대 확인, 따귀 때리고 밀고…너무 사랑해서" similar words 

   ---> 추가
   ---> 경찰
   ---> 확인
   ---> 어린이집
   ---> 교사

50. "미국 12월 소비자물가 0.4%↓…6년 만에 최대폭 하락" similar words 

   ---> 하락
   ---> 소비자물가지수
   ---> 미국
   ---> 폭
   ---> 전

51. "용산역에 모인 세월호 세대들" similar words 

   ---> 서울
   ---> 용산역
   ---> 세월호
   ---> 열차
   ---> 기자

52. "양미리 효능, 숙취 해소-골다공증 예방-다이어트 도움" similar words 

   ---> 양미리
   ---> 효능
   ---> 때
   ---> 효과
   ---> 칼슘

53. "흰개미 집어먹은 이태임… 경악" similar words 

   ---> 흰개미
   ---> 이태임
   ---> 장동우
   ---> sbs
   ---> kr

54. "어린이집 가해 교사 영장, 폭행은 아니다?" similar words 

   ---> 추가
   ---> 어린이집
   ---> a
   ---> 교사
   ---> 학대

55. "보험사 가계대출 74조원, 보험사 아파트담보대출 상품 주목해 금리비교 해 봐야..." similar words 

   ---> 대출
   ---> 금리
   ---> 담보
   ---> 비교
   ---> 보험사

56. "정치권, 뒤늦게 “안심 보육”…법안은 낮잠" similar words 

   ---> 어린이집
   ---> 보육
   ---> 대표
   ---> 대책
   ---> 의원

57. "아파트담보대출금리비교 사이트 “변동금리·고정금리 담보대출상품 맞춤 설계”" similar words 

   ---> 금리
   ---> 대출
   ---> 은행
   ---> 담보
   ---> 변동

58. "연이은 기준금리 동결에 아파트담보대출 금리비교 문의 늘어" similar words 

   ---> 대출
   ---> 금리
   ---> 비교
   ---> 주택
   ---> 담보

59. "프랑스서 또 인질극…유럽 ‘테러와의 전쟁’" similar words 

   ---> 테러
   ---> 파리
   ---> 인질극
   ---> 프랑스
   ---> 준비

60. "화성탐사선 `비글2호` 11년 만에 화성표면서 확인" similar words 

   ---> 화성
   ---> 표면
   ---> 착륙
   ---> 비글 2호
   ---> 영국

61. "김재원 세월호 세금도독 발언 눈길… 우리 국회가 절대 용서 안해" similar words 

   ---> 세금
   ---> 도둑
   ---> 김재원
   ---> 위
   ---> 규명

62. "맥아피 창업자 소니해킹 북한소행 아니다 단언" similar words 

   ---> 북한
   ---> 피
   ---> 맥아
   ---> 주장
   ---> fbi

63. "용산역에 모인 세월호 세대들" similar words 

   ---> 세월호
   ---> 서울
   ---> 용산역
   ---> 열차
   ---> 기자

64. "미국 작년 물가상승률 6년래 최저" similar words 

   ---> 미국
   ---> 하락
   ---> 물가
   ---> 대비
   ---> 기록

 

 

 

중복되는 url을 걸러내고, 기사 대비 주요단어를 추출할 수 있었다. 비교적 만족할 수 있는 결과이다.

 


0. "대한항공 박 사무장 징계 시도한 적 없다…단순 안내 메일" similar doucments 


1. "[뉴욕개장] 스위스 최저환율제 폐지 충격 벗어나 상승 개장" similar doucments 


2. "강남, 데뷔 초 공개 나 진짜 잘생겼네 스타일 변신" similar doucments 

  --> 나혼자 산다 강남, 데뷔초 모습공개 ‘세련된 댄디남’…반전 [0.7353]


3. "美 12월 cpi 전월比 0.4% ↓…6년래 최대 하락폭" similar doucments 

  --> 미국 작년 물가상승률 6년래 최저 [0.4622]

  --> 뉴욕 증시, 장 초반 약세..12월 cpi 대폭 하락 [0.4675]

  --> 미국 12월 소비자물가 0.4%↓…6년간 최대폭 하락 [0.5228]


4. "성인 adhd 증상 주의력 결핍 과잉 행동 장애 방치하면 나타나" similar doucments 


5. "美 12월 산업생산 전월比 0.1% ↓…월가 예상 0.2%" similar doucments 

  --> 美 12월 산업생산 전월比 0.1% 감소..예상 웃돌아 [0.7586]


6. "나혼자 산다 강남, 데뷔초 모습공개 ‘세련된 댄디남’…반전" similar doucments 

  --> 강남, 데뷔 초 공개 나 진짜 잘생겼네 스타일 변신 [0.7353]


7. "영화 ‘국제시장’ 열풍…‘변호인’ 넘을까?" similar doucments 


8. "[뉴스쇼 판] 전재국, 고가 그림 숨겨뒀다 덜미…檢 구상권도 행사" similar doucments 


9. "공운위, 장석효 가스공사 사장 해임결의" similar doucments 

  --> 가스공사 장석효 사장, 결국 해임될 듯 [0.6112]


10. "[미리보는 동아일보]거리로 내몰린 ‘베이비붐 세대’" similar doucments 


11. "[뉴스쇼 판] 1달러=1유로 시대 임박…유럽 여행객 급증" similar doucments 


12. "[뉴스쇼 판] 육군 일병, 총기 소지한채 근무지 이탈…일대 수색" similar doucments 


13. "안산 인질범 김상훈, 딸 성폭행시도까지? 경악" similar doucments 


14. "野 자문단 야당 대안 못 돼...국민들 답답" similar doucments 

  --> 새정치연합 첫 국정자문회의…올드보이 귀환 [0.5232]


15. "이준석 미숙한 일처리 반성…공식 경로로 보고 김무성 대표에 전달" similar doucments 

  --> 이준석 고자질이라는 비판도 달게 받겠다 [0.6923]


16. "美 12월 산업생산 전월比 0.1% 감소..예상 웃돌아" similar doucments 

  --> 뉴욕 증시, 장 초반 약세..12월 cpi 대폭 하락 [0.4590]

  --> 美 12월 산업생산 전월比 0.1% ↓…월가 예상 0.2% [0.7586]


17. "뉴욕 증시, 장 초반 약세..12월 cpi 대폭 하락" similar doucments 

  --> 美 12월 산업생산 전월比 0.1% 감소..예상 웃돌아 [0.4590]

  --> 美 12월 cpi 전월比 0.4% ↓…6년래 최대 하락폭 [0.4675]


18. "가스공사 장석효 사장, 결국 해임될 듯" similar doucments 

  --> 공운위, 장석효 가스공사 사장 해임결의 [0.6112]


19. "항공 유류할증료 한달만에 74%, 항공사 울상 소비자 활짝" similar doucments 


20. "대통령 지지율 35%, 취임 후 최저치…도대체 왜?" similar doucments 

  --> 박 대통령 지지율 35%…무너진 ‘콘크리트층’ [0.5375]


21. "열차 속 노란풍선" similar doucments 

  --> 만나고 싶었습니다 [0.9594]

  --> 2015 청춘열차 발대식 [0.9803]

  --> 용산역에 모인 세월호 세대들 [0.9713]

  --> 2015 청춘열차 출발합니다 [0.9594]

  --> 2015 청춘열차 출발합니다 [0.9594]

  --> 2015 청춘열차 출발합니다 [0.9594]

  --> 세월호 청춘열차 [0.4536]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.9796]

  --> 용산역에 모인 세월호 세대들 [0.9713]


22. "北 김여정 키 오빠와 엇비슷…엄마 유전자?" similar doucments 


23. "김재원 세금도둑 발언 “세월호 진상규명위 세금도둑 작태” 무슨 이유?" similar doucments 

  --> 김재원 세월호 세금도독 발언 눈길… 우리 국회가 절대 용서 안해 [0.8310]


24. "檢, ‘조사위 사건’ 수임 민변 변호사 수사" similar doucments 


25. "‘차량의전 로비 의혹’ 김광두는 누구?" similar doucments 


26. "문재인 “민심을 보라” vs 박지원 “당심 내편”" similar doucments 


27. "새정치연합 첫 국정자문회의…올드보이 귀환" similar doucments 

  --> 野 자문단 야당 대안 못 돼...국민들 답답 [0.5232]


28. "박 대통령 지지율 35%…무너진 ‘콘크리트층’" similar doucments 

  --> 대통령 지지율 35%, 취임 후 최저치…도대체 왜? [0.5375]


29. "함안군, 구제역·ai 방역 활동에 총력" similar doucments 

  --> 농해양수산위원회, 합천군 구제역 방역현장 방문 [0.6797]

  --> 세월호 청춘열차 [0.4357]


30. "우크라 대통령 동부지역으로 새 전투부대 배치" similar doucments 


31. "이준석 고자질이라는 비판도 달게 받겠다" similar doucments 

  --> 이준석 미숙한 일처리 반성…공식 경로로 보고 김무성 대표에 전달 [0.6923]


32. "만나고 싶었습니다" similar doucments 

  --> 2015 청춘열차 발대식 [0.9765]

  --> 용산역에 모인 세월호 세대들 [0.9877]

  --> 열차 속 노란풍선 [0.9594]

  --> 2015 청춘열차 출발합니다 [0.9756]

  --> 2015 청춘열차 출발합니다 [0.9756]

  --> 2015 청춘열차 출발합니다 [0.9756]

  --> 세월호 청춘열차 [0.4604]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.9594]

  --> 용산역에 모인 세월호 세대들 [0.9877]


33. "파리 우체극 인질극 종료…인명피해 없어 (상보)" similar doucments 


34. "어린이집 가해 교사 영장…뺨 가격 2건-베개 투척 등 추가 폭력 4건 추가" similar doucments 

  --> 어린이집 가해 교사 영장-추가 학대 확인, 따귀 때리고 밀고…너무 사랑해서 [0.7072]

  --> 어린이집 가해 교사 영장, 폭행은 아니다? [0.6953]


35. "[나침반]르네상스 서울 호텔 “딸기 뷔페 문턱 낮췄어요. 맘껏 즐기세요”" similar doucments 


36. "“종말의 날처럼…” 中 ‘최악 스모그’ 한반도 습격" similar doucments 


37. "2015 청춘열차 출발합니다" similar doucments 

  --> 만나고 싶었습니다 [0.9756]

  --> 2015 청춘열차 발대식 [0.9765]

  --> 용산역에 모인 세월호 세대들 [0.9877]

  --> 열차 속 노란풍선 [0.9594]

  --> 2015 청춘열차 출발합니다 [1.0000]

  --> 2015 청춘열차 출발합니다 [1.0000]

  --> 세월호 청춘열차 [0.4604]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.9594]

  --> 용산역에 모인 세월호 세대들 [0.9877]


38. "북한, 범죄자 소탕 ‘100일 전투’ 왜?" similar doucments 


39. "농해양수산위원회, 합천군 구제역 방역현장 방문" similar doucments 

  --> 세월호 청춘열차 [0.4965]

  --> 함안군, 구제역·ai 방역 활동에 총력 [0.6797]


40. "2015 청춘열차 출발합니다" similar doucments 

  --> 만나고 싶었습니다 [0.9756]

  --> 2015 청춘열차 발대식 [0.9765]

  --> 용산역에 모인 세월호 세대들 [0.9877]

  --> 열차 속 노란풍선 [0.9594]

  --> 2015 청춘열차 출발합니다 [1.0000]

  --> 2015 청춘열차 출발합니다 [1.0000]

  --> 세월호 청춘열차 [0.4604]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.9594]

  --> 용산역에 모인 세월호 세대들 [0.9877]


41. "2015 청춘열차 출발합니다" similar doucments 

  --> 만나고 싶었습니다 [0.9756]

  --> 2015 청춘열차 발대식 [0.9765]

  --> 용산역에 모인 세월호 세대들 [0.9877]

  --> 열차 속 노란풍선 [0.9594]

  --> 2015 청춘열차 출발합니다 [1.0000]

  --> 2015 청춘열차 출발합니다 [1.0000]

  --> 세월호 청춘열차 [0.4604]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.9594]

  --> 용산역에 모인 세월호 세대들 [0.9877]


42. "세월호 청춘열차" similar doucments 

  --> 만나고 싶었습니다 [0.4604]

  --> 2015 청춘열차 발대식 [0.4496]

  --> 용산역에 모인 세월호 세대들 [0.4661]

  --> 열차 속 노란풍선 [0.4536]

  --> 2015 청춘열차 출발합니다 [0.4604]

  --> 농해양수산위원회, 합천군 구제역 방역현장 방문 [0.4965]

  --> 2015 청춘열차 출발합니다 [0.4604]

  --> 2015 청춘열차 출발합니다 [0.4604]

  --> 함안군, 구제역·ai 방역 활동에 총력 [0.4357]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.4536]

  --> 용산역에 모인 세월호 세대들 [0.4661]


43. "박상학 “전단 살포 신중히 고려”…北 화답할까?" similar doucments 


44. "미끄럼틀부터 생리대까지…軍이 다 만드는 北" similar doucments 


45. "北 “영화 ‘인터뷰’ 막아라”…미얀마에 압력" similar doucments 


46. "미국 12월 소비자물가 0.4%↓…6년간 최대폭 하락" similar doucments 

  --> 미국 12월 소비자물가 0.4%↓…6년 만에 최대폭 하락 [0.5420]

  --> 美 12월 cpi 전월比 0.4% ↓…6년래 최대 하락폭 [0.5228]


47. "뜻깊은 기차여행 나선 세월호 세대들" similar doucments 

  --> 만나고 싶었습니다 [0.9594]

  --> 2015 청춘열차 발대식 [0.9803]

  --> 용산역에 모인 세월호 세대들 [0.9713]

  --> 열차 속 노란풍선 [0.9796]

  --> 2015 청춘열차 출발합니다 [0.9594]

  --> 2015 청춘열차 출발합니다 [0.9594]

  --> 2015 청춘열차 출발합니다 [0.9594]

  --> 세월호 청춘열차 [0.4536]

  --> 용산역에 모인 세월호 세대들 [0.9713]


48. "2015 청춘열차 발대식" similar doucments 

  --> 만나고 싶었습니다 [0.9765]

  --> 용산역에 모인 세월호 세대들 [0.9886]

  --> 열차 속 노란풍선 [0.9803]

  --> 2015 청춘열차 출발합니다 [0.9765]

  --> 2015 청춘열차 출발합니다 [0.9765]

  --> 2015 청춘열차 출발합니다 [0.9765]

  --> 세월호 청춘열차 [0.4496]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.9803]

  --> 용산역에 모인 세월호 세대들 [0.9886]


49. "어린이집 가해 교사 영장-추가 학대 확인, 따귀 때리고 밀고…너무 사랑해서" similar doucments 

  --> 어린이집 가해 교사 영장…뺨 가격 2건-베개 투척 등 추가 폭력 4건 추가 [0.7072]

  --> 어린이집 가해 교사 영장, 폭행은 아니다? [0.6861]


50. "미국 12월 소비자물가 0.4%↓…6년 만에 최대폭 하락" similar doucments 

  --> 미국 12월 소비자물가 0.4%↓…6년간 최대폭 하락 [0.5420]


51. "용산역에 모인 세월호 세대들" similar doucments 

  --> 만나고 싶었습니다 [0.9877]

  --> 2015 청춘열차 발대식 [0.9886]

  --> 열차 속 노란풍선 [0.9713]

  --> 2015 청춘열차 출발합니다 [0.9877]

  --> 2015 청춘열차 출발합니다 [0.9877]

  --> 2015 청춘열차 출발합니다 [0.9877]

  --> 세월호 청춘열차 [0.4661]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.9713]

  --> 용산역에 모인 세월호 세대들 [1.0000]


52. "양미리 효능, 숙취 해소-골다공증 예방-다이어트 도움" similar doucments 


53. "흰개미 집어먹은 이태임… 경악" similar doucments 


54. "어린이집 가해 교사 영장, 폭행은 아니다?" similar doucments 

  --> 어린이집 가해 교사 영장-추가 학대 확인, 따귀 때리고 밀고…너무 사랑해서 [0.6861]

  --> 어린이집 가해 교사 영장…뺨 가격 2건-베개 투척 등 추가 폭력 4건 추가 [0.6953]


55. "보험사 가계대출 74조원, 보험사 아파트담보대출 상품 주목해 금리비교 해 봐야..." similar doucments 

  --> 아파트담보대출금리비교 사이트 “변동금리·고정금리 담보대출상품 맞춤 설계” [0.7973]

  --> 연이은 기준금리 동결에 아파트담보대출 금리비교 문의 늘어 [0.8306]


56. "정치권, 뒤늦게 “안심 보육”…법안은 낮잠" similar doucments 


57. "아파트담보대출금리비교 사이트 “변동금리·고정금리 담보대출상품 맞춤 설계”" similar doucments 

  --> 보험사 가계대출 74조원, 보험사 아파트담보대출 상품 주목해 금리비교 해 봐야... [0.7973]

  --> 연이은 기준금리 동결에 아파트담보대출 금리비교 문의 늘어 [0.8305]


58. "연이은 기준금리 동결에 아파트담보대출 금리비교 문의 늘어" similar doucments 

  --> 보험사 가계대출 74조원, 보험사 아파트담보대출 상품 주목해 금리비교 해 봐야... [0.8306]

  --> 아파트담보대출금리비교 사이트 “변동금리·고정금리 담보대출상품 맞춤 설계” [0.8305]


59. "프랑스서 또 인질극…유럽 ‘테러와의 전쟁’" similar doucments 


60. "화성탐사선 `비글2호` 11년 만에 화성표면서 확인" similar doucments 


61. "김재원 세월호 세금도독 발언 눈길… 우리 국회가 절대 용서 안해" similar doucments 

  --> 김재원 세금도둑 발언 “세월호 진상규명위 세금도둑 작태” 무슨 이유? [0.8310]


62. "맥아피 창업자 소니해킹 북한소행 아니다 단언" similar doucments 


63. "용산역에 모인 세월호 세대들" similar doucments 

  --> 만나고 싶었습니다 [0.9877]

  --> 2015 청춘열차 발대식 [0.9886]

  --> 용산역에 모인 세월호 세대들 [1.0000]

  --> 열차 속 노란풍선 [0.9713]

  --> 2015 청춘열차 출발합니다 [0.9877]

  --> 2015 청춘열차 출발합니다 [0.9877]

  --> 2015 청춘열차 출발합니다 [0.9877]

  --> 세월호 청춘열차 [0.4661]

  --> 뜻깊은 기차여행 나선 세월호 세대들 [0.9713]


64. "미국 작년 물가상승률 6년래 최저" similar doucments 

  --> 美 12월 cpi 전월比 0.4% ↓…6년래 최대 하락폭 [0.4622]

 


문서 대비 문서에서 유사결과값 포착 이것역시 만족할 수 있는 결과이다.

 


비음수행렬 인수분해를 사용했었지만, 교체한 알고리즘이 성능이 더 좋기 때문에 이 알고리즘으로 밀고 나가도록 한다.

반응형
Posted by N'

LSA를 활용하여, 뉴스를 클러스터링 하는 모듈을 만들어 테스트해보았다.

결과는 다음과 같다.

네이버 뉴스 무작위 20개 클러스터링 결과

 


0. "‘가족끼리 왜이래’ 삼각관계 끝났지만.. 서강준 “남지현 못 잊어”"와의 유사 문서 

1. "진짜 사나이-여군특집2 이다희, 몸무게 54kg 깜짝 공개"와의 유사 문서 

2. "k팝스타 이봉연 jyp 낙점, 박혜수는 탈락"와의 유사 문서 

3. "[포토]걸스데이 혜리, 예뻐졌다"와의 유사 문서 

4. "‘아빠를 빌려드립니다’ 방민아, 충무로 차세대 유망주 발견!"와의 유사 문서 
  --> ‘아빠를 빌려드립니다’ 방민아 “우리 아버지도 애교 많았으면…” [0.6510]
  --> 아빠를 조재윤 민아와 러브라인 원했지만 거절 당해 [0.4000]

5. "‘아빠를 빌려드립니다’ 방민아 “우리 아버지도 애교 많았으면…”"와의 유사 문서 
  --> ‘아빠를 빌려드립니다’ 방민아, 충무로 차세대 유망주 발견! [0.6510]
  --> 아빠를 조재윤 민아와 러브라인 원했지만 거절 당해 [0.5136]

6. "[포토] 방민아-서강준 웸드라마 연기도전"와의 유사 문서 

7. "아빠를 조재윤 민아와 러브라인 원했지만 거절 당해"와의 유사 문서 
  --> ‘아빠를 빌려드립니다’ 방민아, 충무로 차세대 유망주 발견! [0.4000]
  --> ‘아빠를 빌려드립니다’ 방민아 “우리 아버지도 애교 많았으면…” [0.5136]

8. "파리 주요 관광지, 테러 후 관광객 줄어 한산"와의 유사 문서 

9. "패네타 전 미 국방장관 “파리 테러는 ‘정보 실패’ 결과”"와의 유사 문서 

10. "미국 부통령 자택 총격…테러 가능성에 긴장 고조"와의 유사 문서 

11. "갤럭시노트4 s-lte skt·kt서 우선 출시"와의 유사 문서 
  --> skt, 광고가처분 첫 심리날 갤노트4 s-lte 출시 [0.6147]

12. "skt, 광고가처분 첫 심리날 갤노트4 s-lte 출시"와의 유사 문서 
  --> 갤럭시노트4 s-lte skt·kt서 우선 출시 [0.6147]

13. "[핫 키워드] 13월의 세금, 김향기 김새론, 추자현 중국, 강예원 민낯, 삼시세끼 손호준"와의 유사 문서 

14. "[대종상 맛보기] 충무로 이끌★…여진구·임시완·김새론·김향기 ④"와의 유사 문서 

15. "슈퍼맨이 돌아왔다 삼둥이 김 먹방 하정우와 비교해보니?"와의 유사 문서 
  --> 슈퍼맨이 돌아왔다 삼둥이, 썰매 끌다 지친 송일국 걱정 남다른 효심 [0.4848]

16. "슈퍼맨이 돌아왔다 삼둥이, 썰매 끌다 지친 송일국 걱정 남다른 효심"와의 유사 문서 
  --> 슈퍼맨이 돌아왔다 삼둥이, 송일국 자유로운 영혼이라 걱정이다 [0.6649]
  --> 슈퍼맨이 돌아왔다 삼둥이 김 먹방 하정우와 비교해보니? [0.4848]

17. "슈퍼맨이 돌아왔다 삼둥이, 송일국 자유로운 영혼이라 걱정이다"와의 유사 문서 
  --> 슈퍼맨이 돌아왔다 삼둥이, 썰매 끌다 지친 송일국 걱정 남다른 효심 [0.6649]

18. "나탈리 포트만도 스티븐 잡스 영화 거절…디카프리오·크리스찬 베일 등 잇따른 고사"와의 유사 문서 
  --> 크리스찬 베일, 스티븐 잡스 영화 하차..부담 느껴 [0.5290]

19. "크리스찬 베일, 스티븐 잡스 영화 하차..부담 느껴"와의 유사 문서 
  --> 나탈리 포트만도 스티븐 잡스 영화 거절…디카프리오·크리스찬 베일 등 잇따른 고사 [0.5290]

 

내용에 대해선 나중에 포스트.

반응형
Posted by N'

String 자료형을 다루기 위한 좋은 방법 중 하나로 정규표현식이라는 것이 있다.

본 프로젝트에서 사용된 크롤러에서도 들어가 있는 내용 중 하나로, 한번 만들어두면 계속해서 사용할 수 있기 때문에 이 곳에 적어두도록 한다.

%s는 지우고 싶은 태그명을 넣어두면 된다. 방법에 따라 분류하도록 한다.

1. html의 태그를 지울때 내용까지 지우는 방식이다. 예를들어 <script>asd</script> 로 되어 있다면, asd까지 모두 지우게 된다. 이러한 것은 html문서 중 내용으로써, 쓸모없는 부분인 script나 style태그 등 뷰의 값을 지정해둔 부분을 모두 지워버리기에 유용하다.

<( )*%s([^>])*?> -> <%s>로 치환

<( )*(/)( )*?%s()*> -> </%s>로 치환

 

--> 여기까지 태그안의 내용이 있는 부분을 모두 지우고, 태그만으로 남길수 있다. 예를 들면, <style weight = ...........>로 되어있다면, <style>로 변환한다.

 

(<%s>)([^(<%s>\.</%s>)])*?(</%s>) 는 공백으로 치환

(<%s>)[\s\S]*?(</%s>) 역시 공백으로 치환

 

2. html의 태그를 지울때 태그만 지우는 방식이다.  <script>asd</script> 로 되어 있다면, asd만 남기게 된다.

<( )*%s([^>])*?> -> <%s>로 치환

<( )*(/)( )*?%s()*> -> </%s>로 치환

 

태그를 정규화후, 해당 태그만을 지우면 된다. <%s>, </%s> 등으로 공백으로 삭제.

 

 

3. 기타 쓰레기 값 삭제 부분이다. 파싱을 하다보면, html태그가 아닌 이상한 value가 존재한다. 이런 것들은 휴리스틱하게 찾아보는 수밖에 없는 것 같다.


(&deg(;)|&lt(;)|&gt(;)|&quot(;)|&nbsp(;)|&amp(;)|&lsquo(;)

|&rsquo(;)|&#160(;)|&ldquo(;)|&rdquo(;)|&sdot(;))


를 공백으로 바꿔주면 된다.

 

 

4. 개행문자 삭제 부분이다.

(\\r){1,20}|(\\n){1,20}|(\\r\\n){1,20} {1,20}는 은 해당 그룹 (???)의 출현빈도에 따라서 적용할 수 있는 방법이다. 

 

5. 모든 태그를 지우는 방법은 다음과 같다.

<(/)?([a-zA-Z0-9]*)(\\s[a-zA-Z0-9]*=[^>]*)?(\\s)*(/)?>

 

남은 응용은 정규표현식과 관련된 내용을 찾아서 응용하길 바란다.


반응형
Posted by N'

Crawler란 웹에서 지속적으로 데이터를 수집해오는 녀석을 말한다.

어떤 Root Url을 기초로 문서를 파싱 그 안의 Url을 수집해서 계속적으로 문서를 파싱하며, 그 안에서 유용한 내용은 따로 DB에 저장해두도록 한다.

본 프로젝트에서는 수많은 자료가 필요하기 때문에 하둡의 분산 저장 시스템인 hdfs에 저장하도록 하였다. 

Crawler의 기본적인 구조는 총 세가지 단계로 나누어 진다. (Master, Slave, Monitor)

Master는 기본적으로 Url을 지속적으로 수집해주는 녀석, Slave는 데이터를 파싱하고, 그 안에서 Url이 있으면, 어떠한 공유 저장공간으로 보내게 된다.

본 프로젝트에서는 네이버의 뉴스 Url을 가져오도록 하기 때문에 위의 과정까지는 필요없지만, 마스터가 Url을 지속으로 수집해 메모리상에 구현된 큐에 넣어주고, 슬레이브는 이 큐에서 데이터를 빼내 수집하도록 하는 구조이다.

 

아래는 발표 때 썼던 PT자료.(아래 그림을 본다면 바로 짜볼 수 있지 않을까? ㅋ)

 

본 프로젝트 백업을 위해 소스는 첨부. ㅋ

CrawlerEnd.zip

 

 

 

반응형
Posted by N'

언어는 java

파이썬으로 하는게 좋지만, 쉽다고 안시켜주는 분위기니 java로 개발하도록 한다.

틀은 모두 개발된 상태지만, 이번주 내로 뽑을 수 있을까 ㅋ

반응형
Posted by N'