JAVA Crawling (Scraping) / 웹페이지 크롤링 Apache HttpComponents Java에서 웹페이지를 String 타입(문자열) 크롤링 하는 방법을 소개한다. 문자열로 크롤링 후 jericho, jsoup 등 Java에서 사용하기 편하도록 DOM 객체로 파싱해주는 라이브러리를 사용하면 좀 더 효율적으로 크롤링된 문자열을 사용할 수 있다. 하지만 여기에서는 단순히 문자열로만 크롤링하는 방법을 소개하겠다. 크롤링은 원하는 페이지 1개만 크롤링 하는 경우도 있지만 세션을 유지한 채 사이트 내부의 링크를 돌아다니며 필요한 페이지만 크롤링할수도 있다. 예를들면 다음과 같은 경우다. 로그인 > 특정 메뉴 > 서브메뉴 > 목록 화면 (크롤링) 이번 포스팅은 세션을 유지한 채 페이지들을 이동하..

JAVA 또는 Javascript로 브라우저를 구분하는 예제입니다. 각 브라우저별 해더정보는 다음과 같습니다. 1. Internet Explorer 11 Mozilla/5.0 (Windows NT 6.3; WOW64; Trident/7.0; rv:11.0) like Gecko 1-1. Internet Explorer 10 Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0) 2. Safari Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2 3. Chrome Mozilla/5.0 (Windo..

JAVA로 개발되어 있다. 특정 루트의 폴더 구조를 계단식 목록으로 TXT 파일로 생성하는 소스이다. txt파일의 내용을 엑셀로 복사해서 써도되는데 이는 간격이 Tab로 구현되어있기 때문에 각 칸에 알맞게 들어간다. FileDirAna.java package fileDirAnalysis; import java.io.IOException; public class FileDirAna { // 저장할 txt 파일 static String SAVE_TXT_FILE = "D:\\a.txt"; // static String SEARCH_FULL_DIR = "D:\\project\\test"; static String SEARCH_FULL_DIR = "D:\\project\\test"; static String LA..

JAVA 에서 한글이 깨졌을 때 임시로 빠르게 확인해 볼 수 있는 코드이다. 특정 문자열이 어떤 인코딩 혹은 어떤 디코딩이 필요한지 간단히 테스트 해보자 charset은 사용이 빈번한 6가지로 되어있으며 필요하면 배열에 추가해서 사용해보는 것도 나쁘지 않다. String str_kr = "0cm+%EB%98%90%EB%8A%94+%EC%97%86%EC%9D%8C"; String charset[] = {"euc-kr", "ksc5601", "iso-8859-1", "8859_1", "ascii", "UTF-8"}; for(int i=0; i

java URLConnection 특정 url을 호출하고 xml타입으로 가져오는 예제입니다. String urlStr = "접속할 url"; URL url = new URL(urlStr); URLConnection connection = url.openConnection(); connection.setDoOutput(true); // 타입 설정 connection.setRequestProperty("CONTENT-TYPE","text/xml"); //openStream() : URL페이지 정보를 읽어온다. BufferedReader in = new BufferedReader(new InputStreamReader(url.openStream(),"utf-8")); String inputLine; Strin..

SimpleDateFormat을 이용한 현재 년 월 일 시 분 초 구하는 예제 입니다. 원하는 포멧으로 날짜를 구할 수 있습니다. 데이터 형식은 다음과 같습니다. yyyyMMddhhmmss 전체 또는 일부만 입력 가능합니다. (yyyy : 2014 / MM : 05 / yyyyMM : 201405 / yyyy-MM : 2014-05 / HH : 24시간 / hh : 12시간 / mm : 분 / ss : 초) 파라미터에 해당하는 데이터형식을 입력하면 그에 해당하는 현재 날짜를 return 받을 수 있습니다. /** * 현재 시간 * @param formatType * yyyyMMddhhmmss 전체 또는 일부만 입력 가능 * yyyy : 2014 / MM : 05 / yyyyMM : 201405 / yyy..