Ryan의 데이터 과학 블로그

forecast 와 prediction의 차이를 아시나요?

노마드 익스프레스 — Tue, 18 Apr 2017 11:19:57 +0900

안녕하세요.

오늘은 간단한 개념이지만 헷갈릴수 있는 forecast 와 prediction의 차이에 대해서 알아보겠습니다.

한글로 굳이 번역하자면, prediction(예측), forecast(예상)이 될수 있을 것이라고 생각합니다.

하지만 헷갈릴수 있으므로 번역은 하지 말고 영어에서 쓰이는 의미로써 prediction과 forecast의 차이에 대해서 고찰해보도록 하겠습니다.

많은 사람들이 혼돈해서 쓰는 경우가 많지만, 보통 데이터 분석하시는 분들은 이 둘의 개념을 중요시 여기십니다.

그래서 데이터 분석에 석학 중에 한분이신 네이트 실버의 신호와 소음이라는 책에는 이 둘의 차이를 정확하게 알려주고 있습니다.

"prediction이나 forecast라는 단어는 여러분야에서 다른 의미로 사용된다 몇몇경우에는 동일한 의미로 사용되기도 하지만, 몇몇 분야에서는 철저하게 구분된다 그런데 지질학만큼 두단어의 차이점에 민감한 분야는 없어보인다. 지질학자와 대화를 나눌때는 다음사항을 명심해야 한다.

1. prediction 은 지진이 언제 그리고 어디에서 일어날 것인지 구체적이고 명시적으로 말하는 것이다. 대규모 지진이 6월 28일에 일본교토를 강타할 것이다가 prediction이다.

2. forecast는 확률적 진술이며, 대개는 장기적 차원의 발상이다. '지진이 30년안에 캘리포니아 남부 지역에서 일어날 확률은 60%다 가 forecast 이다.

따라서 지진을 prediction할수 없어도 forecast할수 잇다는게 미국 지질조사소의 공식 입장이다."

따라서 미래에 일어난 구체적 명시는 prediction, 확률적 진술은 forecast라고 이해하시면 좀 더 정확한 표현을 사용하실수 있을것이라 생각됩니다.

감사합니다.

004 데이터분석 시작전 검정 방법 선택 전략 (두번째)

노마드 익스프레스 — Sun, 16 Apr 2017 02:03:05 +0900

안녕하세요 DA 라이언입니다.

지난번에는 데이터를 분석할때 검정방법 중 데이터가 29개 이하일 경우 정규성을 파악하는데 필요한 검증방법에 대해서 알아봤습니다.

오늘은 지난시간에 이어서 다른 검정방법들을 확인해보도록 하겠습니다.

우선 첫번째글을 보시지 않은 분들은 첫번째 글을 클릭해서 보시고 두번째 글로 보시기 바랍니다.

003 데이터분석 시작전 검정 방법 선택 전략 (첫번째)

->http://daryan.tistory.com/79

지난시간에 본 검정전략의 흐름도 입니다.

데이터를 확인할때 30개 미만일 경우에는 Sapiro-wilks test 로 정규성을 확인한다고 하였습니다.

그러나 단순히 그래프의 산포도를 보면서 정규성을 확인 하는 방법또한 있고 그것는 Q-Q plot입니다.

지난번 코드에서 Q-Q plot을 그려보겠습니다.

>dataA<-sample(1:100, 29, replace=TRUE)
>qqnorm(dataA)  #QQplot을 그리는 명령어
>qqline(dataA) #QQplot의 기준선을 그리는 명령어

>dataNorm <- rnorm(29,0,1)
>qqnorm(dataNorm) #QQplot을 그리는 명령어
>qline(dataNorm)   #QQplot의 기준선을 그리는 명령어

첫번째 그림과 두번째 그림을 보면 기준선에 대비해서 두번째 그림이 더 가까운것을 확인할수 있고, 이것을 기준으로 정상성을 가늠할수는 있으나

정확한 판단은 Shapiro-Wilk normality test 를 하는 것이 좋다고 할수 있습니다.

다만 그래프로 판단할수 있는 것은 첫번째 그림처럼 정상성을 벗어나는 데이터 포인트들이 몇개고 그것을 제거 하였을때 정상성이 더 좋아지겠다는

판단을 할수 있으므로 그래프 그리는 것을 의미 없다고 생각하시면 안됩니다.

그렇다면 정상성을 판별한 이후 우리는 데이터의 짝을 이루는지를 확인해볼 필요가 있습니다.

여기서 데이터의 짝이란, Before 와 After의 변화를 확인하는 데이터를 의미합니다.

단순히 남과여 평균 키 데이터는 데이터 짝을 이룬다고 표현하지 않습니다.

즉 동일한 집단에 대해서 어떤 처리를 하기전과 후에 반복하여 관측한 값이 차이있는지를 확인하는 경우에 사용합니다.

예를 들면 지지율의 변화, 도는 약의 복용 전과 후의 결과, 광고 전과 후의 결과 등등 동일한 집단에서 쌍으로 발생하는 데이터를 의미합니다.

일단 데이터가 보통은 짝을 이루지 않고 , 독립표본 즉 예를 들면, 남학생 키 분포, 여학생 키분포와 같이 나누어져 있습니다.

그래서 위의 도식과 같이 등분산 가정이 되는지 안되는지를 체크해 보아야 합니다.

등분산 가정은 F- 검정을 통해서 확인할수 있습니다.

F-검정이란 집단간의 분산차이가 있는가 없는가를 확인하는 것이고, 차이가 없는 것이 보통 귀무가설로 설정됩니다.

즉 예를 들면,

아래는 남자 여자의 수능 점수의 차이에 대해서 확인해본 결과입니다.수능만점은 400점으로 가정합니다.

성별	표본의 수	평균점수	분산	비고
여자	40	305.25	S1
남자	40	290.07	S2

여기서 F-검정의 귀무가설을 확인하여야 하는데

귀무가설 H0는 S1=S2이다 라고 설정합니다.

대립가설 H1는 S1≠ S2이다 라고 설정합니다.

이렇게 나왔을 경우 F-값을 구하게 되면 F= Max (남학생 점수분산,여학생 점수 분산)/Min(남학생 점수분산,여학생 점수 분산) 이 되며,

이럴경우 자유도는 (39,39)가 된다. 자유도는 각 표본의 수에서 1을 빼주면 나온다. F 값이 가령 1.45가 나왔다고 하면,

이것을 f-분포표에서 확인해볼 경우 p-value가 0.2545가 나오게 된다.

방법	Num DF(자유도1)	Den DF(자유도2)	F value	Pr > F
F-value	39	39	1.45	0.2545

따라서 이것으 결론은 F-검정의 유의확률은 0.2545 이라고 할수 있습니다. 이것을 그래프로 그려보면 아래와 같다.

이것은 p-value가 0.2545로 0.05보다 크므로 다른 표본을 쓰더라도 분산이 같을 확률이 0.05보다는 높다고 할수 있습니다.

따라서 H0는 성립한다고 표현하고 우리는 이 두집단은 등분산이라고 가정하고 계속 분석을 할수 있게 됩니다.

지금껏 데이터 분석하기전에 검정 방법에 대해서 정리해봤습니다. 아래의 표를 기억하고 적용하면 좀더 쉬운 분석이 가능할 것이라 생각합니다.

참조 문헌

http://support.minitab.com/ko-kr/minitab/17/topic-library/basic-statistics-and-graphs/hypothesis-tests/tests-of-means/why-use-2-sample-t/

Enterprise guide 분석편 (자유아카데미, SAS 에반젤리스트 저) 참조

004 데이터분석 시작전 검정 방법 선택 전략 (첫번째)

노마드 익스프레스 — Sun, 16 Apr 2017 02:00:46 +0900

안녕하세요.

DA ryan입니다. 데이터 과학의 관심을 가지기 시작하면서 여러가지 알고리즘을 배우고, 통계공부를 하며 머리 속에 많은 내용을 집어 넣었음에도 불구하고,

막상 데이터 앞에서는 내가 무엇을 해야하는지 , 내가 왜 이렇게 접근하는지 애매한 경우가 있습니다. 그래서 기본적으로 접근할수 있는 간단한 플로우 차트에 대해서 오늘은

알아볼까합니다. 물론 이러한 접근이 100%모든 데이터를 분석할때 쓰이는 것은 아니지만, 가장 기본적으로 시작할때는 이러한 방법을 먼저 생각해보면,

이후 추가적인 알고리즘으로 분석할 때 비교 할수 있어서 편하게 진행을 할수 있습니다.

설명을 먼저 하기 전에 아래의 사항에 대해서 전혀 모른다고 생각되시는 분들은 글을 읽기보다는, 아래 사항들을 검색하셔서 이런게 무엇이다 정도는 알고 계신 후에 읽어주시기 바랍니다.

<사전 지식 점검해야할 사항들>

"T-검정" 에 대해서 알고 있는가?
"F-검정"에 대해서 알고 있는가?
"등분산"이란 알고 있는가?
"귀무가설 "의 정의와 귀무가설을 알고 있는가?
"정규성 혹은 정상성"을 알고 있는가?

위의 사항을 알고 계시면 이해하기 편하겠지만 위의 사항을 잘 모르시면 각각의 개념을 검색해보시고 정리해두신 다음에 읽어보시길 권장합니다.

그럼 시작해보도록 해보겠습니다.

실제 보통의 데이터는 모분산을 우리가 모르는 상태에서 분석을 실시합니다.

따라서 모분산(예를 들면, 대통령선거에서 국민들이 모두 투표를 하고 모든 투표결과를 분석해서 낸 실제 분산값)을 모르기때문에 아래와 같은 절차를

따져보고 진행해야 합니다.

[그림1] 검정방법 선택을 위한 기본 전략

위와같이 보통 데이터를 분석할 때 30개 기준으로 많고 적음에 따라서 분석방법을 달리 하여야 합니다.

왜 30개가 기준인지는 30개 이상일때 근사적으로 중심 극한정리(데이터들이 평균을 중심으로 많이 분포하게 된다는 통계적 이론)에

의해서 표준 정규분포의 형태로 나타난다는 것이 증명되었기 때문이라고 합니다.

실제 증명되었는지는 통계학 교수님이나 혹은 주변의 통계학 박사과정에 계신 분에게 말씀하시면 증명을 시도한 논문을 받아보며 눈물 흘릴수 있으시리라 생각됩니다.^^

일단 30개 미만인 경우에는 분석의 의미가 좀 퇴색될수 있습니다. 30개 이상의 데이터를 분석하는 것보다 ,

30개 미만의 데이터를 분석하는 것이 어찌보면 상세하다고 할수 없기 때문입니다.

그렇다고 분석을 못하지는 않습니다. 부득이하게 분석을 한다면, 이정도는 되지 않는가 라는 정도의

분석정도 할수 있도록 우리 과거의 지혜로운 선배님들께서 이렇게 본인의 이름을 걸어놓으시고 방법을 개발하시고

증명까지 해주셔서 후대의 우리가 아름답게 쓸 수 있게 되었습니다.

그리하여 우선 데이터가 30개 미만 일때 부터 방법을 살펴보도록 하여야 합니다.

30개 미만일때는 데이터가 정규분포를 따르지 않을수도 있으므로 정규성(즉 정규분포를 따르는 성질)을 체크해보아야 합니다.

많은 방법들이 있지만 대표적인 방법 중 3가지를 이렇게 소개하고자 합니다.

1)Kolmogorov-Smirnov test(콜모고로프 스미르노프 방법)

-> 이방법은 주로 데이터가 2000개 이상 있을때 정규성을 확인할때 적합하다고 합니다. 그래서 일단 이런게 있구나 정도로만 알아놓으시기 바랍니다.

2)Sapiro-wilks test

-> 이방법은 3개 이상 데이터에 주로 쓰이는 방법으로 자세히 살펴보도록 하겠습니다.

3)Q-Q plot

-> 그래프의 산포도를 보면서 확인하는 방법으로 이또한 자세히 살펴보도록 하겠습니다.

일단 Sapiro-wilks test 부터 확인하도록 하겠습니다.

>dataA<-sample(1:100, 29, replace=TRUE)
>hist(dataA, col = "green", las=1)
>shapiro.test(dataA)

======== 결   과 ========================
Shapiro-Wilk normality test

data:  dataA
W = 0.91912, p-value = 0.02897

위와 같이 1에서 100까지 재추첨할수 있게 데이터를 29개 뽑았습니다.

이것을 히스토그램으로 확인했을 경우 딱봐도 정규성을 안띈다고 볼수 있습니다(그래프 모양이 종의 모양이 아니라는 이야기죠)

하지만 우리는 더 정확한 수치를 확인하기 위해서 Shapiro-wilk 정규성 테스트 결과를 위와 같이 확인하여 보았습니다.

p value가 0.02897이 나와서 0.05보다 작게 나온것을 확인할수 있습니다.

p-value를 확인할때 가장 헷갈리는 것은 이것이 높게 나와야 좋은 것인지 낮게 나와야 좋은것인지 초보자들은 잘 모르는경우가 많습니다.

유의확률 즉 p-value는 어떠한 확률값을 표현한것으로

보통 0.05보다 높으면 기대했던 결과가 대부분 정규분포안에 들어가므로 맞다고 판단하고 있으며,

0.05보다 낮으면 정규분포에 속하지 않으므로 기대했던 결과가 논리적으로 정규분포 밖에 있으므로 기대했던 결과는 거짓이라고 판단하고 있습니다.

그래서 보통 p-value를 확인할때는 어떤 가설을 확인하고자 했는지를 생각해보는 것이 가장 중요합니다.

그것이 바로 귀무가설이라고 하고 영어로는 null hypothesis라고 합니다.

그런데 사람들은 이 귀무가설에 대해서 언급을 잘 하는 경우도 있지만, 때로는 언급하지 않고 넘어가는 경우도 있습니다.

그럴 경우에는 항상 H0 는 귀무가설이고 이 귀무가설은 무엇인지 해설을 통해서 유추하셔야 합니다.

이번의 실험에서 지정한 귀무가설 H0는 "이 데이터 값들이 정규성을 가진다" 입니다.

그래서 가진다고 생각하고 실험을 해봤는데 실험 결과 p-value는 0.02897이 나오고 0.05보다 작으므로 희귀한 일이 되는 것입니다.

따라서 우리는 어려운 말로 이 p-value는 0.05보다 작기때문에 귀무가설을 기각하고 대립가설을 채택한다고 이야기 할수 있습니다.

대립가설은 귀무가설을 부정한 것으로 이번에는 "데이터값들이 정규성을 가지지 않는다" 입니다.

따라서 이번에 한 실험에서 이 데이터로는 비모수적인 방법의 분석을 해야한다는 결론을 내야 합니다.

다음 실험을 확인해보도록 하죠

> dataNorm <- rnorm(29,0,1)
> hist(dataNorm)
> hist(dataNorm,las=1)
> shapiro.test(dataNorm)

======== 결   과 ========================

    Shapiro-Wilk normality test

data:  dataNorm
W = 0.98018, p-value = 0.8426

위와같이 하였을 경우 데이터들은 p-value값이 0.8426이므로 이것은 귀무가설을 기각하지 못한다고 할수 있습니다.

통계는 참 말이 어렵습니다. 기각하지 못한다는 것은 그러하다는 뜻인데 왜 그렇게 어렵게 쓰면서 노는지 이해할수는 없습니다. ㅎㅎ

하지만 어쨌든 H0 는 이 데이터들은 정규성을 가진다 였으므로 p-value가 0.05보다 높으므로 귀무가설이 맞을 가능성이 있다는 결론을 내는 것입니다.

따라서 이 데이터들은 정규성을 가진다는 가정을 해도 논리적이라고 할수 있게 됩니다.

이럴경우에는 데이터수가 29개라도 정규성을 가지기 때문에 데이터를 t-검정을 통해서 분석하거나 진행할수 있게 됩니다.

알고나면 참 재미나는데 모르니까 헷갈려서 포기하는게 통계입니다.

모른다고 포기하지말고 이해 될때까지 보시고 이해 되지 않더라도 언젠가는 이해되겠지 하고 생각하고 보시면

이해가 될거라 믿습니다.

그럼 나머지는 다음에 하도록 하겠습니다.

참조 문헌

http://goodtogreate.tistory.com/entry/%EC%A0%95%EA%B7%9C%EC%84%B1-%EA%B2%80%EC%A0%95-SapiroWilks-Test

Enterprise guide 분석편 (자유아카데미, SAS 에반젤리스트 저) 참조

003 t-검정과 가설 검증

노마드 익스프레스 — Sun, 16 Apr 2017 01:58:52 +0900

안녕하세요 DA 라이언입니다.

오늘은 가설 검증과 t-검정에 대해서 정리해보고자 합니다.

우선 t- 검정에 대해서 정의를 살펴보면,

t-검정은 정규분포를 따르는 하나 또는 두 모집단의 평균에 대한 가설 검정이다.

이렇게 나와 있습니다.

즉 t-검정을 하는 이유는

내가 얻은 샘플들(예 100명의 키 데이터)의 평균이 모집단(전교생 600명)의 평균과 동일한가 ?

를 알아보기 위해서 가설을 세우는데 기존적으로 가설을 세울때는 평균이 동일하다라고 가정을 해야 합니다.

그래서 H0 (귀무가설, 기본이되는 가설)=> 샘플100명의 평균 = 전교생의 평균 이다 라고 정해집니다.

귀무 가설을 세울 때 주의 해야하는것은 귀무가설은 내가 마음대로 설정하는 것은 아닙니다.

기본적으로 표본의 평균과 모집단의 평균이 같다 가 귀무가설이 된다. 하지만 때에 따라서는 귀무가설이 꼭 평균이 같다고

설정되지 않을때도 있습니다. 그래서 사람들이 많이 헷갈리는데 헷갈리지 않게 아래와 같이 팁을 드리고자 합니다.

귀무가설을 세울때 가장 생각해봐야 할것은 그 가설이 변화를 주지 않는 쪽으로 설정되어야 한다는 것입니다.

쉽게 설명해보면

고양이의 평균 수명은 20년이라고 알려져 있다 그러한지 알아보기 위해서는 귀무가설이

귀무가설 H0: 표본의 고양이 평균수명 = 20년 이다.

대립가설 H1: 표본의 고양이 평균수명 ≠ 20년 이다.

이렇게 설정될수 있습니다. 즉 귀무가설은 평균 수명이 20년으로 설정해야 다시 평균을 찾는일 따위는 하지 않게 됩니다.

여기서 표본이 독립표본이고, 정규분포를 따를경우

전체 모집단을 대표하는 표본이라고 말할수 있습니다.

그래서 그 모집단을 대표하는 샘플 표본들이 20년정도 평균이 나온다면 우리는 과학적인 통계 근거에 의해

"고양이의 평균 수명은 20년정도 라고 이야기 할수 있습니다."

다른 예제를 살펴보면, 피자업체에서 피자 배달 시간을 램덤하게 추출 데이터 100개를 분석하고,
경쟁업체의 광고 30분보다 적게 나온다 광고를 하고자 합니다. 그럴경우
귀무가설 H0 : 우리회사 피자배달시간은 30분보다 적다.
대립가설 H1 : 우리회사는 피자 배달시간은 30분보다 같거나 크다
라고 설정할수 있고, 검정을 통해서
"우리 회사의 피자 배달시간은 D사보다 더 빠릅니다 " 라고 이야기해도 과학적인 이론에 기초하여 이야기했다고 할수 있습니다.

마지막으로 전교생이 600명인 학교에서 남학생 키와 여학생 키를 100명씩 측정해 평균이 각각 170cm 와 160cm가 나왔다고 가정해봅시다.

이 평균의 차이가 진짜 600명의 키를 다 전수 조사해도 10cm정도 차이가 날것인지,

아니면 우연히 키가 남학생은 크고 여학생은 작은쪽만 조사해서 10cm정도 차이가 나는 것인지

평균의 차이가 이렇게 유의(의미가 있는것인지 )확인하기 하고 싶을때 가설 검증합니다. 그래서 가설 검증은 아래와 같이 할수 있습니다.

귀무가설 H0 : 남학생 평균 키와 여학생 평균 키 차이가 없다

대립가설 H1 : 남학생 평균 키와 여학생 평균 키 차이가 있다

라고 설정할수 있고, 검정을 통해서

"100명만 조사했지만 전교생의 남학생의 평균 키는 여학생의 평균키와는 차이가 없다 "라고 증명하고 싶은 것이고,

이것을 좀더 유식하게 말해본다면

"100명만 조사했지만 전교생의 남학생의 평균 키는 여학생의 평균키보다 차이가 유의하지 않다(There is not statistical significance between two groups)

라고 이야기 할수 있습니다.

그럼 마지막으로 t-검정의 실제적 예시를 아래와 같이 설명해보겠습니다.

아래는 남자 여자의 수능 점수의 차이에 대해서 확인해본 결과입니다.수능만점은 400점으로 가정합니다.

성별	표본의 수	평균점수	분산	비고
여자	50	305.25	9.81
남자	50	290.07	8.18

이런 경우 등분산 가정이 맞다고 하고 t검정을 실시하면

method	t Value	Pr>t(p-value)
pooled	1.88	0.0321

이렇게 나왔다고 가정해봅시다. pooled 방법은 등분산 가정일경우 할수 있는 t-검정의 한 종류이며,

t-value가 1.88 , p-value는 나왔다고 해봅시다.

여기서 귀무가설은 H0 : 여자 평균점수은 남자 평균점수 차이가 없다

대립가설은 H1 : 여자 평균점수은 남자 평균점수 차이가 있다.

이것을 그림으로 그리면, 아래와 같이 나오고 , 이것은 t-검정을 한결과 p-value가 0.0321이 나왔으므로,

보통 0.05기준으로 작게 나오면 일어날 확률이 너무 작아서

신뢰구간 95% 내에서 우리는 귀무가설 H0가 성립됨을 증명되지 못한 것이고

이걸 좀 어렵게 말하싶으시면 귀무가설을 기각한다 라고 이야기 하면 됩니다.

따라서 우리는 이러한 검증을 거쳐서

여자 평균점수는 남자 평균점수와 유의미한 차이가 있다고 할수 있다고 할수 있습니다.

즉 전체를 검증하지 않아도 무작위로 뽑은 50명만 검증해도 전교생의 수능 성적을 비교할수 있고,

그 무작위로 뽑은 값에서 남녀가 차이가 나는데 이것은 다시 실험을 해도 비슷하게 나올 확률이 95%이므로

서로 남녀 점수가 차이나는 건 의미가 있는 결과다 라고 이야기 할수 있는 것입니다.

오늘은 가설 검증과 t -검증에 대해서 이야기 해보았습니다.

어려운 이야기를 좀 쉽게 설명하기 위해서 노력해봤는데 그래도 어렵네요.

잘 보시고 이해하시면 감사드리겠습니다.

[빅데이터 분석어디까지해봤니 1] 멜번 부동산 데이터 분석 report feat. Python

노마드 익스프레스 — Wed, 12 Apr 2017 19:20:07 +0900

안녕하세요. DA ryan 입니다.

데이터 분석에 대한 식견을 가지려면 타인이 분석한 것도 잘 파악해볼 필요가 있습니다.

그래서 kaggle에 open data set을 가지고 분석한 결과물들중에 괜찮은 것을 함께 알아보려고 합니다

그래서 처음에 고른 데이터는 멜번 부동산 데이터입니다.

멜번도 집값이 어마어마하긴 마찬가지인데 데이터를 올린 사람이 아래와 같은 사항이 궁금하다고 합니다.

메인 명제

멜번에 부동산 가격 트렌드를 파악 혹은 예측 할수 있는가?
어떤 지역을 사는것이 가장 좋은 선택이 되는것인가?
어떤 부동산이 가장 가치가 있는 부동산인가?
어디가 상대적으로 비싼지역이고 어디가 싼 지역인가?
내가 방2개가 딸린 조건의 집을 사야만 하는가?

위의 명제들에 대한 해답을 가지기 위해서 데이터 제공자는 Domain.com.au 에서 데이터공개된 내용을 다운받아 클린징을 하고 최고의

데이터 셋을 만들기 위해서 노력했다고 합니다.

데이터셋을 클린징 했다는 이야기는 결손값 (즉 데이터 내용이 없는 것들)을 제거하고 그리고 outliner(즉 이상치, 특이하게 평균보다 멀어서 평균을 높으거니 낮추는 것이라고 생각하시면 됩니다. 트랜드를 파악하기 위해서는 단순히 모든 데이터를 다 집어 넣고 분석하는 것도 좋을수 있지만, 주로 잘 일어나지 않을 것같은 이상치값은 빼고 분석하는게 좀더 정확하게 파악될수 있습니다. 마치 각 반의 학생들의 키를 확인할 때 최홍만 선수가 끼어 있으면 평균이 확올라가므로 최홍만 선수의 키값은 빼고 계산하면 어느정도 그 반의 키 평균이 정확히 파악되는 것과 같은 문제가 됩니다.

이렇게 데이터 클린징 작업이 끝났으면 각 데이터의 열을 파악하는 것이 중요합니다.

즉 데이터 내의 종류를 파악해서 각각의 데이터 종류를 파악하는 것이 좋습니다.

그래서 열을 확인해보면

Suburb: 도시 외곽지역 이름

Address: 주소

Rooms: 방의 갯수

Price: 호주 달러 가격

여기서 잠깐 호주 부동산 거래방법에 대한 알아볼 필요가 있습니다. 호주에서는 크게 우리가 하는 계약, 그리고 경매를 통해 부동산을 넘기는 경우가 있습니다. 부동산 경매는 우리나라에서는 부동산을 가진 사람이 보통 망한 경우에만 사용하는 경우가 빈번한데, 호주에서는 특별히 망하지 않고 보통 특정시기에는 꼭 팔아야 겠다 하고 생각되면 바로 경매에 넣는다고 합니다.

Method: S - property sold(부동산 판매완료)

SP - property sold prior(부동산 경매전 판매완료)

PI - property passed in(부동산 경매 유찰됨 즉 경매에 내놓았는데 팔리지 않음)

PN - sold prior not disclosed(경매 이전 비공개 판매완료)

SN - sold not disclosed(비공개 판매완료)

NB - no bid(팔리지 않으나 경매에 내놓지 않음, 역자추정)

VB - vendor bid(경매관리인 경매 후 판매)

W - withdrawn prior to auction(경매중 팔림)

SA - sold after auction(경매 후 팔림)

SS - sold after auction price not disclosed. (경매후 비공개판매)

N/A - price or highest bid not available.

Type: br - bedroom(s) 침실만 렌트

h - house,cottage,villa, semi,terrace(집 구매)

u - unit, duplex(복층 구조)

t - townhouse(타운하우스)

dev site - development site(개발 지역, 데이터샘플내 없음)

res - other residential(기타 )

SellerG: Real Estate Agent(부동산 중계인 이름)

Date: Date sold(거래된 날짜)

Distance: Distance from CBD( C.B.D.)(시내로 부터 떨어진 거리)

import pandas as pd
import numpy as np
%matplotlib inline
import seaborn as sns
import matplotlib.pyplot as plt
dataframe =  pd.read_csv("Melbourne_housing_extra_data.csv")
dataframe.head()  ##<-데이터 확인

dataframe["Date"] = pd.to_datetime(dataframe["Date"],dayfirst=True)
## 글자형태의 날짜 데이터를 날짜 데이터로 바꿈 , dayfirst는 영국 및 유럽국가의 중 날짜 먼저쓰는 방식인지 물어보는 것에 true를 적어준것)

len(dataframe["Date"].unique())/4
##len은 리스트 사이즈 구함, .unique() 중복 방지를 의미 . 중복되지 않은 날짜 갯수를 구하고 4로 나눔

var = dataframe[dataframe["Type"]=="h"].sort_values("Date", ascending=False).groupby("Date").std()
var
##데이터 중에 Type이 h 즉 보통 하우스 만 간추려서, Date기준으로 내림차순하여 표준편차를 구하고 그것을 화면에 출력

위와같은 화면이 나옵니다.

count = dataframe[dataframe["Type"]=="h"].sort_values("Date", ascending=False).groupby("Date").count()
mean = dataframe[dataframe["Type"]=="h"].sort_values("Date", ascending=False).groupby("Date").mean()
#같은 형태로 날짜기준으로 수량, 평균을 구하였습니다.

mean["Price"].plot(yerr=var["Price"],ylim=(400000,1500000))
#가격의 평균값을 날짜별로 그리고, 표준편차를 그림에 표현하여 봤습니다. 

mean["Price"].plot(ylim=(1000000,1500000))
#이번에는 표준편차를 빼고 평균 가격만 날짜별로 정렬하였습니다.

이표를 보았을때는 근교지역이라도 평균 거래 금액이 1년동안 증가되는 추세가 보입니다.

그리고 특히 2월 8월이 비수기에 속하고 연말이 성수기에 속한다고 할수도 있을 것이라 봅니다.

하지만 5년정도의 가격 트랜드를 보아야 더 정확하게 이야기 할수 있을것 같습니다.

이것은 그냥 1년단위므로 일단 그런정도라고 생각하면 될 듯합니다.

means = dataframe[(dataframe["Type"]=="h") & (dataframe["Distance"]<13)].dropna().sort_values("Date", ascending=False).groupby("Date").mean()
#이것은 집 형태가 h이고 시내와 거리가 13키로 이내이며, 결손값은 버린값들만 평균을 내보겠습니다.

errors = dataframe[(dataframe["Type"]=="h") & (dataframe["Distance"]<13)].dropna().sort_values("Date", ascending=False).groupby("Date").std()
#이것은 집 형태가 h이고 시내와 거리가 13키로 이내이며, 결손값은 버린값들만 표준편차을 내보겠습니다.



means["Price"].plot(yerr=errors["Price"])
# 집 형태가 h이고 시내와 거리가 13키로 이내인 집들을 날짜 기준으로 가격평균, 그리고 가격 표준편차를 그래프로 그려보았습니다.

이표를 보면 시내에서 13키로 이내인 집들의 거래 가격이 점점 높아져가고 있다고 보입니다.

pd.set_eng_float_format(accuracy=1, use_eng_prefix=True)
dataframe[(dataframe["Type"]=="h") &
          (dataframe["Distance"]<14) &
          (dataframe["Distance"]>13.7)
          #&(dataframe["Suburb"] =="Northcote")
         ].sort_values("Date", ascending=False).dropna().groupby(["Suburb","SellerG"]).mean()
# 이번에는 지역별, 부동산 중개인별 , 13.7키로 초과 14키로 미만 인 거리의 집들 가격만 평균을 내봤습니다. 다음과 같습니다.

sns.kdeplot(dataframe[(dataframe["Suburb"]=="Northcote")
         & (dataframe["Type"]=="u")
         & (dataframe["Rooms"] == 2)]["Price"])
#kdeplot은 도수분포도를 볼수 있는 그래프를 그려줍니다. 
#따라서 위의 명령어로는 지역이 Northcote이고, 집 타입이 복층형인 방2개인 집의 가격 도수분포도를 볼수 있게 됩니다.

위의 표를 보았을때 가장 많이 일어나는 가격은 60000 호주달러이고 그 기준에 따라서 표준정규 분포를 비슷하게 따른다는 것을 볼수 있게 됩니다.

sns.kdeplot(dataframe["Price"][((dataframe["Type"]=="u") &
                                (dataframe["Distance"]>3) &
                                (dataframe["Distance"]<10) &
                                (dataframe["Rooms"] > 2)#&
                                #(dataframe["Price"] < 1000000)
                               )])
#이번에는 3키로 초과 10키로 미만인 방3개이상인 집들 중 100만 호주 달러 미만의 집들의 가격분포도를 그려봅니다.

3키로 초과 10키로 미만인 방3개이상인 집들 중 100만 호주 달러 미만의 집들의 가격분포도를 보면

평균가격은 7만호주달러가 있고 그 이상으로 거래 했을 경우에는 비싸다 , 그 이하로 거래했을 경우에는 저렴하다고 이야기 할수

있을것 같습니다.

sns.lmplot("Distance","Price",dataframe[(dataframe["Rooms"]<=4) &
                                         (dataframe["Rooms"]> 2) &
                                        (dataframe["Type"]=="h") &
                                        (dataframe["Price"]< 1000000)
                                       ].dropna(),hue="Rooms", size=6)

#lmplot은 산포도에 직선을 그어서 추세선을 확인할수 있게 만들어 줍니다. 
#위의 코드는 보통의 집 타입에서, 가격이 100만호주달러 미만이고,
#방의 숫자가 3개와, 4개인 데이터의 가격과 거리 기준으로 산포도를 그린후에 추세선을 그려보아라는 명령어입니다.

위의 그래프는 보통의 집 타입에서, 가격이 100만호주달러 미만이고,

방의 숫자가 3개와, 4개인 데이터의 가격과 거리 기준으로 산포도를 그린후에 추세선을 그린 것입니다.

거리가 멀수록 가격이 싸지는 것은 당연한 이치이고

시내랑 가까울경우에는 방이 3개든 4개든 큰차이가 없음을 시사해줍니다.

따라서 시내 가까운곳일수록 긑은 예산으로 4개의 방을 구해봄도 괜찮을 듯 합니다.

데이터,코드 출처 사이트 :

https://www.kaggle.com/anthonypino/d/anthonypino/melbourne-housing-market/price-analysis-and-linear-regression

002 선형회귀 및 Polynomial regression 고찰 with Python

노마드 익스프레스 — Sun, 5 Feb 2017 02:23:54 +0900

안녕하세요.

오늘은 선형회귀 및 polynomial Regression을 이해하고 행렬을 프로그램으로 변환하는 방법에 대해서 이해해보도록 해보겠습니다.

특히 모델링이라는 말의 의미를 이 포스팅을 보시고 이해해주시면 감사하겠습니다.

이해가 안가실 것같으니 아래와 같이 python으로 그래프를 그리면서 이야기를 해보면 쉽게 이해하실수 있습니다.

%matplotlib inline
#문서내에 그래프 출력

import numpy as np
import pylab as pl


def f(size):
    '''
    사인곡선을 적용하여 원데이터를 발생
    Returns a sample with 'size' instances without noise.
    '''
    x = np.linspace(0, 4.5, size)
    y = 2 * np.sin(x * 1.5)
    return (x,y)

def sample(size):
    '''
    원데이터에 random함수를 적용해서 사인곡선을 적용하고
    여기에 노이즈를 추가로 더하여 size수량만큼 무작위로 뽑는 함수를 만듬
    Returns a sample with 'size' instances.
    '''
    x = np.linspace(0, 4.5, size)
    y = 2 * np.sin(x * 1.5) + pl.randn(x.size)
    return (x,y)

pl.clf()
f_x, f_y = f(50)
pl.plot(f_x, f_y)
x, y = sample(50)
pl.plot(x, y, 'k.')

위와같이 파란색으로 Sin곡선을 만들어봅니다. 가로는 0~4.5, 세로는 플러스 마이너스 2 범위내에서 한 주기가 되는 sin곡선을 만들었습니다.

여기에 50개의 샘플링을 한 점을 위와같이 무작위로 찍어봅니다.

이때 이 점은 원래는 파란색 선을 따라서 나와야 하지만 error 가 각각의 점마다 더하고 빼져서 파란색선을 따르지만 거리의 편차가 있는 점을 만들었다고 생각하시면 됩니다.

이러한 곡선은 현실세계에서는 존재하지 않지만 그래도 억지로 인위적으로 만들어 본다면,

계절마다 에어콘 가격 트랜드라고 예를 들어볼수 있습니다. 즉 파란선은 에어콘 가격의 절대적인 트랜트 이며,

실제 가격은 이 트랜드를 따른다고 생각하시면 됩니다.

X가 1일때 여름이라고 가정하고 그때가 가장 높게 가격이 책정되어 팔린다고 생각하시고,

X가 3일때 겨울이라고 생각하시고 그때가 가장 낮게 가격이 책정되어 팔린다고 생각하시면 됩니다.

하지만 이 절대적인 트랜드를 각 판매처에서 따른다고 하더라도, 실제 판매처에서는 이윤을 더 붙이든 , 아니면 낮게 붙일수 있습니다.

이렇게 절대적인 트랜드 보다 높거나 낮은 실제 가격에는 각각의 가격마다 error가 들어갔다고 보시면 됩니다.

pl.clf()
x, y = sample(50)
pl.plot(x, y, 'k.')

그래서 지금부터 설명하고자 하는 variance와 bias는 위와같이 각각의 판매처가 임의로 정한 가격들(검은색점)을 보고

에어콘의 가격트랜드(위에 사라진 파란색 선)를 파악하고자 할때 고민해야하는 상황으로 가정하고, 설명하도록 하겠습니다.

그렇습니다. 위의 데이터들만 보았을때는 X축은 오른쪽으로 갈수록 시간이 지나간다고 가정하고,

Y축은 기준 가격으로부터 상대적 차이를 표현한다고 가정하더라도,

어떠한 패턴을 나타내는지 눈으로 아니면 직감적으로 파악한다는 것은 어려운 일이 아닐수가 없습니다.

패턴을 파악한다는 것은 각각의 데이터를 보고 거리에 대해서 평균을 내서 그 데이터들을 대표하는 하나의 선으로 표현하는 것을 의미하는데,

여기서 선은 직선이 될수 있고 곡선이 될수도 있습니다.

from sklearn.linear_model import LinearRegression

def fit_polynomial(x, y, degree):
    '''
    Fits a polynomial to the input sample.
    (x,y): input sample
    degree: polynomial degree
    '''
    model = LinearRegression()
    model.fit(np.vander(x, degree + 1), y)
    return model

def apply_polynomial(model, x):
    '''
    Evaluates a linear regression model in an input sample
    model: linear regression model
    x: input sample
    '''
    degree = model.coef_.size - 1
    y = model.predict(np.vander(x, degree + 1))
    return y

model = fit_polynomial(x, y, 1)
p_y = apply_polynomial(model, x)

pl.plot(x, y, 'k.')
pl.plot(x, p_y,'g')

직선이 된다면 위와같이 그릴수 있습니다.

위와같이 직선으로만 트랜드선을 긋는것을 1차 선형 회귀라고 합니다.

여기서는 데이터 트랜드가 직선임을 가정하고 모델을 Y=AX+B라고 지정한후에

원 데이터들의 각 X를 입력했을때 나오는 Y의 값과 원 데이터 값의 차이를 평균을 내서 A와 B를 정한후

가장 공평한 선을 위와 같이 긋고 ,

이것이 데이터들의 패턴을 대표한다고 이야기 할수 있습니다.

하지만 눈으로 보아도 알수 있듯이 직선은 원 데이터가 가지고 있는 패턴을 너무나 많이 생략하여서

저 선만으로 판단할경우에는 시간이 갈수록 가격은 떨어져간다고 파악하게 됩니다.

하지만 원래 의도한 가격 그래프는 sin데이터 이므로 시간에 따라 가격이 떨어지는 것을 표현한 것이 아니라

계절에 따라 가격은 변화하지 가격이 떨어짐을 표현한 것은 아닙니다.

따라서 직선으로만 데이터의 패턴을 파악하면, 간단하여서 좋긴 하지만, 자칫 데이터의 가지고 있는 실제 패턴을

오해해서 이해할수 있습니다.

그렇다면 좀 더 구체적인 선형 회귀를 하기 위해서는 데이터의 트랜드를 직선이 아닌 곡선이라고 가정할 필요가 있습니다.

즉 1차식이 아닌 다항식이라고 규정하고 선을 그어보는 것입니다.

그전에 필수적으로 알아야 할 파이썬의 함수 np.vander로 예제를 먼저 알아보도록 하겠습니다.

np는 numpy의 줄임말로

윗부분에서 import numpy as np 라고 줄임말을 지정해서 np라고 사용할수 있습니다.

import numpy as num 이라고 하면 , 우리는 num.vander라고 사용해야합니다.

우선 예제를 보도록 하겠습니다.

# This illustrates how vander function works:
x = np.array([1,2,3])
print np.vander(x, 4)

결과 :

[[ 1 1 1 1]

[ 8 4 2 1]

[27 9 3 1]]

x=np.array([1,2,3])은 x1을 가로 행렬 [1,2,3]을 제작한 것이고 ,

np.vander(x, 4)는 실제로는 아래와 같이 4개의 다항식을 만들어서 x를 차례대로 입력하라는 지시를 내린 것입니다.

즉 첫번째로 x^0(X의 영 승)은 1이고 , 이것을 처음 만들고

두번째로 x^1은 두번째 만들고 기존의 1은 오른쪽으로 이동시킵니다.

세번째 x^2은 세번째 만들고 기존 결과를 오른쪽으로 이동시키고 왼쪽에 x^2를 위치시킵니다.

네번째 x^3은 네번째 만들고 기존 결과는 오른쪽 이동, 왼쪽에 배치 시킵니다.

그리서 아래와 같은 행렬을 만들게 되고

결과적으로 아래와 같은 결과를 만들게되었습니다.

결과 :

[[ 1 1 1 1]

[ 8 4 2 1]

[27 9 3 1]]

이것은 머신러닝이나 수치해석을 할때 굉장히 중요한 개념입니다.

즉 여러가지 다항식을 행렬로 계산하면 계산이 깔끔할뿐만 아니라 시간도 적게 걸리는 경우가 많습니다.

행렬로 구하지 않을 경우 for문으로 1부터 N까지 x가 변할때마다 x의 값을 세제곱, 네제곱 하는 등의 계산을 해야하는데,

이것은 프로그래밍에서 굉장히 비효율적으로 바라보는 경향이 많습니다

따라서 데이터를 분석할때는 다항식의 계산을 행렬로 변환하여 기억하고 프로그램까지 작성할수 있다면 잘하고 있다고 스스로를 칭찬하셔도 됩니다.

다시 데이터 포인트가 4개 즉

일경우 다항식의 계산은 아래와같이 표현할수 있습니다.

.여기서 n은 몇차 다항식 지정할 것인가 의 질문에 차수에 해당되는 숫자입니다.

즉 , n=2면 2차 다항식, n=3이면 3차 다항식으로 표현하여 선을 그어 볼수 있겠지요.

그럼 polynomial 다항식을 사용하는 방법을 아래와 같이 작성예제를 확인해봅니다.

# polynomial 다항식을 정의하는 함수를 작성합니다.

def fit_polynomial(x, y, degree):

model = LinearRegression()

model.fit(np.vander(x, degree + 1), y)

return model

좀 상세하게 본다면 아래는 사용자가 직접 함수를 만들때 쓰는 명령어입니다.

def fit_polynomial(x, y, degree):

def는 definition의 줄임말이고 fit_polynmial은 사용자가 지정한 함수 명입니다.

(x,y,degree)는 함수를 사용할때 필히 입력해야하는 변수를 지정해놓았습니다.

model = LinearRegression()

위의 명령어는 model이라는 사용자 정의명에 LinearRegression()의 함수를 지정하였습니다.

LinearRegression()은 sklearn 라는 라이브러리에 저장되어 있고

from sklearn.linear_model import LinearRegression

라고 초반에 작성하여 라이브러리를 불러냈다면 이후 사용은 언제든지 저렇게 간단하게 사용할수 있습니다.

model.fit(np.vander(x, degree + 1), y)

마찬가지로 LinearRegression함수 안에 fit이라는 메서드 를 이미 지정되어있기 때문에 그냥 가져다 쓰기만 하면됩니다.

여기서 np.vander(x, degree + 1) 은 지정된 X를 1부터 시작해서 X의 N승까지 행렬로 표현해서 입력한 것입니다.

return model

그리고 사용자가 지정한 모델을 반환하시면 향후 fit_polynomial(x, y, degree) 명령어만으로도 x와 y의 데이터 포인트 그리고 degree만 입력하면

python이 알아서 polynomial regression으로 모델링을 해줍니다.

여기서 모델링을 한다는 것은 다항식의 각각의 계수를 지정해준다는 말로 아래의 B 베타값을 계산하여 정한다는 이야기라고 생각하시면 됩니다.

def apply_polynomial(model, x):
     degree = model.coef_.size - 1
    y = model.predict(np.vander(x, degree + 1))
    return y

위의 함수는 모델링된 함수를 그래프로 그리기 편하게

X가 입력되면 모델에 의해서

Y의 값이 자동적으로 출력되도록 함수를 작성하였습니다.

그래서 아래와 같이 8차 다항식의 모델을 만든후에 모델링후

각각의 x값을 적용해준다면 아래와같이 모델링된 데이터패턴을 확인할수 있습니다.

model = fit_polynomial(x, y, 8)
p_y = apply_polynomial(model, x)
pl.plot(x, y, 'k.')
pl.plot(x, p_y,'g')

위와 같이 각각의 데이터를 이용해서 8차 다항식의 선형회귀 모델을 모델링 하였습니다.

여기서는 기존의 원 트랜드와 같이 sin 곡선과 유사한 패턴을 그려서 먼저번의 직선보다 좀더 정확한 데이터 패턴을 구했다고 생각하시면 됩니다.

그럼 여기까지 하고 추가적으로 다음시간에는 좀 더 자세히 분산과 bias에 대해서 알아보도록 하겠습니다.

감사합니다.

참조 사이트

https://en.wikipedia.org/wiki/Polynomial_regression

https://gist.github.com/fabgoos/6788818

http://scott.fortmann-roe.com/docs/BiasVariance.html

데이터 과학자 VS 데이터 분석가 part2

노마드 익스프레스 — Fri, 27 Jan 2017 01:31:35 +0900

본 포스팅은 아래 영문 블로그의 코드를 구현해보고 , 내용을 요약 및 발췌하여 작성함을 알려드립니다.

따라서 본 포스팅에 올려지는 모든 그림과 도표 등의 내용은 아래 영문 링크를 들어가셔도 동일하게 보실 수 있습니다.

https://dashee87.github.io/data%20science/data-scientists-vs-data-analysts-part-2/

Part 1에서 indeed API의 데이터 과학자 및 데이터 분석가 포지션의 정보를 수집하고, jobbR 패키지를 이용해서 간단한 정보비교를 해보았습니다.

급여는 데이터 과학자가 분석가에 비해 많이 받는것을 알게 되었습니다. 급여 격차를 감안할때 , 각 직군이 요구하는 직무의 차이를 확인할수 있을까요?

만약 가능하다면, 데이터 과학자 역할을 직무설명으로 부터 추출해서 무엇인지를 예측할수 있을까요? 본 포스팅은 이부분을 간단한 자연어 처리를 이용해서 확인해보는 것으로 진행해보도록 하겠습니다.

데이터 수집

데이터 추출은 part1에서 하였던 것과 유사하게 진행합니다. Indeed API에서 런던의 모든 데이터 과학자 및 데이터 분석가 작업을 추출한다음 , 주니어와 시니어 포지션을 걸러내고 남은 부분을 분석합니다.

본질적으로 part1의 반복이므로 많은 고민을 하지 않고 바로 처리할수 있습니다.

>install.packages("devtools")

>library(devtools)

>install_github("dashee87/jobbR")

>install.packages("plotly")

>install.packages("dplyr")

우선 아래 코드를 직접 확인하기 위해서는 위와같이 R studio에 입력하여서 패키지를 설치하여야 합니다.

## if you haven't already installed jobbR

# devtools::install_github("dashee87/jobbR")
## loading the packages we'll need

 library(jobbR)
 library(dplyr)
 library(rvest)
 library(stringr)
 library(plotly)

# collecting data scientist jobs from the Indeed API
dataScientists <- jobSearch(publisher = "publisherkey", query = "data+scientist", country = "uk", location = "london", all = TRUE)

# collecting data analyst jobs from the Indeed API
dataAnalysts <- jobSearch(publisher = "publisherkey", query =  "data+analyst", country = "uk", location = "london", all = TRUE)

# removing junior and senior roles
dataScientists <- dataScientists[grepl(

  "data scientist", dataScientists$results.jobtitle,ignore.case = TRUE) &

    !grepl("senior|junior|lead|manage|intern|analyst|graduate|chief",

          dataScientists$results.jobtitle,ignore.case = TRUE),]

dataAnalysts <- dataAnalysts[grepl(

  "data analyst", dataAnalysts$results.jobtitle,ignore.case = TRUE) &

    !grepl("senior|junior|lead|manage|intern|scientist|graduate|chief",

          dataAnalysts$results.jobtitle,ignore.case = TRUE),]

dataScientists <- dataScientists[!duplicated(dataScientists$results.jobkey),]
dataAnalysts <- dataAnalysts[! duplicated(dataAnalysts$results.jobkey),]

install.packages("selectr")
library("selectr")

# scrape job description webpages

ds_job_descripts <- unlist(lapply(dataScientists$results.url,

                              function(x){read_html(x) %>%

                                  html_nodes("#job_summary") %>%

                                  html_text() %>% tolower()}))

da_job_descripts <- unlist(lapply(dataAnalysts$results.url,

                                  function(x){read_html(x) %>%

                                      html_nodes("#job_summary") %>%

                                      html_text() %>% tolower()}))

위의 내용을 실행하시면, 두개의 직무기술서에 대한 벡터를 얻을수 있습니다. 하나의 벡터 내에 있는 element는 단지 여러줄의 단어 나열이나 문장들로 구성되어 있습니다.

# an example data scientist job description

# I picked 49 as it's one of the shorter ones

ds_job_descripts[49]

# [1] "data scientist, python x2\ncentral london\n\n£doe\n\ndata scientists are required by a leading data insights company, based in the city.\n\nthese data scientist opportunities requires those who are able to perform early stage research and development for our clients internal data, in order to help perform discovery and proof of concept in house.\n\nalong with these data scientist positions you<U+0092>ll be expected to design and build software products in python and sql. those who are able to provide a generous like for like comparison will prove highly successful in their application. any agile experience will also be a huge advantage.\n\nto apply for these data scientist roles please send your cv to imogen morpeth at arc it recruitment or call for a consultation\n\ndata scientist, python, sql, proof of concept, data driven research, data stories, numpy, scikit-learn, matplotlib, pandas, statsmodels, seaborn"

위와같이 하나의 element를 뽑아서 보면 단순한 문장과 단어들로 구성되어 있어서 이것을 직접적으로 분석하기에는 무리가 있습니다.

따라서 여기에서 인사이트를 얻고자 한다면 우리는 bag-of-words 모델을 이용하야합니다.

(정의 내용은 https://en.wikipedia.org/wiki/Bag-of-words_model 참조)

간단히 설명하면, 문자열을 특정 관심 단어로 줄이고 각문자열에서 각 단어의 수를 계산합니다. 따라서 이것을 하기 위해 특정 관심단어를 정해야 합니다.

여기서는 skill이라는 데이터 프레임을 만들었기 때문에 skill내에 존재하는 요소를 48개로 정리해보았습니다. 이것을 아래와 같이

title에 정리하였고, regex ( regular expression) 는 title에 정리한 열과 유사한 설명들을 적어놓았습니다. 그리하여 regex에 포함된 단어들이 발견되었을 경우에는

title에 정리된 단어로 count할수 있게끔 정리를 한것입니다. 예를 들면 math는 maths혹은 mathematics와 동일한 것으로 보고 count를 하게끔 한 것입니다.

skills=data.frame(

  title=c("R", "Python", "SQL", "Excel", "Powerpoint", "KPI", "Dashboard",

          "Matlab", "Tableau", "Qlikview", "D3", "SAS", "SPSS", "BI", "C++",

          "Java", "Javascript", "Ruby", "Scala", "Php", "VBA",

          "Machine Learning", "Big Data", "Modelling", "Communication",

          "Stakeholder", "Masters", "PhD", "Hadoop", "Spark", "Map Reduce",

          "Pig", "Hive", "NoSQL", "MongoDB", "Cassandra", "Mahout",

          "Google Analytics", "Adobe", "API", "NLP", "Maths", "Statistics",

          "Physics", "Computer Science", "Engineering", "Economics",

          "Finance"),

  regex=c("r", "python|numpy|pandas|scikit", "sql|mysql|sql server|mssql",

          "excel","powerpoint|power point", "dashboards?", "kpis?",

          "matlab", "tableau", "qlikview", "d3", "sas", "spss",

          "bi|business intelligence", "c\\+\\+|c/c\\+\\+", "java",

          "javascript", "ruby", "scala", "php", "vba?|visual basic",

          "machine learning", "big data", "modelling|modeling",

          "communication", "stakeholders?", "masters?|msc","phd", "hadoop",

          "spark", "map reduce|mapreduce|map/reduce", "pig", "hive", "nosql",

          "mongodb", "cassandra", "mahout","google analytics|GA|big query",

          "adobe", "apis?", "nlp|natural language", "math?s|mathematics",

          "statistics|biostatistics", "physics", "computer science",

          "engineering", "economics", "finance"),

  stringsAsFactors = FALSE)

# count number of occurences of each word in the skills dataframe in

# the data science job descriptions

ds_occurs <- matrix(unlist(lapply(skills$regex,

                                function(x){str_count(ds_job_descripts,

                                                      paste0("\\b", x, "\\b"))})),

                  length(ds_job_descripts), length(skills$title))

# count number of occurences of each word in the skills dataframe in

# the data analyst job descriptions

da_occurs <- matrix(unlist(lapply(skills$regex,

                                function(x){str_count(da_job_descripts,

                                                      paste0("\\b", x, "\\b"))})),

                  length(da_job_descripts), length(skills$title))

그리하여 ds_occurs는 데이터 사이언티스트의 빈도수, da_occurs는 데이터 분석가의 빈도수를 측정하였습니다.

그래서 각 string에 해당되는 내용중에 math의 빈도수를 기록하여서 48개의 열에 그 빈도수를 기록하였습니다.

하지만 한 string에서 math가 5번 나왔다고 math의 중요도가 높아지는 것은 아니므로,

각 string에서 출현을 했다 혹은 안했다로만 확인하기 위해서 이진 행렬 (bineary matrix)로 바꿔야 합니다.

그 작업은 아래와 같이 진행합니다.

ds_occurs <- ifelse(ds_occurs>1, 1, ds_occurs)
da_occurs <- ifelse(da_occurs>1, 1, da_occurs)

그리하여 각 string별 skill 출현 빈도에 대한 그래프를 아래와 같이 그릴수 있습니다.

plot_ly(rbind(data.frame(job = "Data Scientist",

                        skills = skills$title,

                        prop = round(

                          100*apply(ds_occurs, 2, sum)/nrow(ds_occurs), 2)),

              data.frame(job = "Data Analyst",

                        skills = skills$title,

                        prop = round(

                          100*apply(da_occurs, 2, sum)/nrow(da_occurs), 2))),

        x = ~skills, y = ~prop, color= ~job, type = 'bar') %>%

  layout(margin = list(b = 109),

        xaxis = list(title = "", tickfont = list(size = 12)),

        yaxis = list(title =

                        "<b>Appearance in Job Description (% Job Postings)</b>",

                      titlefont = list(size = 16)),

        title = "<b>Job Description Skills: Data Scientist v Data Analyst</b>",

        titlefont = list(size=17)) %>%

  layout(legend=list(font = list(size = 16))) %>%

  layout(autosize = F, width = 1200, height = 800)

그래프를 확인해보면 데이터 과학자와 데이터 분석가의 skill 에 대한 내용이 크게 다르다는 것을 알수 있습니다. . 파이썬과 R을 데이터 과학자들에게 가장 일반적으로 요구되는 skill로 나타나는 것이 흥미 롭습니다.

Excel은 데이터 분석가가 가장 많이 사용하는 기술이며 SQL을 밀접하게 따르고 있습니다. 사실, SQL은 두 가지 직종 모두에서 비교적 높은 빈도로 나타납니다.

따라서 데이터 과학 / 분석을 배우려는 경우 SQL을 먼저 배워보는 것도 좋은 선택이라고 할수 있을 것입니다.

또한 위의 그래프를 보면 막대 그래프는 일반적으로 데이터 분석가 그룹에서 훨씬 작은 횟수로 나타납니다.

즉 우리가 정의한 48가지 skill set에 해당되는 내용이 데이터 분석가 그룹의 내용에는 상대적으로 적은 횟수로 나타났다는 것입니다. 이것은 아래와 같이 직업 설명별로 언급 된

다양한 skill의 가짓수를 누적 분포를 통해 그래프를 그려볼수 있습니다.

ggplot(rbind(data.frame(type = "Data Scientist",

                        num_skills = apply(ds_occurs,1,sum)),

            data.frame(type = "Data Analyst",

                        num_skills = apply(da_occurs,1,sum))),

      aes(num_skills, colour = type)) + stat_ecdf(size = 1) +

  geom_text(size=8, aes(20, .3, label = "Data Analyst", color = "Data Analyst")) +

  geom_text(size=8, aes(20, .2, label = "Data Scientist", color= "Data Scientist")) +

  labs(title = "# Skills in Job Description: Data Analysts vs Data Scientists",

      x = "Number of Skills", y = "Cumulative Proportion") +

  theme(axis.title = element_text(size = 14,face = "bold"),

        plot.title = element_text(size = 16,face = "bold"), legend.position = "none",

        axis.text = element_text(size = 11))

아래 그래프를 확인하면 데이터 분석가는 5개 미만의 skill만 가지고 있어도 70%의 구인광고에 지원을 해볼수 있겠지만,

데이터 과학자는 5개의 skill로는 고작 15%의 구인광고에 지원을 해볼수 있게 됩니다. 즉 데이터 과학자에게 요구하는 수준이 상대적으로 데이터 분석가보다 많다는 것을 나타내는 그래프라고 할수 있습니다.

001 교차 검증 (cross validation)의 예제 R 코드

노마드 익스프레스 — Sun, 22 Jan 2017 06:24:20 +0900

안녕하세요

본 강의(포스팅)은 아래의 사이트 내용을 일부 번역하고 필자의 의견을 추가 구성한 글임을 미리 밝혀드립니다.

https://www.analyticsvidhya.com/blog/2015/11/improve-model-performance-cross-validation-in-python-r/

데이터 해카톤(Data Hackathons)를 종종 모니터 하다보면 흥미로운 점들이 발견됩니다.

그 흥미로운 점은 해카톤의 성적 순위를 공개되어 있는 것을 보면 PUBLIC LEADER BOARD 순위와

PRIVATE LEADER BOARD순위 로 나누어 져있는 것을 볼수 있습니다.

(이것은 단체 순위 , 개인순위로 해석되기보다는 공개용 데이터로 분석하고 내놓은 모델의 정확도 순위와

그 동일한 모델을 가지고 비공개적으로 다른 데이터를 여러게 적용해보고 난 이후에 매긴 정확도 순위로

해석하는게 좋을듯 싶습니다.)

PUBLIC LEADER BOARD 순위 에서 상위에 올라있는 참가자는 순위표가 PRIVATE LEADER BOARD순위 에서

유효성을 확인한 후 공개용 순위에서 많이 떨어져 있는 경우도 있었고,일부는 TOP 10안에 들어감에도 불구하고

PRIVATE LEADER BOARD순위 에서 (아래 이미지)에서 상위 20 위도 차지하지 못했습니다.

왜 이러한 현상이 발생하는 것일까요?

왜 이러한 순위의 큰 변동이 일어나는 이유는 무엇일까요?

즉 주어진 공개용 데이터를 바탕으로 만들어진 모델링 알고리즘이 왜 다른 데이터를 기반으로 모델을 평가할경우

그 모델의 안정성이 저하되는 이유는 무엇일까요?

맞춰보세요! 랭크의 높은 변동에 대한 가능한 이유는 무엇일까요? 즉, 개인 리더에서 평가할 때 모델의 안정성이

저하되는 이유는 무엇입니까? 가능한 이유를 살펴 보겠습니다.

왜 모델의 안정성(Stability)이 줄어들었을까요?

아래의 그림을 바탕으로 이해해 보도록 해보겠습니다.

여기에 사이즈와 가격간의 상관관계를 찾는 그래프가 여러가지 있습니다.

주어진 데이터를 기반으로 관계 그래프를 위와같이 만들었고 주어진 데이터들은 5개의 점으로 표현하였습니다. 첫번째 그래프는 주어진 5개의 학습데이터 포인트(training data point)에 높은 error를 가지고 있지만 모델은 곧은 선형으로 표현했습니다. 이 모델은 높은 에러를 가지고 있으므로 예측이 정확하지 않아서 public 과 private leader board에서 높은 순위를 가지고 올수 없을것입니다. 이렇게 높은 error를 가지고 있는 fitting을 "under fitting"이라고 합니다. 이 모델은 데이터의 트렌드를 이해하는데 부적절하다고 볼수 있습니다.

두번째 그래프는 size와 가격의 데이터 포인트를 잘 표현하였고, 그 추세를 잘 표현한 모델이라고 할수 있습니다. 낮은 학습 에러(trainning error)를 포함하였고, 가격과 사이즈에 대한 관계를 일반화(generalization of relationship) 했다고 이야기 할수 있습니다.

세번째 그래프는 거의 영에 가까운 학습 에러를 가진 모델입니다.(relationship which has almost zero training error). 즉 주어진 5개의 데이터 포인트로 완벽에 가까운 관계식을 만들었고, 5개의 데이터 포인트로 비교해 봤을 때 size를 입력했을 때 그 관계식에서 발생하는 값과 실제값의 차이(즉 오류 error)는 0에 가깝다고 할수 있을 정도로 복잡한 모델을 만들었다고 보면 됩니다.

복잡한 모델 즉 관계식은 "Over fitting"되었다고 표현하고, 보통 이런 경우에 public learder board 와 private learder board에 큰 차이를 발생시킵니다. 즉 정확한것처럼 보이지만 그 모델(관계식)이 표현하고자 하는 size와 price의 관계가 너무 민감하게 표현되어서 , 실제 눈으로 예측하는 관계와는 큰 차이가 발생하게 되는 것입니다

데이터 과학 경진 대회의 일반적인 목적은 다양한 모델을 반복하여 더 나은 성능 모델을 찾는 것입니다.

그러나 관계식을 주어진 데이터로만 만들다보면 우리가 관계를 더 잘 포착했거나 주어진 데이터에만 모델을 지나치게 잘 맞추고 있기 때문에 주어진 데이터로만 성능가 향상되는지 여부를 구별하기가 어려워집니다.그렇다고 여기에 새로운 데이터를 학습시켜볼수는 또 없는 노릇입니다. 따라서 주이진 데이터를 가지고 좀더 과학적인 교차 검증 기술이 필요합니다. 이 방법만 있다면 주어진 데이터만으로 일반화를 시키고 이것이 객관적으로 사람들에게 말할수 있는 size와 price간의 관계라고 이야기 할수 있다고 하는 것이죠.

그렇다면 교차 검증 혹은 교차 유효성 검사(cross validation)은 어떻게 하는 것일까요?

Cross Validation 은 주어진 데이터를 일부 나누어서 한 쪽 데이터로는 학습을 시켜 모델를 만들고

(모델을 만든다는 의미는 x와 y의 관계식을 추정한다고 이해하시면 됩니다.)

나머지 학습시키지 않은 데이터로 그 모델에 대해서 검증하는 방법을 말합니다.

방법은 아래와 같습니다.

1. 예를 들어 100개의 데이터 set이 있다고 하고, 70개는 학습을 시키는 데이터 즉 train data set,

30개는 검증하는 데이터 즉 test data set 혹은 validation data set으로 지정해놓습니다.

2. train data set을 가지고 모델링을 하여 모델을 만듭니다.

3. 만든 모델을 test data set으로 모델을 평가합니다.

4. train data set과 test data set을 통해 얻은 error를 그래프를 그려보고 그 그래프가 만나는 최적의 점을 찾아 최적화 합니다.

Cross validataion의 종류 및 각각의 방법들

cross valiation 은 예를 들어 설명하긴 하였지만, 꼭 70 : 30으로 만 나눌 필요는 없고,

또한 두개의 그룹으로만 나눌 필요는 없습니다.

나누는 비율과 그룹에 따라서 여러가지 종류의 cross validation이 존재하며

대표적인 방법들은 아래와 같이 설명합니다.

1. The validation set Approach

이방법은 50%의 data 는 검증을 위해 남기고, 다른 50%는 모델 학습을 위해서 남겨놓습니다.

모델 학습후 모델 검증은 validation data를 가지고 합니다.

(보통은 50:50도 많이 하지만 70:30 도 하는경우도 있고

둘다 the validation set approach라고 이야기 할수 있습니다.)

이 방법의 단점은

1. 일부의 데이터만 학습을 하기 때문에 모델이 일부 데이터를 설명하기에는

부족하지 않겠지만 경우에 따라 전체 데이터를 설명하는데는 부족한 모델이 될수 있습니다.

이것을 통계적 용어로 "bias 가 높다"고 할수 있는데 , 경우에 따라 일부 데이터로만 학습하였기 때문에

모델이 bias가 높은 경우가 될 가능성이 높습니다

즉 한국인의 한달 소득과 소비 값의 관계식을 파악하고자 모델을 만들었는데,

하필 학습시킨 데이터는 30대 이상이고, 검증하는 데이터는 30대 이하일 경우,

30대 이상의 데이터로 만 학습하게 되면 전체 소득과 소비 값에 대비해서

편중된 모델이 만들어질수 있습니다. 즉 편중된 모델이라는 것은 높은 bias 나타난다라고 이야기 할수 있고,

이것은 전체를 설명하는데 부적절해 지게 됩니다.

2. Leave one out cross validation (LOOCV)

이 방법은 하나의 데이터 포인트만 남기고 나머지 모든 데이터로 학습을 시켜 모델을 만드는 것입니다.

그리고 다시 다른 하나의 데이터 포인트만 남기고 나머지 모든 데이터로 학습을 시킨 후 여러번 반복해서

남겨둔 포인트들로 검증을 하는 방법입니다.

이렇게 될경우에는 몇가지 장점과 단점이 발생하는데

장점 : 거의 모든 데이터로 모델링해서 bias가 적다

단점 : 1. n번 반복시행할 경우 n배 만큼 실행시간이 길어진다.

2. 이 방법은 모델검증에서 여러가지 다양한 결과가(즉, 높은 분산이) 발생 시킬수 있습니다.

다시 말해서 검증을 위해서 제외시킨 하나의 data point가 예측의 큰 영향을 미치기 때문에,

그 검증 데이터가 outlier였다면 모델은 최적의 모델이었으나, 검증 결과는 최악의 모델이 될수도 있고,

모델은 최악의 모델이었으나 검증 결과는 최적의 모델로 검증될수도 있습니다.

3. k-fold cross validation

위의 두가지 방법을 통해서 우리는 아래와 같은 사항을 배울수 있었습니다.

1. 우리는 data set에서 많은 부분의 데이터로 모델을 학습시켜야 합니다 .

그렇지 않으면 높은 bias를 가진 모델을 얻게됩니다.

(즉 한국인의 소득과 지출관계에서 40대 이상의 모델을 얻고

이것이 한국인을 대표한다고 말해야하는 경우가 high bias라고 할수 있습니다)

2. 우리는 최적의 비율로 test data set을 나누어야 합니다

적은 수의 데이터로 test 를 할 경우 모델의 효율성을 평가할때 높은 분산을 얻게 됩니다.

(즉 효율성이 좋다고 나와야 함에도 적은 데이터로 인해 검증할때는

효율성이 낮게 나올수 있다는 것입니다.그리고 이것을 10번할때

이러한 오차가 빈번하게 발생하면 높은 분산을 얻었다고 표현할수 있습니다.)

3. 우리는 학습과 test(검증)을 여러번 시행하되, 학습과 검증의 분포를 다르게 해서 여러번 시행해야 합니다.

이것이 검증에 큰도움을 줍니다.

그렇다면 세가지 요건에 맞는 방법은 무엇일까요

그것은 “k- fold cross validation” 입니다.

그것의 세부 방법은 아래와 같습니다.

1. 무작위로 데이터를 k개의 fold (겹, ex> 여러겹) 로 나눕니다. 즉 100개를 k 개의 집단으로 무작위로 나눕니다.

2. 각 집단 중 하나의 집단이 test set이 되고 나머지는 학습을 위한 데이터로 진행합니다.

3. 학습한 모델을 기준으로 test set으로 평가한 error를 기록합니다.

4. 이것을 돌아가면서 k번 실시합니다.

5. 기록한 error를 평균을 내고 그것을 cross-validation error라고 칭하고, 모델을 평가하는 하나의 지표로 활용합니다.

아래는 k가 10이라고 하고 , 10개의 군집을 나누어서 training하고 validation을 한 것을 표현한 것입니다.

그럼 좋은 결과를 얻기 위해서는 k를 몇으로 지정하여야 하까요?

정해진 것은 없지만, 보통 10개를 하고, 필요에 따라서 더 많이 합니다.

명심해야할 것은 K가 적어질수록 모델의 평가는 편중될수 밖에 없으며, 결과도 정확하지 않습니다.

k가 높을수록 평가는 bias가 낮아지지만, 결과의 분산이 높을수 있습니다.

(즉 k=100일 경우 정확도가 1~100점이라고 나올수 있으며, 이럴경우에는

50점의 정확도를 가진다고 표현할수 있으며,

k=20일 경우 정확도가 25~75점이라고 나와서 ,

정확도가 50이라고 표현할수도 있습니다.

동일한 정확도이지만 k-100일 경우가 분산이 더 높은 결과임은 틀림없습니다.)

How to measure the model’s bias-variance?

After k-fold cross validation, we’ll get k different model estimation errors (e1, e2 …..ek). In ideal scenario, these error values should add to zero. To return the model’s bias, we take the average of all the errors. Lower the average value, better the model.

Similarly for calculating model’ variance, we take standard deviation of all errors. Lower value of standard deviation suggests our model does not vary a lot with different subset of training data.

We should focus on achieving a balance between bias and variance. This can be done by reducing the variance and controlling bias to an extent. It’ll result in better predictive model. This trade-off usually leads to building less complex predictive models.

그렇다면 실습을 해볼 필요가 있습니다.

R 프로그래밍 예제

#C 드라이브에 RData폴더를 만들고 아래 명령어를 치게되면 working directory 가 Rdata로 지정됩니다. 폴더가 없으면 error나므로 일단 앞에 #을 붙여서 주석처리를 하였습니다.
#setwd('C:/RData')
#붓꽃데이터를 활용한 분석을 합니다. 데이터셋은 유명한 iris데이터 셋으로 진행할 것이며, 워낙 유명해서 보통 library에 내장되어 있습니다.
#iris데이터는 총 5개의 열로 이루어져 있고, 150행이 존재합니다.
#처음 4개의 열은 Sepal length(꽃받침 세로길이), Sepal width(꽃받침의 가로길이), Petal length(꽃입의 세로길이), Petal width(꽃입의 가로 길이)가 들어 있으며, 마지막열은 그 붓꽃의 종류를 적어놓고 종류는 , setosa, versicolor, virginica 이렇게 3종류로 되어 있습니다.
#모델링에 이용될 알고리즘은 rf즉 Random forest 알고리즘을 이용하였습니다.
#랜덤 포레스트 알고리즘을 이용해서 꽃받침 가로길이, 꽃입 세로길이, 꽃입 가로길이를 입력했을때, sepal.length 즉 꽃받침의 길이을 예측하고 그 결과를 검증하는 프로그램입니다.

install.packages("plyr")
install.packages("dplyr")
install.packages("randomForest")

#아래 라이브러리 가져오는 명령어들이 error날경우 위를 실행하세요.
#시작은 여기서부터

library(plyr)
library(dplyr)
library(randomForest)


data <- iris
#그 유명한 iris data set을 가지고 오기때문에 단순한 명령어가 가능합니다.

glimpse(data)
#데이터 확인해보는 명령어

#cross validation, using rf to predict sepal.length
k = 5

data$id <- sample(1:k, nrow(data), replace = TRUE)
list <- 1:k


# prediction and test set data frames that we add to with each iteration over
# the folds
prediction <- data.frame()
testsetCopy <- data.frame()
#데이터 프레임 초기화


#아래는 쓸데 없지만 그냥 멋있음을 위해 존재
#Creating a progress bar to know the status of CV
progress.bar <- create_progress_bar("text")
progress.bar$init(k)
#|================================================================================================================| 100%
#progress bar는 위의 모양같이 생겼고 굳이 넣을 필요없는데 비쥬얼을 위해서 넣음



#function for k fold
#i는 1부터 5로 나눈후에 5번을 진행하도록 합니다.

for(i in 1:k){
  # remove rows with id i from dataframe to create training set
  # select rows with id i to create test set
  trainingset <- subset(data, id %in% list[-i])
  testset <- subset(data, id %in% c(i))
  #데이터를 5등분하고 한번 뽑은 test data가 다시 train 으로 가지 않도록 5등분 합니다.

  #run a random forest model
  mymodel <- randomForest(trainingset$Sepal.Length ~ ., data = trainingset, ntree = 100)
  #랜덤 포레스트 알고리즘으로 꽃받침의 길이를 나머지 데이터로 예측하는 모델을 만듭니다.

  #remove response column 1, Sepal.Length
  temp <- as.data.frame(predict(mymodel, testset[,-1]))

  # append this iteration's predictions to the end of the prediction data frame
  prediction <- rbind(prediction, temp)

  # append this iteration's test set to the test set copy data frame
  # keep only the Sepal Length Column
  testsetCopy <- rbind(testsetCopy, as.data.frame(testset[,1]))

  progress.bar$step()
}


# add predictions and actual Sepal Length values
result <- cbind(prediction, testsetCopy[, 1])
names(result) <- c("Predicted", "Actual")
result$Difference <- abs(result$Actual - result$Predicted)


# As an example use Mean Absolute Error as Evalution
summary(result$Difference)

감사합니다.

빅데이터 강좌의 커리큘럼

노마드 익스프레스 — Sun, 22 Jan 2017 02:23:43 +0900

빅데이터 알고리즘을 위한 커리큘럼은 아래와 같습니다.

over-fitting and under-fitting
bias/variance trade-off
ERM(Empirical Risk Minimization) principle
상관분석(correlation)
회귀분석(선형회귀, 로지스틱 회귀)
능형회귀(ridge regression)과 lasso(regularization)
prediction algorithm 평가(evaluating) 및 비교(comparing)
Ensemble method(sampling, bagging, Random foresting, boosting)
Density estimation(Parzen windows, Kernel density estimation)
KNN(K-Nearest Neighbors)
Discriminant Analysis (LDA, QDA)
Model selection(Cp, BIC, Adjusted R square, Cross-validation)
kernel methods
K-mean clustering
hierarchical clustering
Dimensionality reduction and Principal Component Analysis(PCA)
information Retrieval
Bayes theorem and Bayesian learning

위의 순서는 편의상 번호를 매겨본 것이고 위의 순서대로 배워야 하는 법은 없습니다.

그리고 모든 강의는 위의 순서를 따르지 않을 것이며, 강의가 진행될때마다 위의 내용들중 어느것이 적용되는지

알려드리고자 합니다.

강의는 기본적으로 R과 파이썬의 실습예제를 한번씩 해보는 것으로 진행될 것이며,

그 결과도 함께 같이 적어놓으려고 합니다.

또한 강의가 진행되다가 위의 내용 중에 빠진 것이 있다면 집어넣고

필요없다고 생각하는 경우에는 빼는 경우도 있을 것입니다

빅데이터를 전공하지 않은 비전공자를 위한 강의를 만들어볼까 합니다.

노마드 익스프레스 — Sun, 22 Jan 2017 02:21:53 +0900

안녕하세요.

본 포스팅은 빅데이터 강의를 위해서 진행합니다.

시중에는 많은 강의가 있습니다. 개발자를 위한 빅데이터 강의, 빅데이터 MBA 등등 차고도 넘친다고 생각합니다.

하지만 저처럼 아무런 개발자 경력없이 빅데이터에 관심을 가졌던 사람들을 위한 강의는 좀처럼 보기 힘들고 ,

또한 본다고 해도 어렵습니다. 그래서 강의를 만들어 보려고 합니다.

저는 공대를 나와서 경영 일반에 속하는 구매 업무를 7년하고,

빅데이터를 심화공부하고 싶어서 영국에서 Msc. Machine Learning을 전공하고 돌아왔습니다.

얼핏보면 이미 공대의 백그라운드에서 대학교때 배운 가닥으로 배워서 가능하다고 생각하실수도 있는데,

대학을 졸업하고 8년이면 대학 때 공부하던 기억은 남지 않습니다.

다만 공대생의 습관, 즉 궁금해하고, 쓸데없이 이것저것 해보고,

그리고 포기하고, 다시 이것저것 해보고, 그리고 다시 포기하고, 그러다가 얻어걸려서 이해하게 되는 습관은 가지고 있습니다.

저는 회사에서 엑셀을 잘 다루는 편에 속하였습니다.

그래서 전 회사에서 엑셀에 대한 질문을 많이 받았습니다.

회사에서 같은 공대를 나오고 구매를 하시는 분들을 만나면서 크게 두 분류로 나눌수 있었습니다.

무엇을 궁금해 하시어 조금만 알려줘도 이해하거나 이해를 못해도 스스로 깨닫기 위해 노력하시는 분들,

아니면 그것은 내가 잘못하기 때문에 그일은 절대 내가할수 없고,

내가하는 것보다 남을 시켜야 효율이 난다고 생각하고 엑셀업무를 피하시는 분들

공대생은 졸업해서 개발을 하게되면 개발만 하시는 경우가 많습니다.

개발만 하시는 분들도 문과생들처럼 사람들을 위해 이해시키는 보고서도 작성을 하고,

사람들을 만나서 관계를 맺고 이야기를 하고, 발표도 하게 됩니다.

상대적으로 문과출신이라고 하시는 분들이 이런 보고서 작성과 , 발표에 능하다고 생각합니다.

하지만 회사생활 7년 8년차에 접하게 되면 그 배경이라는게

나를 표현하는 하나의 무늬가 될뿐이지, 나의 선천적 능력이 될수는 없습니다.

즉 처음에는 잘 못하지만, 공대생들도 발표연습을 하게 되면 발표도 잘할수 있고,

기술 영업업무를 하시면 영업업무도 잘하시게 되고, 글짓기를 좋아하면 글을 잘쓰게 됩니다.

하지만 문과를 나오신 분들 중에 혹은 공대를 나왔지만,

'나는 컴맹이지만 인터넷은 하는데 엑셀이나 이런 것은 잘 못하겠다. ' 라며

그건 내가 잘 할수 없는 장애인에 빗대어 본인을 설명하고 포기하는 경우를 많이 봤습니다.

그분들이 컴퓨터에 대해 두려움을 가지고 학습의 속도가 느린 것은 이해하나,

포기를 하고 본인의 업무를 남에게 미루는 것은 이해할수 없습니다.

그러한 포기가 본인만의 선택이고 그선택을 존중하지만,

그 선택으로 인해서 본인은 그업무를 맡아야 함에도 불구하고

남에게 미루어 본인의 역할을 못한다면 그때부터는 민폐가 됩니다

그런 분들은 애초에 세상을 살고 사회생활을 하면서

엑셀 혹은 컴퓨터로 복잡한 수치를 해석하고 데이터를 분석하는 일을 피해 다니며,

주변사람들과 업무분장에서 그러한 업무를 맡지 않고 잘 지내시기를 기원합니다.

하지만 세상이 점점 처리해야하는 데이터도 많아지고,

누구는 데이터를 분석해서 보고서를 쓰고 그러한 보고서들이 점점 대우를 받는 세상에서

스스로만 컴맹이라는 단어에 갇혀서 아무런 노력도 하지 않고,

남에게 본인의 업무를 미루거나 강압하는 위치에 간다면 향후에는 도태될 것이라 생각됩니다.

요즘은 초등학교때 코딩을 배우고자 하는 아이들도 많고 , 가르치는 학교 학원도 많아졌습니다.

제가 초등학교때는 베이직이라는 코딩을 배웠습니다. 하지만 그때 배운 내용은 현시대에서는 더이상 쓰이지 않습니다.

그럼에도 불구하고 그때 배운 베이직이 저에게 소중한 경험인 이유는 그때 배운것은 베이직 프로그래밍이 아니라,

포기하지않고 스스로 문제를 인식하고, 해결해나가는 자세를 배웠습니다

아무도 가르쳐주지 않지만, 책을 보며 끙끙대며 비효율적이다 싶지만

똑같은 시행착오를 10번씩 겪으면서, 다른 방법을 해야한다는 필요성을 느끼며

다른 방법으로 길을 찾아 문제를 해결하는 경험과 그 습관을 배웠습니다.

요즘 빅데이터를 공부해야 하시겠다고 하신분들은 굉장히 많고 국민적 관심을 가지고 있다고 생각합니다.

빅데이터를 공부해본 사람으로서 그분들에게 말씀드리고 싶은것은 쉽지 않다는 말씀을 드리고자 합니다.

기본적으로 빅데이터 분석에는 확률 및 통계학에 내용이 들어갑니다.

통계학이 필요한 이유는 데이터가 많아져도 그 데이터가 전체를 대표하지 못하기 때문에

통계적 시각으로 그 데이터가 전체를 대표하는 의미를 뽑아낼수 있는지를

증명하거나 생각할때 필요하고, 혹은 어떤 일이 발생할 가능성,

즉 확률을 계산해서 확률이 가장 높은 것을 제안하는 분석할 때 확률에 대한 지식이 필요합니다.

또한 그러한 발췌한 데이터를 행렬로 인식하고 그 행렬을 연산하는 프로그램을 짜기 때문에

행렬에 대한 지식인 선형대수학도 필요합니다.

컴퓨터로 진행하는 것이라서 프로그래밍이 포함됩니다.

물론 개발자가 될 정도의 프로그래밍을 할필요는 없고 기초 코딩은 하고,코드를 보고 읽을 정도는 되어야 합니다.

또한 분석하는 데이터에 대한 기본지식은 가지고 있어야 목표하고자하는 데이터가공 및 분석이 가능합니다.

즉 유전자 데이터를 이용한 유전자별 그룹을 나눌 경우에는 최소한 DNA염기서열에 대한 지식이 있어야 하며,

경제 지표를 긁어와서 경제 성장과 비슷한 패턴의 경제 지표를 찾으려고할때는 경제학이 필요합니다.

이렇듯 여러가지 지식이 필요하지만 어렵다고 벌써부터 겁을 먹고 포기할필요는 없습니다.

왜냐하면, 전문적인 수준까지 가기전에는 항상 기초적인 수준이 존재하니까요.

위의 지식들은 빅데이터 알고리즘을 만들기 위한 분들이라면 높은수준의 학습이 필요합니다.

하지만 여러분들은 모든 알고리즘을 새로 만드실 분들은 아닙니다.

그저 만들어진 알고리즘을 각자의 분야에서 활용하고 거기에서 가치를 창출해나가시면 됩니다.

즉 집에 전구를 달고자 하시면 전구를 만드실 필요가 없고

전구의 특성과 주의할 점 그리고 어떻게 해야 불이 켜지는 정도만 알면되지,

전구의 구동원리, 전구의 재질, 전구의 효율을 높이게 위해서 개선된 회로를 만드실 필요가 없다는 것입니다.

따라서 강의는 빅데이터 분석에서 중요한 알고리즘을 선별해서 기초부터 심화까지 진행하고자 합니다.

그리고 그 분석을 하기 위한 툴은 R, 그리고 파이썬 프로그래밍, 마지막으로 SQL이 중심이 됩니다.

제가 올리는 포스트를 보게되도 모든 것을 이해할수는 없을 것입니다.

하지만 기초적인 흥미와 더 나은 next level를 위해서 디딤게 되는 디딤돌과 같은 역할은 할수 있도록하고자 합니다.

그럼 많은 관심과 사랑부탁드립니다

감사합니다.

indeed API와 R로 만들어진 데이터 크롤링 함수 이해해보기

노마드 익스프레스 — Wed, 18 Jan 2017 01:58:56 +0900

안녕하세요.

github에서는 매우 훌륭한 코드와 이를 공개해주신 많은 훌륭하신 분들이 계시는데요, 오늘은 그분들 중에

dashee87 유저명을 쓰시는 David Sheehan께서 만드신 indeed API를 활용한 데이터 크롤링 R함수를 분석해보도록하겠습니다.

우선 Rstudio에서 아래와 같이 패키지를 설치하셔야 합니다.

>install.packages("devtools")
>library(devtools)
>install_github("dashee87/jobbR")

이후에 R 스튜디오 에서 jobsearch라는 함수를 보시면 api를 이용해서 데이터 크롤링을 할수 있는 함수를 직접확인하실수 있습니다.

> jobSearch
function (publisher, query, country = "us", location = "", radius = 25,
    sort = c("relevance", "date"), start = 0, limit = 10, all = FALSE,
    latlong = "", fromAge = "", st = "", jt = "", filter = "",
    userip = "1.2.3.4", version = 2, userAgent = "Mozilla/%2F4.0%28Firefox%29",
    callback = "", highlight = "", chnl = "")
{
    sort <- match.arg(sort)
    if (!all) {
        url <- paste0("http://api.indeed.com/ads/apisearch?publisher=",
            publisher, "&q=", query, "&l=", location, "&latlong=",
            latlong, "&userip=", userip, "&useragent=", userAgent,
            "&format=json&start=", start, "&radius=", radius,
            "&st=", st, "&jt=", jt, "&fromage=", fromAge, "&limit=",
            limit, "&highlight=", highlight, "&filter=", filter,
            "&callback=", callback, "&co=", country, "&sort=",
            sort, "&chnl=", chnl, "&v=", version)
        as.data.frame(jsonlite::fromJSON(httr::content(httr::GET(url),
            as = "text", encoding = "UTF-8")))
    }
    else {
        url <- paste0("http://api.indeed.com/ads/apisearch?publisher=",
            publisher, "&q=", query, "&l=", location, "&latlong=",
            latlong, "&userip=", userip, "&useragent=", userAgent,
            "&format=json&start=", 0, "&radius=", radius, "&st=",
            st, "&jt=", jt, "&fromage=", fromAge, "&limit=",
            25, "&highlight=", highlight, "&filter=", filter,
            "&callback=", callback, "&co=", country, "&sort=",
            sort, "&chnl=", chnl, "&v=", version)
        first_jobs <- jsonlite::fromJSON(httr::content(httr::GET(url),
            as = "text", encoding = "UTF-8"))
        jobs_lists <- lapply(seq(0, max(first_jobs$totalResults),
            25), function(x) {
            url <- gsub("start=0", paste0("start=", x), url)
            as.data.frame(jsonlite::fromJSON(httr::content(httr::GET(url),
                as = "text", encoding = "UTF-8")))
        })
        jsonlite::rbind.pages(jobs_lists)
    }
}
<environment: namespace:jobbR>

보시다싶이 데이터 크롤링을 하기 위한 agent로 파이어폭스를 이용하였습니다. 따라서 파이어 폭스를 설치하시지 않으면 위의 함수는 작동하지 않습니다.

또한 나머지 규격은 indeed api가 정해놓은 규격대로 설정을 했습니다.

https://www.indeed.co.uk/publisher

에 들어가셔서 api를 위한 id를 만들고 그것을 publisher로 등록하면 publisher key를 발급해줍니다.

ID를 만들고 로그인을 하게 되면 아래와 같은 화면을 확인하실수 있습니다.

여기서 드래그를 하다보면 아래와 같이 publisher key발급한 내용을 확인하실수 있습니다.

총 16자리 숫자로 그숫자를 이용하여서 자료를 긁어올수 있도록 할수 있습니다.

따라서 위와같이 publisher key를 발급하고, 파이어폭스를 설치하시면 아래와 같이 jobsearch라는 함수를 이용해서 아래와 같이 데이터를 크롤링할수 있습니다.

> dataScientists <- jobSearch(publisher = "XXXXXXXXX582", query = "data+scientist", country = "uk", location = "london",all = TRUE)

##  XXXXXXXXX582 대신하여 여러분의 키값을 넣으세요 

확인하시고 다른 사이트의 API를 이용해서 데이터를 가지고 오실때 참조하시면 좋을 것같습니다.

감사합니다.

데이터 과학자 VS 데이터 분석가

노마드 익스프레스 — Tue, 17 Jan 2017 19:23:40 +0900

데이터 과학자 VS 데이터 분석가

본 포스팅은 아래 영문 블로그의 내용을 요약 및 발췌하여 작성함을 알려드립니다.

따라서 본 포스팅에 올려지는 모든 그림과 도표 등의 내용은 아래 영문 링크를 들어가셔도 동일하게 보실 수 있습니다.

http://www.kdnuggets.com/2016/11/data-scientists-vs-data-analysts-part-1.html

빅데이터 분야에서 데이터 과학자와 데이터 분석가에 대한 구분은 끊임없이 존재하였으나, 그 부분을 명확하게 나누어 이야기 하는 사람은 많지 않았습니다. 그래서 David Sheehan이 작성한 블로그 내용을 기반으로 데이터 과학자와 데이터 분석가에 대한 구분을 해보도록 하겠습니다

데이터 과학자의 일반적인 기술이라고 하면 파이썬과 R을 대표적으로 이야기 할수 있습니다. 하지만 데이터 과학자의 업무와 유사한 데이터 분석가의 업무에 대해서 어떻게 차이가 나는지 정량적인 분석을 통해 비교를 해보려고 합니다.

정량적인 분석을 위해서 해외 구직사이트 인 indeed 사이트의 데이터를 분석하고자 합니다. Indeed는 무료이며 간단한 api를 가지고 있습니다 이름과 이메일만 있다면 API를 쿼리 하는 것은 크게 어렵지 않다고 합니다.

David Sheehan는 런던의 데이터 과학자와 데이터 분석가의 직업을 아래와 같이 비교하였습니다.

---------------------------------------------------------------

## if you haven't already installed jobbR

# devtools::install_github("dashee87/jobbR")

## loading the packages we'll need

require(jobbR)

require(ggplot2)

# collecting data scientist jobs in London from the Indeed API

dataScientists <- jobSearch(publisher = "yourpublisherID", query = "data+scientist",

country = "uk", location = "london", all = TRUE)

# collecting data analyst jobs in London from the Indeed API

dataAnalysts <- jobSearch(publisher = "yourpublisherID", query = "data+analyst",

country = "uk", location = "london", all = TRUE)

---------------------------------------------------------------

이렇게 indeed데이터를 api를 통해서 긁어오면 모든 데이터가 다 데이터 과학자 혹은 데이터 분석가 만 있는 것은 아닙니다.

철자의 유사성으로 인해서 연구과학자 (research Scientist) 등과 초급 증군 인턴등의 자리 또한 제외할수 있도록 프로그램을 작성해봅니다.

---------------------------------------------------------------

# removing junior and senior roles

dataScientists <- dataScientists[grepl("data scientist",dataScientists$results.jobtitle,

dataScientists$results.jobtitle,ignore.case = TRUE),]

dataAnalysts <- dataAnalysts[grepl("data analyst", dataAnalysts$results.jobtitle,

dataAnalysts$results.jobtitle,ignore.case = TRUE),]

---------------------------------------------------------------

API 문서에 의해 중복문서가 없다고 예상할 수 있지만, 데이터의 품질을 높이기 위해서 데이터를 중복 제거하도록 후처리 해봅니다.

---------------------------------------------------------------

dataScientists <- dataScientists[! duplicated(dataScientists$results.jobkey),]

dataAnalysts <- dataAnalysts[! duplicated(dataAnalysts$results.jobkey),]

---------------------------------------------------------------

위 결과를 정리해서 아래와 같이 수량을 우선 나타내어 봅니다.

---------------------------------------------------------------

# number of job posts per role

lapply(list(dataScientists, dataAnalysts), nrow)

--------------------------------------------------------------------------

## [[1]]

## [1] 188

## [[2]]

## [1] 202

새롭게 대두된 데이터 과학자가 어렵고 기술적이기 때문에 아주 많이 차이가 날 것이라고 예상했음에도 불구하고,

위의 결과는 데이터 과학자와 데이터분석가보다 조금 적게 나왔음을 확인할 수 있습니다. 즉 데이터 과학자의 구인이 생각보다 많다는 것을 확인했다고 할수 있습니다.

월급비교

Indeed APi는 월급에 대한 정보를 제공하지 않습니다. 그래서 JobbR 의 패키지를 활용해서 직업설명에 나타나 있는 월급여 설명 부분을 긁어모아서 데이터를 모아보았습니다.

물론 어떠한 광고도 정확한 월급을 적어놓지는 않았지만 대략적인 파악은 가능하다고 생각하고 데이터를 모았습니다.

---------------------------------------------------------------

# get salary figures for all data scientist positions

dsSalary <- lapply(dataScientists$results.url, function(x)getSalary(x,"GBP"))

dsSalary <- do.call(rbind, dsSalary)

# get salary figures for all data analyst positions

daSalary <- lapply(dataAnalysts$results.url, function(x)getSalary(x,"GBP"))

daSalary <- do.call(rbind, daSalary)

# quick look at our salary dataset

head(daSalary)

---------------------------------------------------------------

## status period currency minSal maxSal

## 1 Permanent year GBP 27000 30000

## 2 unknown unknown GBP NA NA

## 3 Permanent year GBP 32042 36548

## 4 unknown unknown GBP NA NA

## 5 unknown unknown GBP NA NA

## 6 Permanent year GBP 45000 50000

프로그래밍이 완벽하지 않아서 데이터 결손치 즉 NA가 많이 있음을 확인할수 있습니다. 따라서 결손치를 제외하고 연봉부분만 발췌하면 아래와 같이 결과를 확인할수 있습니다.

---------------------------------------------------------------

# filtering out jobs with no advertised salary or retaining those with annual salaries

dsSalary <- dsSalary[! is.na(dsSalary$minSal) & dsSalary$period=="year",]

daSalary <- daSalary[! is.na(daSalary$minSal) & daSalary$period=="year",]

# number of positions with an advertised annual salary

lapply(list(dsSalary, daSalary), nrow)

---------------------------------------------------------------

## [[1]]

## [1] 69

## [[2]]

## [1] 75

또한 연봉의 최저값과 최고값의 범위를 광고하는 구인광고가 많으므로 , 중간값을 대표값으로 지정하여 데이터를 분석하고자 합니다.

dsSalary$Sal <- mapply(function(x,y){(x+y)/2}, dsSalary$minSal, dsSalary$maxSal)

daSalary$Sal <- mapply(function(x,y){(x+y)/2}, daSalary$minSal, daSalary$maxSal)

모든 데이터가 확보된 상태라서 아래와 같이 기본적인 그래프를 그려보았습니다.

dsSalary$type <- "Data Scientist"

daSalary$type <- "Data Analyst"

ggplot(rbind(dsSalary, daSalary), aes(Sal, colour = type)) + stat_ecdf(size = 1) +

geom_text(size=8, aes(100000, .3, label = "Data Analyst", color = "Data Analyst")) +

geom_text(size=8, aes(100000, .2, label = "Data Scientist", color= "Data Scientist")) +

labs(title = "Annual Salary: Data Analysts vs Data Scientists",

x = "Annual Salary (GBP)", y = "Cumulative Proportion") +

theme(axis.title = element_text(size = 14,face = "bold"),

plot.title = element_text(size = 16,face = "bold"), legend.position = "none",

axis.text = element_text(size = 11))

아래 그림은 누적 분포도를 표현한것이며, 도표를 보면 데이터 분석가가 데이터 과학자보다 적은 연봉을 받는다는 것을 확인할수 있습니다.

특히 데이터 과학자 중간지점은 6만파운드 를 가르키는데 반면, 데이터 분석과는 3만파운드 미만을 지나고 있어 월급차이가 극명하게 난다고 이야기 할수 있습니다.

Indeed API (jobbR 패키지 사용)에서 작업 데이터를 추출하고 정리하여 간단한 그래프를 작성하여 데이터 과학자와 데이터 분석가 간의 급여 격차를 보여주었습니다.

2 부에서는 직무 기술에 초점을 두고 자연어 처리기술을 사용하여 자신의 광고 기술 세트를 기반으로 데이터 과학자 및 데이터 분석가 위치를 예측하고자 합니다.

블로그 포스팅 원 저작자의 사이트는 아래와 같습니다.

https://dashee87.github.io/data%20science/data-scientists-vs-data-analysts-part-1

해외 블로거의 포스트를 기반으로 간단한 분석과 데이터를 이용해서 그래프를 그린 것을 보고 참 흥미롭다는 생각을 하게 됩니다.

R를 적재적소에 쓰는 모습이 타의 귀감이 되어서 저에게 큰 의미가 되었던 글이 아니었나 싶습니다.

런던의 맛집을 모아보자

노마드 익스프레스 — Tue, 28 Jun 2016 19:24:59 +0900

안녕하세요

오늘은 혹시나 런던에 왔을때 맛집을 가야하는데 어디를 가야 할까 고민하시는 분들 위해서

아래와 같이 모아봤습니다.

플랫아이언 (flatironsteak.co.uk/)

주력메뉴 : 10파운드 스테이크(가성비 갑)

블로그 소개 : https://brunch.co.kr/@juntoss/9

레스토랑 홈피 : flatironsteak.co.uk/

주소 및 postal code

지점1 : 17 Beak St, Soho, W1F 9RW

지점2 : 9 Denmark St, Soho, WC2H 8LS

지점3 : 17/18 Henrietta St, Covent Garden, WC2E 8QH

지점4 : 77 Curtain Road, Shoreditch, EC2A 3BS

런던 포피스 피쉬 & 칩스 (poppies fish and chips)

주력 메뉴 : 피쉬앤 칩스

블로그 소개 : http://blog.naver.com/zstrauss/220711371648

레스토랑 홈페이지 : http://poppiesfishandchips.co.uk

SPITALFIELDS지점 : 6-8 Hanbury Street London E1 6QR

CAMDEN : 30 Hawley Crescent London NW1 8NP

어니스트 버거 (honest burgers)

주력메뉴 : 런던 수제버거

블로그 소개 : http://m.blog.naver.com/designziem/220592838571

레스토랑 홈피 : http://www.honestburgers.co.uk

지점이 많아서 소호 지점만 소개해놓고 나머지 지역은 홈피에서 확인해보세요

소호 지점 주소 : 4a Meard Street, London W1F 0EF

메이 페어 칩피(The Mayfair Chippy)

주력메뉴 : 피쉬앤칩스

레스토랑 홈피 : http://www.mayfairchippy.com

주소 : 14 North Audley Street,North Audley St,London

postal code : W1K 6WE

아마야

주력메뉴 : 인도식 퓨전요리(탄두리치킨 , 커리)

주소 : Halkin Arcade,Motcomb Street,London

pstal code : SW1X 8JT

블로그 소개 : http://blog.naver.com/PostView.nhn?blogId=nhl81475&logNo=220648641480

레스토랑 홈피 :http://www.amaya.biz

오블릭스

주력메뉴 : 야경 및 스테이크 (전망이 좋은곳이라 비쌈)

주소 : Level 32, The Shard, 31 St. Thomas Street, London

postal code :SE1 9RY

블로그 소개 :http://m.blog.naver.com/grapedrops/220702380938

레스토랑 : https://www.oblixrestaurant.com/menus

소호 쿄토 레스토랑

주력메뉴 : 교토짬뽕

주소 : Romilly St, Soho, London

postal code : W1D 5AJ

블로그 소개 : http://blog.naver.com/leemarkable/220364821118

버거앤 랍스터

주력메뉴 : 랍스터 (20파운드)

블로그소개 : http://jjangmi.com/207

홈페이지 : http://www.burgerandlobster.com/home/locations/

마지막으로 런던의 펍 중에 꽃이라고 할수 있는 웨더스푼을 소개해드리고 끝내도록 하겠습니다.

아래 링크를 따라가 보시면 영국의 웨더스푼 지점들의 각각의 특징들을 소개하고

그이름을 클릭하시면 위치까지 찾아보실수 있습니다.

https://www.buzzfeed.com/patricksmith/all-hail-to-the-ale?utm_term=.dpORLMxGv#.bsDr5GLKw

감사합니다.

비자 신청시 핵심 포인트

노마드 익스프레스 — Sun, 12 Jun 2016 19:26:25 +0900

안녕하세요 DA라이언입니다. 2015년 4월기준의 비자 신청 시 핵심 포인트 정리해서 보내드립니다.

1. 비자 신청 비용 알아보기(Tier 4 신청)

비자 신청 비는 현재 온라인 비자 신청서 접수 시 ￡322 를 카드 결제로 진행되고 있습니다.

이와는 별도로 NHS (영국 보건국)에 내는 ￡150 가 있으며 이 비용은 일년간 유효합니다.

만약학부과정이나 석•박사과정처럼 일년이상 학위과정으로 가는 경우 NHS 비용도 그 기간만큼내야 합니다.

ex) 학부 3년 과정의 경우 - ￡450 지불 (￡150x3년)

2. Tier 4 비자 (학생비자)필요 서류 준비

이제 조금 더 구체적으로 학생 비자인 (Tier 4 General(Adult) Visa)를 신청하시는 분들에게 비자준비 안내를 드립니다.

영국의 Tier 4 Visa는 PBS(Point-based system)으로 되어 있으며, CAS(Confirmation ofAcceptance for Studies) 부분이 30 점, Maintenance 부분이 10 점 총 40 점을 획득하시면, Tier 4visa를 발급 받을 수 있습니다.

1) CAS

CAS는 학교에서 Unconditional Offer holder이신 분들에게만 발급하는 입학허가서로,

비자신청 시 가장 중요한 Reference No.가 있습니다.

CAS에는 여권상의 인적 사항이 입력되어야 합니다.

CAS 는 학교에 따라 첨부 파일, 이메일 등으로 제공이 되고 있으며, 비자 신청 시 출력해서제출하시면 됩니다.

2. Maintenance (재정 증명 관련)

2014 년 7 월 이후 재정 준비 금액은 아래처럼 변동되었습니다.

런던 지역 (Inner London) 일 경우(1 년 이하) ----> ￡1,020 /

Month런던 이외의 지역일 경우(1 년 이하) ----> ￡820 /

Month*최종금액은 최소 28 일 이상 예치된 금액을 인정

온라인 비자 신청서를 제출한 날을 기준을 전으로, 최소 28일 동안 일정 금액을 유지하셔야합니다.

현재 한국은 Low-risk countries 중 한 곳으로, 한국 국적의 비자 신청자는 재정 증명서류를 제출하지 않습니다.

*****하지만!!!

비자 신청을 한 이후 ECO(영국비자 심사관)이 증빙 서류 제출을 요구하면, 바로 은행에서Bank Statement (은행거래내역서)를 발급 받으신 뒤, 이메일로 제출하셔야 합니다.
이 때, 관련 서류를 제출하시지 못하면, 영국 비자 거절은 물론, 온라인 비자 신청 접수 시Terms & Conditions에 서명한 내용에 위배되어, 최대 10 년 동안 영국에 입국 금지될 수 있음을잊지 마시고, 충분한 재정을 미리 준비해 두시기 바랍니다.

* 준비 방법
가장 기본은 "본인 이름으로 된" 일반 입출금이 자유로운 통장에 비자 신청 일을 기준으로

약1 달 전부터 학비 +학습 기간 동안의 생활비에 해당하는 금액을 현금으로 유지하시면 됩니다.

**부모님의 성함으로 된 통장일 경우, 가족관계증명서를 발부 받아 영문공증을 받으셔야 합니다.

적금, 예금도 인정이 됩니다만,

Tier 4 비자법의 기본 규정(입출금이 자유로운 통장에 잔고유지)과

1년 이상의 코스일 경우 최대 9개월 생활비를 준비해 두셔야 합니다.

예를 들겠습니다.

런던 이외의 지역 (학비 ￡12,000 예)

12,000 (학비)+ 7,380 (9 개월 생활비) ->￡19,380

런던 (Inner London) (학비 ￡13,000 예)

13,000 (학비)+ 9,180 (9 개월 생활비) ->￡22,180

위의 예시처럼, 런던과 런던 이외의 지역은 한 달 생활비의 기준이 달라지므로,

생활비는본인이 가고자 하는 지역에 맞춰 계산하시면 됩니다.

* 재정 준비 시작일 안내
- 9월 코스를 진학하시는 분들은 6월 1일 이전부터 재정을 준비해놓으시면 7월 초에

비자 신청이 가능하며,7월 1일부터 재정을 준비하시면 비자는 7월 말이나 8월초에신청 가능합니다.)

* 주의 사항(숙소 비용)
숙소 비용을 이미 학교에 납부한 경우, 납부한 금액 중 1,000 파운드만 인정이 됩니다.따라서 준비해야 하는 생활비에서 1,000 파운드만 제외한 나머지 금액을 준비하셔야 합니다.

-만약 학생이 Tier 4 Sponsor (대학 또는 칼리지 기숙사)를 이미 직접 납부하셨다면, 학생 비자발급에 필요한 ￡1,000 에서 감소된 금액을 제출해도 허가 받을 수 있습니다. (하지만 대학이아닌 다른 숙소에 이미 납부하신 경우라면 해당되지 않으니 주의해주세요.)

3) 건강진단서

2014 년부터 6 개월 이상 영국에 체류하게 될 경우 건강 진단서를 필수로 제출해야 합니다.

이는 즉, 결핵 검사 진단서로 지정 병원에서만 검사가 가능합니다.
(밀봉되어 수령하는 진단서는 개봉하지 마시고 비자접수센터에서 다른 비자서류와제출해주세요)

-강남 세브란스 병원

서울 강남구 도곡동 146-92전화번호 : 02-2019-1209/2804

-신촌 세브란스 병원

국제 보건 진료센터, 연세대학교 의료센터전화번호: 02-2228-5800/5810

준비서류는,
- 여권, 여권사본, 여권사진 1장, 관련 진단서 / 과거 결핵 보균자일 경우 엑스레이자료.- 검사비 8만원;
- 수령기간 : 직접수령일 경우 약 3-4일 /택배수령의 경우 약 1주일 입니다.

TB(Tuberculosis) 결핵검사 안내 – 2015년 영국으로 유학가시는 모든 분들 해당합니다.

단, 영국에서 현재 6개월 이상 체류 중인 분들만 제외.

예) 파운데이션 후, 한국에 오셔서 학부과정 비자를 받으셔야 하는 분 – 결핵 검사 x

현재 결핵검사를 받을 수 있는 병원은 세브란스 병원 뿐 입니다.

세브란스에서는 호주유학생들의 신체 검사도 시행하고 있기 때문에,

결핵 검사를 받으려면 1달가량 대기를하셔야 합니다.

결핵 검사를 받기 위해선, 영국에서 거주할 곳의 주소, 즉 학교 주소가 필요합니다.
현재 학교를 정하지 못하신 분들은 서둘러서 학교를 선정하시고,

결핵 검사를 해놓으시고재정을 준비하시고 비자 신청 준비를 시작하시기 바랍니다.
학교가 확정되신 분들은 TB 검사는 출국 6 개월 전부터 가능하니, 검사 예약을 서두르시기바랍니다.

4) IELTS for UKVI

학부 예비과정(Foundation), 편입예비과정(International Diploma),

석사예비과정(GraduateDiploma or Premaster) 그리고 대학 내에서 제공하는 pre-sessional 과정으로 가시는 학생분들은 2015년 4월 6일 기준으로 IETLS를 지정된 센터에서 보셔야만 영국 비자를 받으실 수있습니다.

기존에 봤던 IELTS Academic 이 아니라, 영국 학생 비자를 받기 위해서 봐야 하는 IELTS forUKVI Academic 으로

신청을 반드시 하셔야 UKVI (영국 이민국)에서 발행하는 학생 비자를받으실 수 있습니다.

학사, 석사, 박사 과정으로 곧바로 진학하시는 학생은 기존의 IELTS Academic 으로 보셔도상관없으나

혹 IELTS 점수가 모자라서 pre-sessional 과정을 들으실 가능이 있는 학생은 반드시처음부터

IELTS for UKVI Academic 으로 시험 신청을 하시기를 바랍니다.

4월 5일 이전에 성적이 유효하다면 재시험을 볼 필요는 없습니다.

2015 년 4 월 6 일부터는 IELTS for UKVI Academic 으로 신청하셔야 하며 신청 웹사이트는 다음과 같습니다.

http://takeielts.britishcouncil.org/book-your-test/book-now

(시험료는 363,140 원으로 인상되었습니다.)

이상 위와 같이 준비하세요.

비자 신청 A부터 Z까지 해봅시다

노마드 익스프레스 — Sun, 12 Jun 2016 19:22:29 +0900

안녕하세요 DA RYAN입니다. 영국 비자 신청하실 때 많이 힘드셨죠? ㅎㅎ 저도 그랬는데요.

직접 사이트에서 비자 신청하는게 너무너무 어려워서 고민고민하시는 분들 많다고 생각합니다

그래서 아래와 같이 직접 신청 양식을 가지고 와서 비자 신청 A부터 Z까지 알려드립니다.

참고로 저는 TIER4 STUDENT 비자를 신청했고, 동반 인이 없는 사람입니다.

비자 처음 신청시에 비자 종류를 구분하는 화면이 나오고 그 이후에는 아래와 같이 나와서 왠만한 부분은

다 따라하셔도 좋은데 동반인 이 있는지 없는지 물어보는 곳에서는 조금 다르게 하셔야합니다.

그리고 런던에서 저는 거주하는게 아니라 외곽이라서 생활비가 더 싸게 적었습니다.

런던내에 거주하시는 분들은 가격이 다른데 아래와 같지 적어놓았으니 참고하세요 본자료는 2015년 5월기준으로 작성하였습니다

Royal holloway에서 생활하고 공부하는 모습을 적어봤습니다.

노마드 익스프레스 — Tue, 7 Jun 2016 10:58:57 +0900

안녕하세요.

오늘은 Royal holloway University of London이라는 학교에 대해서 이야기 해드리고 싶습니다.

우선 학교 전경사진을 보시면 참으로 아름답기 그지 없습니다.

학교내에 숲이 있어서 가끔 사슴도 보고 다람쥐는 그냥 지나가면 어디서든 볼수 있습니다.

아름다운 자연환경을 가지고 있지만 참 안타깝게도 단점도 존재하기 마련이죠

일단 제가 1년동안 생활하면서 느낀 단점을 아래와 같이 말씀드려보겠습니다.

1. 런던을 가기위해서는 시간 투자 및 돈투자를 생각보다 많이 해야한다.

학교는 egham이라는 town에 있고 이곳은 surrey라는 시에 속해있습니다.

즉 평택시 팽성읍에 있다고 생각하시면 됩니다. 거기 가보시면 미군 부대가 하나 있는데 굉장히 고립되어 있습니다. 버스3대 정도 노선에 있고, 그외에는 택시 밖에 못다니죠.

똑같이 학교 -> egham역까지 가는데 도보로 20분, 택시로는 5분 걸리지만 택시비는 5~7파운드 (즉만원정도) 택시를 불러도 10분정도는 기달려야 옵니다.

그렇게 나름 시간투자 돈투자를 해서 egham역에 도착하면 이제 기차를 타야 하는데 기차비용이 당연히 많이 나옵니다.

기차는 rail card할인 한 기준으로 super offpick daytravel카드 를 사는게 제일 싼데 그게 9.9파운드 즉 1만7천원정도 하게 됩니다.

이 티켓은 출퇴근시간에는 기차를 이용하지 못하고 그외 시간에 기차를 이용하고, 1~6존까지의 지하철을 하루동안 마음대로 탈수 있는 1일 권입니다.

그냥 라운드 트립은 8파운드정도 되는데 지하철 비용도 비싸서 이게 가장 싼것이되더군요.

그래서 한번 가는데 최소 17천원 정도 써야하고 시간도 1시간 걸립니다.

정리해드리면 학교 -> egham역 : 시간 20분 도보

egham -> london wateroo역 : 시간 50분 비용 9.9파운드 (미할인시 15파운드)

2. 학교가 고립되어 있다.

학교가 고립되어 있어서 드는 불편은 2가지로 나누어 볼수 있습니다

1) 학교 마트가 문닫을경우에는 egham역으로 가야하고 학교마트는 비싸서 tesco라도 가려면 20분을 걸어야 합니다. 즉 1주일에 한번씩 마트를 가게되는데 생각보다 시간이 많이 걸려서 나중에는 온라인으로 order를 하게되는경우가 많습니다.

2) pre-cession 을 하였을 경우 꽤 많은 중국인 친구를 만나게되고 그중국인 속에서 영어보다는 중국어를 배울수 있는기회가 많아집니다. 즉 6월이나 7월에 학교에 미리 오시는 경우 영어 수업을 듣는데 중국인이 반의 90%를 차지하게되고 그렇게 9월까지 수업을 듣습니다. 중국인이 나쁜게 아니라 그냥 학교가 고립되어 있어서 돌아다니기 보다는 학교에서 같이 놀게되는데, 그럴경우 영어로 의사소통하기 보다는 답답해서 중국어가 먼저 튀어나오는 경우가 꽤 있습니다. (전문중국어가 아니라 그냥 싫어 좋아 머먹어 정도^^;;)

3. 가끔 집에 기차를 타고 못돌아 오는 경우도 있습니다.

크리스마스 연말에는 기차회사가 그냥 쉽니다. 그리고 주말에 가끔 기차 라인이 문제라고 돌아가라고 하면서 2시간 정도 걸리는 기차 우회 노선을 알려줍니다.

그럴경우에는 우버를 타고 오는수 밖에 없는데 우버가 런던에서 egham까지 50~60파운드정도 들기때문에 비용이 많이 들긴하지요.

머 때에 따라서는 히드로 공항으로 가서 학교로 오면 15파운드 정도 들어서 그렇게 이용하는 경우도 있긴하는데 기차가 놀거나 연착되면 당황되긴 합니다.

그래서 결론적으로 말씀드리면 royal holloway 오시면 주로 학교생활에 충실하게되고

주로 학과 공부에 충실하게 되므로 학업을 하기에는 아주 적합한 장소입니다.

도서관도 하나 더 짓고 있고 도서관이 치열하게 붐비는것은 시험기간 4~5월달 밖에 없고 나머지는 항상 자리는 있습니다.

또한 학생 수준이 아주 나쁘지 않아서 공부를 열심히하려고 하는 아이들이 많아 도서관만 가면 면학 분위기가 잘 조성되는편이라 스스로 공부하는데 그런 분위기가 도움을 받을때도 있습니다.

그러므로 공부를 하고 학과의 커리큘럼이 마음에 드시는 분들은 학교를 오셔서 후회가 없으시나,

런던생활과 튜브타고 런던 야경을 시간나면 보겠다고 하시는 분들은 그닥 비추천해드립니다.

영국유학시 하우스 가이드

노마드 익스프레스 — Fri, 3 Jun 2016 11:19:53 +0900

안녕하세요. Ryan 입니다

2015년 7월에 유학을 와서 벌써 1년이다되어 갑니다

이러한 시점에서 런던으로 이사를 가려고 준비를 하고 있는데 준비하는 과정에서 집구하는 과정이 조금 빡세서 제가 운영하고 있는 유학생 모임의 회원님들께 받은 팁가 제가 겪은 시행착오를 모두 종합해서 이렇게 역사에 남기려고 합니다. 보시고 아니다 싶으신게 있으시면 지적해주시면 감사드리겠습니다

우선 런던에서 살거나 영국에서 살아야 할때 가지는 마음가짐에 대해서 이야기 해드리겠습니다.

1. 가격에 대한 마음가짐

저는 런던에 살지 않고 surrey라는 경기도 비스무리한 지역에 살고 있어서 집세가 그렇게 비싸지는 않다고 할수 있지만 그래도 주당 150파운드 월 600파운드를 내고 있습니다.

즉 영국에와서 한국처럼 월세 50만원이면 좋은 원룸하나를 구할수 있겠지 라고 생각하신다면 그 생각은 경기도 오산에 놓아두시고 오시길 바랍니다.

1720원 환율 기준으로 600파운드는 103만원정도 됩니다. 그돈으로 방하나 침대 하나 책상하나 화장실 하나 (공통으로 쓰는 부엌하나 )를 얻게 된다면 지역에 따라 싸게 얻었다, 혹은 적정선이구나 라는 생각을 하시면 됩니다.

즉 주당 150 파운드 , 월 600파운드가 평균 방을 구할때 드는 비용이라고 생각하시면 됩니다.

2. 지역에 대한 마음가짐

기본적으로 서울의 중심이 명동이라고 한다면 런던의 중심은 소호 라는 곳이 됩니다. 소호가 느낌도 명동같으면서 집값도 많이 비쌉니다. UCL , LSE 등의 주요 대학들이 아쉽게도 이런 중심가 근처에 있어서 이 런 대학을 다니시는 분들이 학교 코앞에 다니시려면 돈이 많이듭니다.

그래서 유학생이 그나마 취할수 잇는 전략은 기숙사 신청하고 부모님께 기숙사 합격해줄수 있게 함께 백일기도를 드리자고 부탁하시는게 있습니다.^^

어쨌든 다시 지역에 대한 설명을 드리면 런던을 소호를 중심으로 서쪽이 잘사는 동네 동쪽이 조금 힘들게 사는 동네라고 보시면 됩니다. 즉 서쪽으로 갈수록 환경이 좋아서 집값이 비싸지고, 동쪽으로 갈수록 환경이 그닥 좋지 않아서 집값이 싸집니다.

어느정도 환경이 좋지 않는지는 예를 들어드리면, aldgate East라는 지하철 역에 있는데 내려서 그근처의 집을 보러 간적이 있습니다. 그곳은 우리나라로 치면 영등포나 의정부 시 ? 정도의 분위기를 낸다고 보시면 됩니다.

(물론 이건 제 지극히 개인적인 느낌이고 지역을 비하하려는 의도보다는 청담사거리와 의정부사거리를 비교했을때 나타나는 느낌을 말씀드리는것입니다.) 의정부사거리를 가보시거나 영등포를 가보시면 1층에 허름한 가게들이 굉장히 줄지어서 있으며, 딱히 장사가 잘되어 보이지 않아보이는 가게들이 많이 있습니다. 그가게들이 매출이 많이 나오든 많이 나오지 않든 중요한건 아닌데 제가 말씀드리고 싶은것은 상대적으로 열심히 일한사람들보다는 이민자들이 많이 살고 있다는 느낌을 받았습니다.

또한 영국에서 있다보면 가끔 추리닝을 입고 이빨에 충치몇개 먹은 아이들이 지나가다 "what the fuck are you looking at? "멀 꼴아봐" 같은 멘트를 날려주는 동네들이 몇군데 있는데 그런아이들이 이쪽 동쪽에 분포해 있을 확률이 높습니다.

저는 런던에서 서쪽지역(부천 정도의 거리 )에 사는데 밤거리를 다니면서 무섭다거나 위험하다는 생각이 살짝들었다면, 런던 동쪽지역은 낮에 갔음에도 불구하고 위와 같이 욕하는 아이들 때문에 낮에도 좀 무섭다는 생각을 살짝 했습니다. 그렇다고 다 동쪽 지역이 못살고 그런건 아니고 aldgate East와 aldgate쪽이 좀 무서웠습니다.

Elephant & Castle 도 비슷한 분위기라고 유명하긴한데 많이 나아졌다는 사람도 있으니 참고만 하세요.

그래도 canada water는 살기 좋은 동네라고 들었습니다.

어쨌든 지역에 대한 이야기는 집값이 싸면 쌀수록 환경에 영향을 받기 때문에 싸다고 생각하시고 직접 가보기 전에는 집을 선택하지 마시라는 말씀을 드리고 싶습니다.

3. 런던에서 런던 근처에서 집구하기 행동강령

그럼 이제 본격적인 유학생 집구하기 가이드를 아래와 같이 말씀드립니다.

1) 기숙사 합격 여부를 확인한다

-> 합격했으면 그곳으로 모든 집을 우편으로 부치고 룰루랄라 비행기 타고 영국입국

-> 떨어졌으면 아래 2)번과 같이 행동하세요

2) air BNB 혹은 유스호스텔을 예약한다.(1~2주정도)

-> 보통 집구하는데 빠르면 1주 늦어도 2주정도 걸린다고 보시면 됩니다.

->학교가이드처럼 개강 첫주에 런던에 오신다면 개강 첫주는 수업을 안하고 OT나 파티를 많이 하니까 그때 구해야 된다고 생각하시면 됩니다.

-> 하지만 좋은 방은 이미 8월에 다 나갔다고 보시면 되고,

아무리 개강첫주에 수업을 안해도 개강 1주전에 오시는것이 좀 더 수월하게 방구하는데 집중할수 있으니 개강 1주전에는 오시길 권장해 드립니다.

3) 영국의 직방같은 사이트 http://www.spareroom.co.uk/ 에서 방을 찾는다

혹은 런던연합대학 소속 학생은 http://housing.london.ac.uk에서도 방을 찾을수 있습니다.

이 사이트에서 회원가입하시고 원하시는 지역의 지하철 역이름으로 검색하면 그근처의 방이 검색되어서 나옵니다 가격 보고 마음에 들면 무조건 email로 보내시는데 보내실때

name : , 직업, 원하는 계약기간, 방을 언제볼수있는지 가능한 날짜를 적어서 보내시고 답변을 기다리시기 바랍니다.

지하철 역도 학교를 기준으로 검색을 하시면 되는데 지하철을 한방에 오실수 있는 곳을 추천해드립니다.

또한 한국음식을 좀 자주 먹고 싶으시면 golders green을 추천해드리고 (한인마트가 있습니다.)

Swiss Cottage나 Chalk Farm 정도는 UCL과 접근성이 좋고 소호가기도 어렵지 않으므로 추천해드립니다.

그외에도 지하철이 가깝고 공원이 있는 지역은 나름 살기가 좋으므로 추천해드립니다.

어쨌든 email을 10개 보내면 3~6개 정도 답변이 오고 영국오시는 날부터 계속 하루는 email보내고 다음날은 답사가고 email보내고 답사가고 하다보면 1주일 금방가므로 마음에 드는 방이 나타날때까지 무한 반복하시면 어느정도 안목이 생기십니다.

한국에서 영사 uk를 보고 미리 사진만 보고 집을 계약하시는 경우도 있습니다.

이거는 제가 머라 말씀을 못드리겠네요. 복불 복이라서 사진만 보고 좋은집은 정말 그냥 계약해도 되는집도 있긴합니다.

특히 8월과 9월은 집구하는게 경쟁이 치열해지고 10월에 경쟁이 극에 다다르기 때문에 7월에 영사 uk보고 집을 구하시면

좋은 집을 구하시기 수월하실수도 있습니다.

하지만 한국에서 미리 직접 방을 안보고 고르신거기때문에, 계약금을 지불하고,

나중에 그 방에 문제가 생기거나 좋은방이 아니라고 생각될 경우 계약을 파기하는데 어려움이 있으므로,

본인이 좀 까다롭고 민감한편이면 그냥 별로 추천을 안드리려고 합니다.

그리고 좋은방과 나쁜방을 구별해 내는 방법은 직접 보는 방법밖에 없으므로, 신중히 선택하시기를 권장해드립니다.

또한 가격을 보실때는 아래표와 같이 주당가격과 월별 가격을 환산하여 생각하시기 바랍니다.

계산 방법은 1년이 52주이므로 주당 가격 *52/12 로 계산하시면 빠른 환산이 가능하시리라 생각됩니다.

아래는 위의 계산법대로 주당 가격 대비 월별 가격 환산표를 적어보았습니다.

주당가격 월별가격

250 1083.33

245 1061.67

240 1040.00

235 1018.33

230 996.67

225 975.00

220 953.33

215 931.67

210 910.00

205 888.33

200 866.67

195 845.00

190 823.33

185 801.67

180 780.00

175 758.33

170 736.67

165 715.00

160 693.33

155 671.67

150 650.00

145 628.33

140 606.67

4) 마음에 드는 집을 구했고 계약을 하기로 함

-> 제가 아직 직접 계약을 해본적은 없지만 주변에 들리는 소문에 의하면, 계약을 하고자 하면

deposit을 먼저 계약금으로 걸고 , 계약을 할때 집주인이 6개월 집세를 미리 내라고 하는 경우가 있습니다. 혹시나 돈없는 학생들이 집안에 버티며 돈안낼까바 조심스러운 마음, 집주인이 편하고자 하는 마음 반반이라고 생각하시면 됩니다.

agent 끼고 하시면 agent비용도 내야하고 agent비용은 보통 1주당 집세의 vat 별도라고 보시면됩니다. 즉 1주 집세가 150파운드면 150파운드에 부가세를 포함한 가격을 붙이는것으로 알고 있습니다.

그리고 집세를 확인하실때 include bill이라고 하면 water fee, electricity , gas fee 가 보통 포함이고 그게 포함이 안될경우 한달에 50파운드~100파운드 정도 더 내야한다고 생각하시면 됩니다.

그외 계약 사항에 마음에 들지 않는게 있다면 계약서 싸인하기전에 아래 사이트를 예약해서 자문을 얻으시면 큰도움이 되실수도 있습니다.

https://www.citizensadvice.org.uk/
http://housing.london.ac.uk

4. 계약이 끝나고 이사를 하고 주소를 받으면 한국에서 가지고 오지 못했던 것들을 택배로 받으시면 활기찬 유학생활이 될것이라 믿어 의심치 않습니다.

그럼 긴글 읽어주시느라 수고 많으셨습니다.

영국 은행에서 드는 도난 보험 이야기

노마드 익스프레스 — Mon, 25 Apr 2016 04:43:34 +0900

안녕하세요 DA라이언입니다.

영국에 정착해서 생활하다보면 도난사고가 생각보다 많이 일어납니다.

제가 운영하는 회원들의이야기를 빌리자면

쇼핑을 하며 옷갈아있는 FITTING룸에서 옷을 갈아입고 가방을 밖에 두고온 것을 까먹고

부랴부랴 나갔더니 지갑을 잃어버린경우,도 있고

평화롭게 길 다니면서 핸드폰을 한손에 쥐고 여성스럽게 우아하게 걸어가다가 오토바이 뭉텅이가

본인손에 쥐고 있는 아이폰을 덥석 빼앗아 도망가서 울었는데,

IPHONE계정 연결되어 있는 이메일주소로 핸드폰을 찾았으니, ICLOUD 아이디와 비번을 입력하라는

메시지가 와서 와~ 기쁨에 가득차 입력했더니 그것도 도둑뭉텡이들이 보낸 메일이라

개인정보까지 훔쳐간 사례도 있습니다.ㅜ.,ㅜ

그래서 아래와 같이 핸드폰 등의 귀중품에 대한 보증 보험을 영국 은행에서

한들에 5~10파운드로 들을 수 있습니다.

12개월이면 120파운드 24만원인데, 1년에 한번만 휴대폰을 잃어버려도 이익입니다. 씨익^O^/

바클레이 , 로이드, HSBC를 대표적으로 찾아서 아래와 같이 적어놓았으니,

필요하신 분들은 아래 링크를 따라가서 확인하시기 바랍니다.

참고로 핸드폰, 노트북, 카메라 등등 다양하므로 각 은행마다 있고, 아래 없어도

은행에 물어보시면 보험상품이 있을 것이니 본인사정에 맞는 걸 고르시기 바랍니다.

http://www.barclays.co.uk/studentcontentscover

http://www.lloydsbank.com/current-accounts/added-value-accounts/silver-account.asp?WT.ac=CASAVAFOM

http://www.hsbc.co.uk/1/2/insurance/student-insurance

그럼 여러분들의 많은 사랑과 관심 감사드립니다.

오늘도 평안한 하루 보내세요.

BBC TV 라이센스 관련 유학생 행동방침

노마드 익스프레스 — Mon, 25 Apr 2016 04:42:29 +0900

안녕하세요. 라이언입니다.

제가 운영하고 있는 카페 회원님 중에 BBC TV라이센스에 관한 실제 사례가 있어서 공유해드립니다.

그분이 BBC iplayer로 2~3회 live 채널을 시청하였는데,

2~3차례 편지가 왔는데 그동안 편지보낸거 답장없다고 방문해서

불법적으로 시청한거 있는지 확인해보겠다고 했답니다.

그래서 고민상담을 단톡방에서 했는데 결론은 일단 아래와 같이 정리했습니다.

======BBC 시청료에 대한 유학생의 행동방침=============

1. BBC 시청은 절대 live스트리밍을 하지 않는다 (iplayer로 재방송은 괜찮음)

2. BBC LIVE시청은 wifi로 보든 노트북으로 보든 3G로 보든 핸드폰으로 보든 추적이 가능하니

절대 자기는 안걸릴거라 생각하지 않는다

3. BBC 라이센스 부과하는 곳에서 연락이 왔을경우 일단 라이센스 사이트에서 라이센스 비용을 지불한다

(지불 할 경우 라이센스 cover 기간을 본인이 최초 시청한 달부터 지정 가능하니 꼭 그달부터 지정하는 걸로 할 것)

4. 지불후에는 지불한 당월을 제외하고 남은 달에 대해서 환불을 요청한다.

즉 라이센스 시작을 8월부터 했고 지금이 10월이면 8, 9, 10월 에 대한 시청료는 포기하고

나머지 비용에대해서 즉 9개월에 대해서는 환불을 요청한다.

상기의 행동방침은 현지인의 조언과 회원님과 운영자인 저까지 포함하여 3명이 생각하고 이야기하고 토론끝에 만들어낸

합리적인 행동방침이라 생각되오니 많은 분들에게 참고되면 좋겠네요..

또한 다른 사례가 하나 더 있는데요.

그분은 좀더 큰 화면에서 컴퓨터를 연결하여 다운받은 영화와 영상물을 보고자 TV를 구매하였는데,

TV를 구매하자 마자 1주일 혹은 2주일 있다가 바로 아래와 같이 레터가 예쁘게 와있어서

깜놀 했다고 합니다.

정말 수신료받기 위해 불철주야 노력하였는지,

수신인에 이름도 안쓰고 일단 tv구매 리스트만 확인해서 바로 발송하였나 봅니다.

정말 영국 TV LICENSING.CO.UK에서 일하시는 분들 HARD WORKING하십니다. ㅎㅎㅎ

어쨌든 혹시라도 BBC를 인터넷에서 LIVE ONAIR(생방송)를 시청하시면

(RECORD 된 MOVIE CLIP을 LIVE STREAMING으로 시청하는건 괜찮음)

수신료를 내야하니 이점 꼭 명심하시고, 영국 아이들도 열심히 일한다는 것도 명심해주시기 바랍니다.

그럼 좋은 하루 보내세요.ㅎㅎ

영국에서 도난 사고 발생시 필히 알아야 하는 사항

노마드 익스프레스 — Mon, 25 Apr 2016 04:39:27 +0900

우선 핸드폰이나 지갑 귀중품을 잊어버렸을 경우에는 아래와 같이 행동하시기를 추천해드립니다.

1. 경찰에 신고

1) 강도 , 살인 등 강력범죄 생명이 위독할경우 999 로 전화 신고

2) 소매치기, 절도 등 재산상의 손괴가 발생하여 범인을 찾아야 할때는 101 로 신고

2. 경찰 신고시 추천 매뉴얼

1) 가장 의심되는 시간, 장소, 정황을 잘 설명한다.

2) CCTV가 주변에 있었다면 그 주변에 CCTV가 있어서 확인이 필요할 것같다고 하여

CCTV 수사를 유도한다.

3) 본인의 영어 실력이 딸린다 , 경황이 없어서 영어가 잘 안나온다 대화가 안된다 등등

그럴경우에는 한국어 서비스 신청을 할수 있으나, 대기시간이 길어집니다. 보통 3시간 이상 걸린다고 생각하시면 됩니다.

4) 분실 확인증(영어로 Crime report)을 작성하고 보험사에 보상받을 것이 있는지 확인해본다.

3. 여권 분실 및 BRP카드 분실시

1) BRP카드만 잊어버렸을 경우

If you have also lost your BRP you must report that it was lost or stolen by emailing the Home Office atBRPLost@homeoffice.gsi.gov.uk.

You must apply for a new one within three months so even if you have not yet obtained a new passport,

you must apply for a new BRP card within three months.

You willneed to enclose a letter explaining why you are not able to enclose your passport and explain when youexpect to receive it.

즉, 위의 볼드체 이메일 주소로 BRP 카드를 분실하셨다고 알리시고, 3개월 이내에 반드시 새로운 것을 신청하셔야 합니다.

이때 여권도 잃어버렸을 경우 여권 없이 지원도 가능하다고 하며, 이 때는 여권을 제출하지 못하는 사유서를 제출하면 된다고 합니다.)

만약에 스티커로 받아서 오신 경우에는, 아래와 같은 절차로 재발급 신청이 진행됩니다.

To replace the visa in your passport, you need to fill out an application form - the Transfer of Conditions'TOC' form and pay an application fee.

As part of this application you will need to provide your biometric information and obtain a new BRP card. Postal applications cost £107 and can take several months to be processed.

If you apply in person, you can get your passport back on the same day and your BRP card will be posted to you within a few weeks. In person applications cost £507.

정리하자면, 스티커로 발급을 받아왔더라도 이제는 카드로 신청을 해야한다고 하네요.

BRP 신청은 아래 사이트에서 가능하다고 하구요,

https://www.gov.uk/biometric-residence-permits

비용은 우편으로 할 경우에 183파운드이며, 몇 달이 걸릴 수 있기 때문에(several months) 그 동안 여권을 사용할 수가 없습니다.

방문해서 신청하는 경우에는(in person) 비용이 583파운드이며, 이 경우는 하루만에 받을 수가 있구요.

그외 BRPLost@homeoffice.gsi.gov.uk 로 메일을 보내셔서 상황을 설명하시고, 가이드를 구하면 좀 더 세부적인 지침을 받으실 수 있을 것 같습니다. ^^

2) 여권만 잃어버린경우

여권을 잃어버린 경우에는 대사관에 가셔서 임시여권을 발급받거나, 여권을 재발급 받아야 합니다.

아무쪼록 도난 사고없는 유학생활 되시길 바라며, 혹시 도난사고 발생시 위와같이 대응하셔서

패닉없이 바로 바로 진행하시어 정신적 데미지를 최소화 하시기 바랍니다.