2017년 1월 18일 수요일

#11. Domain-Adversarial Neural Network (2014)


테리의 딥러닝 토크 처음으로 논문 리뷰를 해보았습니다. 뉴럴넷을 가지고 domain adaptation을 구현하는 Domain-Adversarial Neural Network(2014)라는 논문인데요, 이 논문을 통해 domain adaptation이란 문제는 무엇이고, 이 논문에선 어떻게 해결하고 있는지 같이 알아보시죠.

-  Ajakan, H., Germain, P., Larochelle, H., Laviolette, F. and Marchand, M., 2014. Domain-adversarial neural networks. arXiv preprint arXiv:1412.4446.
[Link] http://arxiv.org/pdf/1412.4446

- Ganin, Y., Ustinova, E., Ajakan, H., Germain, P., Larochelle, H., Laviolette, F., Marchand, M. and Lempitsky, V., 2015. Domain-adversarial training of neural networks. arXiv preprint arXiv:1505.07818.
[Link] http://arxiv.org/pdf/1505.07818

- Ben-David, S., Blitzer, J., Crammer, K. and Pereira, F., 2007. Analysis of representations for domain adaptation. Advances in neural information processing systems, 19, p.137.
[Link] http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2006_838.pdf



[비디오]






[슬라이드]


*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.

[rsshttp://t-robotics.blogspot.kr/feeds/posts/default

2017년 1월 13일 금요일

#8,9,10. 머신러닝의 종류


머신러닝은 따지고 보면 정말 다양한 문제들을 다루고 있습니다. 크게는 Supervised와 Unsupervised로 나뉘는데요, 각각에 대해서 알아보고, 그 아래에는 어떤 카테고리들이 있는지도 함께 알아보시죠.







[비디오]




[슬라이드]


*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.

[rsshttp://t-robotics.blogspot.kr/feeds/posts/default

#7. Ng교수의 교훈: 데이터셋만 잘 나눠도...


머신러닝계의 셀럽이라고도 할 수 있는 스탠포드/바이두의 Andrew Ng 교수가 Bay Area Deep Learning School과 NIPS2016에서 렉쳐를 가졌는데요, 그곳에서 강조한 내용은 다름아닌 "데이터셋 나누기"였습니다. 이게 도대체 뭐길래 이렇게 강조를 한 것일까요



[비디오]


[슬라이드]


*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.

[rsshttp://t-robotics.blogspot.kr/feeds/posts/default

2016년 12월 27일 화요일

#6. 에러 해부학: Bias-Variance Trade-off


머신러닝을 하면 필연적으로 예측값과 참값 사이의 에러가 존재할 수 밖에 없는데요, 그렇다면 이 에러는 과연 어디로부터 오는 것일까요? 에러의 구성요소를 한번 분석해 보겠습니다. 머신러닝 이론적으로도 의미가 큰 Bias-Variance Trade-off에 대한 내용입니다.



[비디오]


[슬라이드]


*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.



2016년 12월 24일 토요일

#5. Training/Test/Validation Set : 오버피팅을 피하는 방법


오버피팅은 머신러닝에 있어서는 꼭 극복해야 할 산이죠. 그렇다면 이 문제는 어떻게 극복할 수 있을까요? 오버피팅을 다루기 위한 Training set / Test set / Validation set 이용방법을 알아보도록 하겠습니다.



[비디오]


[슬라이드]



*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.




#4. 오버피팅 (Overfitting): 누구나 처하게 될 문제


오버피팅(overfitting)은 머신러닝 100년 한 사람도 꾸준히 고민해야 하는 사항입니다. 머신러닝 연구자라면 누구나 처하게 되는 오버피팅 문제, 과연 오버피팅이란 무엇일까요?



[비디오]


[슬라이드]



*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.




2016년 12월 20일 화요일

#3. 머신러닝 / 딥러닝 강의 7가지 추천!


머신러닝 / 딥러닝 강의 7가지를 추천해드립니다.

1. Coursera machine learning 강좌 https://www.coursera.org/learn/machine-learning
2. Udacity deep learning 강좌 https://www.udacity.com/course/deep-learning--ud730
3. Mathematical monk 유투브 강좌 https://www.youtube.com/playlist?list=PLD0F06AA0D2E8FFBA
4. Stanford CNN 강좌 http://cs231n.stanford.edu/
5. Bay area 딥러닝 스쿨 https://www.youtube.com/channel/UCb7PaTJYueRh6Y5rQ7h3U3w
6. 딥러닝 서머스쿨 https://sites.google.com/site/deeplearningsummerschool2016/schedule
7. 테리의 기계학습 입문 https://youtu.be/j3za7nv7RfI



[비디오]

[슬라이드]


*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.



#2. 머신러닝, 그 느낌적인 느낌


대체 머신러닝은 어떤 일을 하는 걸까요?

대충 감이라도 잡으면서 머신러닝을 이용합시다~



[비디오]

[슬라이드]



*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.




#1. "테리의 딥러닝 토크" 유투브를 시작합니다!


안녕하세요 테리입니다~!

딥러닝 팟캐스트가 있었으면 좋겠다는 고민을 하다가 그냥 저 혼자 유투브 채널을 만들어버렸습니다 ^^ 앞으로 머신러닝/딥러닝에 대한 이런저런 개념들과 관련 생각들을 공유할텐데요, 길지도 않게 딱 5~7분 정도의 길이로 만들 생각입니다! 저도 시간이 없으니 편집도 없고 짧게 라이브로 주~욱~

앞으로 틈날 때마다 올려볼테니까요, 제가 중간에 그만두지 않게끔 종종 응원도 해주시고 피드백도 많이주셔요 ㅎㅎ 그럼 즐겨주세요! 유투브 구독 꾹! 페이지도 좋아요 꾹!

[YouTube] 테리의 딥러닝 토크 유투브,  
https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[Facebook] 테리의 딥러닝 토크 페이지 
https://www.facebook.com/deeplearningtalk/



[비디오]

[슬라이드]



*  테리의 딥러닝 토크
[youtube] https://www.youtube.com/playlist?list=PL0oFI08O71gKEXITQ7OG2SCCXkrtid7Fq 
[facebook] https://www.facebook.com/deeplearningtalk/

* T-Robotics의 글은 facebook과 rss reader로도 받아보실 수 있습니다.




2016년 5월 31일 화요일

컨볼루셔널 뉴럴넷 (Convolutional Neural Network)


정말 오랜만에 T-Robotics 글로 찾아뵙습니다. (오랜만에 한글로 블로깅을 하니 속이 다 시원하네요 ㅎㅎ) 오랜만에 T-Robotics에 들어와 통계를 보니 여전히 잘 팔리는(?) 글은 딥러닝의 소개에 대한 글이더군요. 물론 최고 조회수의 글은 알파고에 대한 얘기였지만, 그건 한 때의 붐이었을 뿐이고 현재까지도 가장 잘 팔리는 글은 바로 딥러닝에 대한 이야기였습니다.
[Link]  쉽게 풀어쓴 딥러닝의 거의 모든 것
흥행에는 이 메인 사진의 역할도 컸던 듯... (출처)

"쉽게 풀어쓴 딥러닝" 이야기에서도 언급했 듯 딥러닝 연구들을 방법에 따라 크게 세 부류로 나누자면 좋은 피쳐를 찾기 위한 RBM, Autoencoder 등의 Unsupervised Learning과 이미지 인식, 자연어 처리 등 다양한 분야에서 혁신적 성과를 얻고 있는  Convolutiontional Neural Network (CNN), 그리고 시퀀스 데이터에 적합한 Recurrent Neural Network (RNN)를 들 수 있겠는데요, 그 중에 으뜸을 꼽으라면 역시 CNN을 꼽을 수 있겠죠. 그런데 왜 이렇게 CNN이 성공적인 효과를 내는 것일까요? 저는 그런 의문이 들었고 CNN의 핵심인 'Convolution이란 무엇인가'에 대해 좀더 이해하고 싶었습니다. 그래서 이 블로그 글을 시작합니다. Convolutional Neural Network에 대한 이해!

2016년 4월 13일 수요일

20대 총선이 남긴 6가지 국민의 뜻


20대 총선이 끝났다. 최악의 공천 과정 속에 국민의 무관심까지 더해져 정치가 크게 후퇴하는 것이 아닌가하는 우려가 있었지만 오히려 결과는 그 반대였다. 국민은 투표로서 국민의 무서움을 보여주었고, 20대 총선은 역사상 가장 충격적이고도 따끔한 결과를 보여주었다. 최악의 공천파동 속에 보여준 국민의 최선의 선택, 그 의미를 분석해보고자 한다. 

<출처: 경향신문>

2016년 4월 10일 일요일

지킬(Jekyll): 워드프레스의 강력한 경쟁자

지킬(Jekyll)이란 사이트 개발 툴 들어보셨나요? 깃허브(Github)는 아마 들어보셨겠죠? 제킬은 개발자/연구자들이 가장 좋아하는 브랜드(?) 중 하나인 깃허브에서 개발한 사이트 개발 툴입니다. 사이트 개발 또는 블로그 툴이라면 역시 워드프레스(Wordpress)가 가장 유명한데요, 요즘 심심치 않게 워드프레스에서 지킬로 사이트를 이사했다는 이야기가 들려오고 있습니다. 특히 하드코딩에 익숙한 개발자/연구자들 사이에선 말이죠. 

빠르고 심플한 사이트 개발툴로 떠오르고 있는 지킬

2016년 3월 26일 토요일

알파고, 강화학습을 현실에 데뷔시키다


이 글은 한국인터넷진흥원테크M에 기고한 글을 백업한 글입니다. 

현대 인공지능 발전에 있어 딥러닝(deep learning)의 역할은 이제 두말하면 입이 아플 정도이다. 2006년 토론토 대학의 힌톤(G. Hinton)교수 촉발시킨 딥뉴럴네트워크(deep neural network)의 혁신은 이후 동료 연구자들인 뉴욕대학의 르쿤(Y. LeCun)교수, 몬트로올대학의 벤지오(Y. Bengio) 교수, 스탠포드대학의 응(A. Ng)교수 등의 후속 연구에 의해 그 깊이가 더해졌고, IT공룡들이 재빨리 이들 딥러닝 연구자들을 흡수함으로써 딥러닝은 현실을 미래로 이끄는 가장 강력한 기술이 되었다. 현재 구글의 힌톤, 페이스북의 르쿤, 바이두의 응은 각각의 기업에서 딥러닝의 현실세계 적용을 이끌고 있으며, 이들 못지않게 현재 딥러닝의 발전에서 큰 역할을 하고있는 사람이 바로 알파고의 충격을 던져준 구글 딥마인드의 데미스 하사비스(Demis Hassabis)이다. 

이젠 그가 잘생겨보인다. 데미스 하사비스느님... (출처)

2016년 3월 13일 일요일

바알못을 위해 드립으로 정리한 알파고 4국 요약


이세돌이 드디어 이겼다. 그리고 내 논문은 망했다. 이게 다 알파고 때문이다. 지금 언능 실험결과 안나온걸 다시 뒤집어 봐야겠지만 하고 싶은 건 꼭 해야하는 못난 성미 때문에 (ㅠㅠ) 오늘의 승리의 기쁨을 되짚어 보고자한다. 바둑도 고수들한테 치이고, 인공지능 기술도 논문을 자세히 읽어본 분들에게 치일거면, 내 포지셔닝은 바로 드립이닷!


나의 신의 한 수... 가운데 손가락이 눈에 띄는 건 기분 탓일게다. (사진출처)

2016년 3월 10일 목요일

바둑적/인공지능적 관점에서 분석한 알파고 1,2국


논문 마감 4일을 앞두고 펜을 들고 말았다. 아니, 키보드 앞에 앉고 말았다. 지난 이틀 간 있었던 충격적인 알파고와의 대국 결과 때문이다.  이세돌 0 : 알파고 2 ... 로봇공학자로서 딥러닝의 강력함을 충분히 알고 있었고 결코 딥러닝의 능력을 간과하지 않았지만, 그래도 이번 대결에서 이세돌 9단이 5:0으로 이번 대국을 이길 것이라는 생각엔 한 치의 의심도 없었다. 주변에선 이세돌 9단의 이번 대국을 두고 "100만불 짜리 용돈"이란 얘기도 심심치않게 오갔었다. 하지만 현실은 처참했고, 이세돌 9단은 복 받은 사람은 커녕, 비운의 주인공이 되고 말았다. 이미 1국의 패배 때 너무 큰 충격을 받아 '더 이상의 충격은 없겠지...'라고 생각했었지만, 2국에선 이세돌의 큰 실수가 없음에도 무난히 져서 더욱 큰 충격을 안겨주었고, 3국에서 더 큰 충격을 안겨줄까봐 두려워져 버렸다.

5:0이 아니면 의미가 없다며 자신감을 내비쳤던 이세돌 9단. 이번 패배는 홍진호의 3연벙 패배만큼이나 큰 충격파를 가져올 것 같다. (사진출처)

2016년 2월 21일 일요일

나의 생일 기부 이야기


부모님 감사합니다



안녕하세요 엄태웅입니다. 오늘 (2월 22일)은 제 생일입니다. 일단 먼저 저를 낳아주시고 길러주신 저의 부모님께 감사드립니다. 늘 말하지만, 제가 이룬 것 중 대부분은 모두 부모님의 정성과 사랑으로 만들어주신 것들입니다. 늘 감사하고 감사합니다 부모님.

부모님 감사합니다. 저 물려준다며 열심히 일만 하시는데 돈 그만 버시고 다 쓰시면서 사세요. 제가 부모님보다 더 잘 벌거니까 걱정하지 않지 않고 사셔도 됩니다.

2016년 2월 19일 금요일

LaTeX로 논문 쓰기 - 입문편

대학원을 가시는 대부분의 분들은 아마 논문을 써야하실 것입니다. 논문쓰기.. 참 쉽지 않죠? 물론 논문을 쓰기위해 서베이하고, 아이디어 내고, 실험하는 과정 모두 쉽지 않겠지만, 그 못지않게 논문을 잘 쓰는 것 역시 쉬운 일이 아닐 것입니다. 그런데 더 우릴 좌절하게 하는건 바로 "LaTeX"라는 생소한 문서편집 언어이죠.
"LaTeX로 쓰라고요? 그냥 Word로 쓰면 안되나요...?ㅠ"
구글에 이미지를 검색해보고 깜놀하고 말았다. 흠.. 역시 LaTeX는 좋은거다.

물론 써도 되겠지요. 하지만 진정 학자의 길을 걸으시려 한다면 (그리고 논문을 한두편 내실 것이 아니라면) LaTeX를 연습하시는 것이 좋을 것입니다. 그런 막막한 분들을 위해 준비했습니다. LaTeX로 논문 쓰기 입문편입니다.

2016년 1월 23일 토요일

인공지능의 과거와 현재, 그리고 미래 (하)



* 이 글은 "인공지능의 과거와 현재, 그리고 미래 (상)"에서 이어집니다.


현재 기술 사회의 가장 핫한 이슈, 기계학습 

기계학습이란 경험(experience)을 통해 특정 작업(task)의 성능(performance)을 향상시키는 방법을 말한다. 이는 몇가지 특정한 사건들보다 다수의 사건에 대한 경험을 통해 그들의 추세(패턴)를 학습, 이를 기반으로 판단을 내린다는 점에서 “패턴인식(Pattern Recognition)”이라고도 불리는데, 전통적인 통계학을 기반으로 한 인공지능의 새로운 패러다임이라고 할 수 있다. 

기계학습 이전의 고전 인공지능은 다양한 상황들에 대해 인간이 정해준 규칙에 의해 따라 판단하는 논리 기계와 유사했다고 볼 수 있었다. 하지만 세상 일은 워낙 다양한 요인들에 의해 발생하고 또 일반적인 규칙으로는 설명할 수 없는 예외상황들도 종종 발생하다 보니 실제 문제의 적용에 있어서 고전 인공지능은 무한한 케이스들에 대한 끝없는 수정과 보완을 필요로 했었다. 그럼에도 불구하고 우리는 무한한 케이스들 모두를 대응할 수 없기에 기존의 인공지능은 단순한 문제에만 적용 가능한 불완전한 인공지능일 수 밖에 없었다.

간단한 기계학습 문제 중 하나. 만약에 데이터가 선형모델을 따른다고 가정한다면, 우리는 주어진 문제를 직선의 파라메터 a, b를 찾는 문제로 치환할 수 있을 것이다. 이를 통해 우리는 새로운 질문(예를 들면 ‘키 180cm인 사람의 몸무게는 몇 kg일까?”)에 대해 답을 예측할 수 있다.

2016년 1월 12일 화요일

인공지능의 과거와 현재, 그리고 미래 (상)


2015년, 인공지능 전쟁의 서막

세계 최고의 기술 산업들이 탄생한다는 미국 캘리포니아의 실리콘밸리. 인텔, HP 등 전세계를 호령하는 IT기업이 탄생했던 미래 기술의 진원지 실리콘밸리는 스타트업(Start-Up) 열풍으로 그 어느 때보다 뜨거운 한 해를 보냈다. 집의 빈 방을 여행객에게 공유하는 서비스인 에어비앤비의 시가총액은 약 32조원으로 거대 호텔체인 힐튼월드와이드의 26조원을 넘어선지 오래이고, 모바일로 택시를 부르는 서비스 우버 역시 시가총액 약 80조로 현대자동차의 시가총액 33조를 두 배 이상 뛰어넘었다. 신기술로 끊임없이 세상에 파괴적 혁신(disrupt)을 가져오는 실리콘밸리, 지금 이곳의 IT기업들이 가장 주목하고 있는 기술은 무엇일까?

그것은 바로 공상과학 영화에선 늘 들어왔지만 아직까지 실현되지 않았던 미래기술, 바로 “인공지능(Artificial Intelligence, AI)”이다. 구글은 인공지능을 이용해 사람없이 스스로 운전할 수 있는 차량인 자율주행차량(Self-driving Car)을 개발해 현재 실전 투입을 눈 앞에 두고있다. IBM이 개발한 슈퍼컴퓨터 왓슨(Watson)은 2011년 미국의 유명 퀴즈프로그램 죠파디(Jeopardy)에서 문제를 음성으로 듣고 부저를 눌러 푸는 동등한 환경에서 기존 퀴즈의 달인들을 제치고 우승한 바 있으며, 체스, 장기 등에 이어 경우의 수가 많아 정복이 어렵다던 바둑마저 인공지능에 의해 정복당할 기세이다. 비록 얕은 속임수를 쓰기도 한 것으로 알려져 있긴 하지만 2014년 인공지능이 튜링테스트를 통과했다는 소식은 우리에게 인간의 지능에 가까운 인공지능의 출현에 대한 경각심을 안겨다주기도 하였다.

유명 퀴즈쇼 죠파디에서 우승을 거머쥔 슈퍼컴퓨터 왓슨의 모습 (사진출처)

2016년 1월 8일 금요일

딥러닝의 10가지 트렌드 from NIPS 2015


(원문) "10 Deep Learning Trends at NIPS 2015by Coding in Paradaise
세계에서 가장 영향력있는 머신러닝 학회를 꼽으라면 그 중 하나로 NIPS (Neural Information Processing Systems)를 꼽을 수 있을텐데요, 최근 NIPS에선 아주 많은 논문들이 딥러닝과 관련하여 출판되고 있습니다. 이 글은 한 참석자가 NIPS2015에서 느낀 딥러닝에 대한 10가지 트렌드를 밝힌 글을 (대충) 번역한 글입니다.

캐나다 몬트리올에서 열린 NIPS 2015