전체 글 Fast R-CNN 2023. 10. 15. 12:39 이 논문은 RCNN(Region-based CNN) -> Fast R-CNN -> Faster R-CNN으로 이어지는 객체 검출(object detection)에 관한 연구를 다뤘다. 2015년 경에 연달아 해당 논문들을 게제하며 이전 논문들에서 갖고 있는 문제들을 해결했다. Fast R-CNN에서는 RCNN방법에 비해 더 나은 성능(mAP)를 보이면서 VGG16 모델을 9배 빠르게 학습하고 213배 빠르게 테스트할 수 있다. SPPnet에 비해서도 속도가 빠르고 성능이 좋다. 이 연구의 기여는 다음 그림 네가지이다. 이전 연구에서는 CNN으로 학습한 피쳐에 SVM을 분류기로 사용하여 모델의 처음부터 끝까지 학습이 되지 않는 2stage 문제가 있었고, 클래스 분류와 객체의 영역(bounding box).. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift 2023. 9. 16. 10:55 Batch normalization 논문으로 거의 5만회에 가깝게 인용되었다.배치 놈에 대한 이해는 혁펜하임님의 유툽 영상을 보면 쉽게 이해가 된다. 최고!딥러닝 모델을 학습할 때 각 층의 입력 분포(파라미터)가 매번 바뀌기 때문에 어려움이 있었다. LR을 낮추게 되어 학습 속도를 늦추게 되고 기울기가 saturation 되는 문제 때문에 초기 값을 설정하는데 과하게 어려운 문제가 있었다. (기울기가 너무 낮으면 전달되는 값이 급격히 작아지므로) 저자들은 이 문제를 internal covariate shift라 하고 미니배치 단위로 들어가는 layer 입력을 정규화(normalize)하여 해결하고자 하였다. 이 방법(BN)으로 LR을 크게 설정하고 초기 입력값도 크게 신경쓰지 않아도 되었다. 실험결과.. Nationality Classification Using Name Embeddings 2023. 9. 9. 12:19 임베딩을 통한 이름의 국적분류(nationality classification)에 대해 CIKM 17에서 발표된 연구이다. 이름에는 인구학적인 정보 (demographic information)이 있어 사회학, 바이오 연구에 사용된다. 당시 존재하던 연구에서는 이름의 철자중 일부를 추출하여 (substring) 작은 규모의 데이터에서 연구가 진행되었다. 전 인류의 이름이라는 관점에서는 데이터셋에 의존하기 때문에 대표성이 떨어지는 한계가 있었다. 57M contact 리스트에서 39개의 그룹으로 전 세계 인구의 90%를 포함하는 국적 분류기를 설계했다. 국적 분류에서 기존 실험보다 더 나은 F1 score (0.795)를 달성했고 소셜 미디어 실험에서 다른 6개 분야의 트위터 셀럽에 대해 적용하였다. 예컨.. Dallas Texas 2023. 8. 5. 23:49 UKC 2023 홍보부스 운영을 위해 댈러스 텍사스에 왔다. 2016년 교환학생을 롱뷰 텍사스에서 했었는데, 그 이후로 오랜만이다. 미국에서는 자동차는 신체 일부와 같이 필수적이라는 것을 느꼈다. 이전 2022년 워싱턴 DC 출장에서는 일과가 마친 후 공유자전거로 여기 저기 다닐 수 있었는데, 댈러스 특히 행사장인 공항 옆에 Hyatt regency 호텔에서는 차 없이 아무것도 할 수 없었다. 홍부 부스 세팅 시간이 되기 전에 바베큐를 먹으로 다운타운으로 향한다. DART를 타고 댈러스 다운타운으로 1시간 가량 간다. 이전에 교환학생시절에 American Airline 센터에서 댈러스 매버릭스 경기를 봤었는데 구장 근처를 지나가기도 한다. 댈러스 공항 근처에 있는 호텔에 묵으며 미국은 정말 자동차의 나라.. Empirical Evaluation of Gated Recurrent Neural Networks on Sequence Modeling 2023. 7. 16. 00:18 이 논문은 RNN(순환신경망) 계열 모델을 비교한 논문이다. 전통적인 tanh 모델과 Gating mechanism을 사용한 LSTM(Long Short-Term Memory), GRU(Gated Recurrent Unit)를 비교한다. Polyphonic 음악 모델링, 스피치 신호 모델링 데이터를 통해 학습속도, 에러율등을 비교했다. RNN의 구조및 수식은 간단하므로 생략한다. 이번 글을 통해 LSTM과 GRU의 아키텍처를 이해해보자. 수식과 다른 블로그에서 첨부한 그림을 같이보면 이해가 쉽다. LSTM은 장기 의존성 문제가 있는 긴 시퀀스의 작업을 잘 학습하고 GRU는 최근(2014년)에 기계 번역의 문맥 학습에 사용되었다. 1997년 처음 제시된 모델이고 구조에 작은 변형들이 있어 저자는 2013년.. Visualizing and Understanding Convolutional Networks 2023. 5. 1. 18:19 이 논문은 CNN이 왜 잘 작동하는가, 어떻게 성능을 개선할 수 있는지에 대해 연구한 것으로 2013년에 발표되었다. 저자들의 이름 앞자를 따서 ZFNet으로 부른다. 피쳐 추출시 어떤 원리로 동작하는지를 이해할 수 있도록 시각화 기법을 도입하였다. 그리고 이미지넷2012 대회에서 우승한 Krizhevsky의 AlexNet보다 나은 성능의 모델을 제시한다. 저자들은 피쳐의 활성화를 역으로 픽셀 공간으로 사영(project)하는 시각화방법인 multi-layered deconvolutional network(deconvnet)을 제안한다. 모델의 일부 층을 제거(ablation)하는 실험을 통해 모델의 세부 계층이 성능에 어떤 영향을 미치는지 실험한다. 그리고 이미지의 일부분을 가리는 실험을 통해 특정 부.. Convolutional Neural Networks for Sentence Classification 2023. 4. 15. 12:31 이 논문은 현재 MIT 교수로 있으신 Yoon Kim 교수님이 2014년에 진행한 연구이다. 이미지 도메인에 주로 활용되는 CNN으로 여러가지 문장분류 태스크에 적용해 좋은 성능을 거두었다. 알파고가 나오기 전의 논문으로 국내에서 4차산업혁명과 인공지능 붐이 나타나기 전의 논문이다. 논문이 공개된지 10년정도로 현재 인공지능 연구의 수준이 실험의 규모나 다양성에서 비약적인 발전을 이뤘다는 것이 새삼스레 느껴진다. Abstract 저자들은 사전학습한 단어벡터에 CNN 모델을 학습시켜 문장단위의 분류 태스크를 해결하였다. 저자는 간단한 모델과 하이퍼파라미터 튜닝, 정적 벡터(static vector)로 여러 벤치마크에서 괜찮은 벤치마크 결과를 달성했다(7개 중 4개 태스크에서 SOTA 달성). 태스크에 특화.. 아무도 흔들 수 없는 나의 구원 (3장, 예수 그리스도는 누구신가?) 2023. 4. 14. 00:40 우리는 죄가 있기 때문에 사망한다. 아래 말씀에 나오는 사망은 현생에서의 죽음을 넘어 영원한 죽음을 의미한다. 로마서 5장 12절 이러므로 한 사람으로 말미암아 죄가 세상에 들어오고 죄로 말미암아 사망이 왔나니 이와 같이 모든 사람이 죄를 지었으므로 사망이 모든 사람에게 이르렀느니라 성경은 예수님이 우리의 구원자라고 한다. 3장을 통해 예수님이 왜 우리의 구원자인지 알아보자. 3장에서는 예수님은 하나님인 동시에 사람이심을 말한다. 예수님이 신이 아니거나 사람이 아니라면 우리의 구원자로써 자격이 없다. 1. 예수님은 세상에 계실때에도 참 하나님이셨다.이것을 예수님은 스스로 어떻게 증거하셨는가? 요한복음 14:8-9 빌립이 이르되 주여 아버지를 우리에게 보여 주옵소서 그리하면 족하겠나이다 예수께서 이르시되 .. 이전 1 2 3 4 5 6 ··· 12 다음 더보기
