Google Trend 로 본 Language Model

Language Model 에 대한 트렌드를 확인하기 위해 Google Trend를 이용하여 간단하게 추세 그래프를 그려보았다.

최근 5년간 꾸준히 Language Model 에 대한 수요가 있었음을 알 수 있다. 2022년 2월 20일 ~ 26일 사이의 관심도가 최근 5년 중 가장 높았다.

지역별 관심도는 중국이 가장 높았으며, 도시 별로는 베이징이 가장 높게 Detect 되었다. 지역별 관심도는 위치 데이터가 켜져있는 동안에만 유효한 데이터이기 때문에, 간단히 참고하는 수준으로 보면 되겠다.

최근의 연관 주제를 보기 위해서는, 관련 주제를 급 상승 순으로 보면 된다. 본 포스팅을 작성하는 2022년 4월 23일 기준으로 BERT, PyTorch, Transformer, Keras, Deep Learning 이 상위 5개 랭크를 차지했다. 관련 검색어 중에서는 bert language model, masked language model, fasttext, tesla model y 가 있었다. 테슬라는 아직 초 거대 모델, 비슷하게 말하자면 Large Language Model을 채택하진 않고 DNN 모델을 적용한 것으로 알려져 있다. 8대의 카메라 입력을 Vector Space 상에 통합할 때 Transformer를 적용했다고 알려져서 language model과의 연관성이 높게 나타난 것은 아닐까 싶다.

이렇게 난 AI 트렌드 조사, 공부를 할 때 구글 트렌드의 "관련 주제" 및 "관련 검색어"를 참고해서 보는 편이다. 다음 포스팅에서는 관련도 높게 나온 BERT 모델부터 다루고 싶으나. 이전 모델을 개선하고 발전시켜서 BERT, GPT-3 까지 올라왔으므로, 기초부터 포스팅하겠다.