Careers/Data Project (4) 썸네일형 리스트형 머신러닝 엔지니어가 할 수 있는 Top 6 Error (출처: medium) 1. Default Loss Function을 사용하는 것Mean-squared error는 훌륭한다. 하지만 실제 비즈니스 데이터에 이 손실 함수는 적용이 잘 되지 않는다. Fraud Detection을 예로 들자면, fraud 때문에 달러 손실을 겪는 비즈니스 문제가 대두될 수 있다. mean squared error는 이것을 괜찮다고 오판할 수 있다.실제 데이터 문제에는 Custom Loss Function을 만들어서 문제 해결에 사용하는 것이 좋을 수 있다.많은 과학자들로부터 성능이 이미 입증된 훌륭한 통계적인 도구와 도메인을 반영한 custom 도구 사이에서 갈등할 수 밖에 없을 것이다. 일일히 검증 결과를 확인하는 것은 custom 도구를 사용하게 해줄 것이다. 2. 모든 문제에 대해 1가지 .. Data & Analytics Trends to Watch in 2022 (미디엄, 번역) 2022년은 Data & Analytics 에서 주목할 만한 해가 될 것 같다. (블로그를 이전하면서 2022년 글을 가져와서 ... 2024년에 2022년 글을 올림) 1. data stack은 니치 마켓이 되고 데이터 팀은 선택지가 너무 많아서 어려움을 겪게 됩니다.The data stack goes niche and data teams burnout on choice [safe bet]Benn Stancil은 최근 게시물에서 다음과 같은 말을 했습니다. "대신 데이터 스택의 전면은 도구의 폭발로 표현되며 모두 약간 다른 방향으로 고정됩니다. 전통적인 BI 가 있습니다 . 최신 BI 가 있습니다 . 헤드리스 BI 가 있습니다 . 오픈 소스 BI 가 있습니다 . 비트코인 기반 BI 가 있습니다. 분석용.. VSCode / Python Plot 이미지 그리기, 쉬운 개발환경 설정 최근 회사에서 신규 노트북을 지급(이전에는 LG 울트라북, 이번에는 LG Gram)받으면서, 개발환경을 새로 세팅해야 했다. 사내 시스템을 개발하는 프로젝트가 있어서 VSCode를 사용하는 것이 편해서, IDE는 하나로 통일해서 쓰고 있다(현재까지는). Python Plot 이미지를 띄워보는 방법만 만족한다면, VSCode 사용을 만족하는 편이라서 향후 나를 위해 블로그에 기록해두기로 한다(물론 주말에...) 너무 쉬운 방법이라서 길지 않게 설명하겠다. 1. VSCode Extension 에서 아래 다운로드 받기JupyterJupyter KeymapPythonIpyKernel 2. 가상환경 생성하기 3. 가상환경 activate 하고 jupyter, ipykernel 다운로드, 가상환경(여기서는 deep.. 앱 로그 분석 간단하게! 앱 로그 분석하기앱 로그는 사용자에게 가장 가까이 다가가서 사용자의 행동을 지켜볼 수 있으므로, 가장 대표성이 높은 데이터 분석 방법이다. 앱 로그를 분석할 때, 가장 먼저 접근해야 할 것은 로그 데이터가 무엇으로 구성되어 있는지이다. 앱 로그 기록은 크게 서비스 로그와 행동 로그 두 가지로 나뉠 수 있다. 서비스 로그는 어플리케이션을 운영함에 있어서 필수적으로 쌓아야 하는 로그이다. 트랜젝션의 결과를 기록하는 로그로, 하나의 트랜젝션이 완료되었을 때 서비스 로그가 남는다. 모든 변경 결과를 다 쌓을지, 아니면 최종 수정된 내용만 남길지의 고려는 필요하다.행동 로그는 사용자가 어떤 페이지 정보를 보거나, 특정 버튼을 누르거나, 스크롤을 내리는 등의 행동에 대해 관련 정보를 저장한다. 이는 데이터의 양이 .. 이전 1 다음
