Data & Analytics Trends to Watch in 2022 (미디엄, 번역)

2022년은 Data & Analytics 에서 주목할 만한 해가 될 것 같다. (블로그를 이전하면서 2022년 글을 가져와서 ... 2024년에 2022년 글을 올림)

 

1. data stack은 니치 마켓이 되고 데이터 팀은 선택지가 너무 많아서 어려움을 겪게 됩니다.

The data stack goes niche and data teams burnout on choice [safe bet]

Benn Stancil은 최근 게시물에서 다음과 같은 말을 했습니다.

 

"대신 데이터 스택의 전면은 도구의 폭발로 표현되며 모두 약간 다른 방향으로 고정됩니다. 전통적인 BI 가 있습니다 . 최신 BI 가 있습니다 . 헤드리스 BI 가 있습니다 . 오픈 소스 BI 가 있습니다 . 비트코인 기반 BI 가 있습니다. 분석용 노트북 , SQL용 노트북 , 협업 용 노트북 , 앱용 노트북 , 노트북용 앱 이 있습니다. 데이터 시각화 도구 , 노트북용 데이터 시각화 , 데이터 시각화용 노트북 이 있습니다 . 있다팀 을 위한 SQL 편집기, SQL을 작성하고 싶지 않은 사람들을 위한 SQL 편집기 , Snowflake 고객을 위한 SQL 편집기 . 협업 작업 공간 과 많은 것을 함께 결합하는 도구가 있습니다 . 제거할 수 없는 스프레드시트와 제거할 수 없는 스프레드 시트 를 대체하는 스프레드시트가 있습니다 . 재구성된 스프레드시트 가 있습니다 . 스프레드시트 가 있지만 BI . 그리고 더 많은 것이 오고 있습니다."

 

전문화된 data stack을 사용하는 것이 더 효과적일지라도, 데이터 팀은 이런 툴이 넘쳐남에 따라 툴을 대체하는 작업으로 인해 과부화가 올 수 있습니다. 우리는 도구가 아닌 분석 작업의 퀄리티에 더 집중해야 함을 놓치면 안됩니다.

 

 

2. 데이터 팀은 "미션"을 작성하고 다시 폐기합니다. 

Data teams will make “mission statements” and abandon them [hot take]

2021년 말에 이러한 추세에 대한 속삭임이 들리기 시작했으며, 2022년 첫 몇 개월 동안 이미 인기를 얻었습니다. 목적의식, 팀 내에서 기대치를 재설정하는 방법, 그리고 더 중요한 미션은 나머지 비즈니스와 함께 한다는 점을 간과해서는 안됩니다.

분석가로 참여한 세션에서 "최고 품질의 데이터 및 기술"을 사용하여 "더 나은 비즈니스 결정을 가능하게"하는 방법에 대해 우리 팀에 대한 높은 야망에 대해 논의했던 세션을 회상했습니다. 그러나 우리가 그 목표에 실패하는 이유는 그것을 잊어버렸기 때문이 아니라, 진정으로 하기 어렵기 때문입니다.

꼭 그 사명 선언문 세션을 가지십시오. 그러나 또한 팀이 정말로 변경하고 싶은 것에 대해 이야기할 수 있도록 필수적인 후속 세션을 가져야, 그 바늘을 움직이기 시작할 수도 있습니다.

 

 

3. 노트북 및 데이터 카탈로그가 기업으로 이동 [안전한 방법]

Notebooks and Data Catalogs go enterprise [safe bet]

2021년에는 사람들이 “왜 [노트북 | 데이터 카탈로그]"를 입력하고 "어떤 것을 사야 할까요?"라고 묻기 시작했습니다. 우리는 업무를 잘 수행하기 위해 대시보드 이상의 것이 필요하다는 생각을 하게 되었으며, 노트북은 툴킷에 추가할 수 있는 훌륭한 도구입니다. 게다가, 데이터 카탈로그는 깨끗한 데이터를 만드는 데 도움이 되는 데이터 모델링 움직임의 자연스러운 결과처럼 느껴집니다. 세련된 새 노트북을 쉽게 찾을 수 있습니다.

가장 큰 문제는 올해 이 게임의 승자는 누구입니까? 기존 엔터프라이즈 도구가 Snowflake 및 Azure와 같은 자체 노트북을 이미 구축하려고 합니까?  자신의 데이터 카탈로그 기능을 사용할 사람이 있습니까? 아니면 엔터프라이즈 유비쿼터스로 돌파구를 마련하는 작은 회사 중 하나가 될까요?

나는 항상 약자를 응원합니다…

 

 

4. 데이터 '정글북'이 페이스북의 길을 간다 [핫테이크]

The data “Jungle Book” goes the way of Facebook [hot take]

파이썬은 지난 5년 동안 건드릴 수 없는 존재였습니다. "새로운 R"에서 모든 데이터 엔지니어, 데이터 과학자, 데이터 분석가가 반드시 알아야 하는 언어로 바뀌었습니다. 그러나 이것이 훨씬 더 오래 지속됩니까?

데이터 엔지니어의 경우, Mehdi Ouazza가 최근 기사 " 데이터 엔지니어가 가장 좋아하는 프로그래밍 언어에 대한 전투는 아직 끝나지 않았습니다 ." [4] Rust는 데이터 엔지니어를 Python 소굴에서 바로 끌어낼 수 있습니다. Rust는 Python보다 더 높은 평가를 받고 학습 곡선이 더 가파르기 때문에 학습에 대한 더 많은 신뢰도를 얻을 수 있으며 가장 중요하게는 실제로 데이터 엔지니어링 작업에 더 적합할 수 있습니다.

스펙트럼의 다른 쪽 끝에는 데이터 변환 및 탐색에 Python(및 Pandas 🐼 )을 사용해 온 분석가가 사용 하지 않을 이유가 더 이상 없었 습니다. Snowflake와 같은 SQL 데이터 웨어하우스는 더 빠르고 매일 일반 SQL의 기능을 향상합니다. 그러므로 SQL IDE에서 매일 더 많은 비용을 들여 매우 느린 Python에서 일부 변환을 수행하도록 결정합니다.

 

 

5. 협업은 "데이터용 Google 문서" 그 이상을 의미합니다[안전한 방법]

Collaboration will mean more than “Google Docs for data” [safe bet]

종종 최고의 혁신은 차용되거나, 최소한 다른 것에서 영감을 얻습니다. 데이터에서 우리는 많은 인기 있는 도구의 "데이터를 위한 ㅇㅇ" 태그라인에서 이를 가장 자주 볼 수 있습니다. 예를 들어, 데이터 엔지니어링을 위한 dbt의 소프트웨어 엔지니어링은 소프트웨어 엔지니어가 데이터 엔지니어에게 제공할 수 있는 최고의 것을 영리하게 가져옴으로써 업계를 폭풍으로 몰아넣었습니다.

이 접근 방식의 단점은 비유를 제대로 이해하지 못할 때 나타납니다. dbt의 경우 소프트웨어 엔지니어의 세계의 모든 측면을 재창조했을 뿐만 아니라 상황을 개선하는 데 필요한 부분만 가져왔습니다. 그들은 유사점을 본 만큼 데이터 엔지니어링 이 소프트웨어 엔지니어링 과 다른 점을 이해했습니다.

불행히도 모든 사람이 그렇게 똑똑하지는 않습니다. 가장 최근에 우리는 "협업"을 약속하는 도구로 넘쳐났지만 실제로 그들이 한 일은 데이터용 Google 시트를 제공하고 하루라고 부르는 것입니다. 아무도 실시간으로 누군가와 SQL 쿼리를 작성하고 싶어하지 않으며 노트북에 주석을 추가하는 것은 우리가 매일 수행하는 협업의 작은 부분만을 캡처합니다. 솔직히 부족합니다.

2022년은 누군가[5]가 데이터 협업이 어떤 모습이어야 하는지에 대해 창의적이고 분석적인 생각을 하고 모든 것을 뒤흔드는 해입니다.

 

 

6. 누군가는 메타버스에서 데이터를 할 것입니다 ... 거기에 비즈니스가 없더라도 [핫 테이크]

Someone will do data in the metaverse…even if it has no business there [hot take]

메타버스 애호가들에게 사과드립니다. 이것은 정말로 당신을 겨냥한 것이 아닙니다. 메타버스는 지금 혁신, 아이디어, 잠재력이 있는 매력적인 녹지 공간입니다. 그리고 누군가는 그 가능성의 세계를 돌아다니고 싶어하고 손으로 데이터를 피벗하거나 키가 큰 막대 차트의 줄기 사이를 걸을 수 있거나 다른 이상한 아이디어를 원할 것입니다. 올해는 메타버스가 작동하고 데이터가 남지 않는지 확인하기 위해 메타버스에서 새로운 응용 프로그램이 급증하는 것을 볼 만큼 메타버스에 액세스할 수 있고 흥미로워지는 해입니다.

그리고 솔직히 말해서, 나는 그것을 시도하기 위해 거기에 갈 것입니다.

 

 

7. Last Mile은 다음 Data Mesh가 됩니다 [안전한 베팅]

The Last Mile becomes the next Data Mesh [safe bet]

2021년 세계는 신비한 데이터 메시에 대한 이야기로 떠들썩했습니다. 뭐였지? 글쎄요, 그것은 당신이 누구에게 말했는지에 달려 있습니다. 그러나 당신은 우리 모두가 그것을 알고 싶어했다는 것을 확신할 수 있습니다. Last Mile of Analytics에 대해 비슷한 열정과 동등하게 다른 아이디어를 듣고 있습니다. 리버스 ETL인가요? 헤드리스 BI인가요? 완전히 다른 것?

우리는 그것이 우리에게 무엇을 의미하는지 기록했지만[6], 다른 누군가가 당신에게 다른 것을 말할 것이라고 확신합니다. 어느 쪽이든, 당신은 올해 라스트 마일에 대해 많이 듣게 될 것이므로 안전 벨트를 착용하십시오.

 

 

8. 모든 Slack 채널에 대면 데이터 이벤트가 얼마나 더 나은지 기억합니다[핫 테이크]

We remember how much better in-person data events are to all those Slack channels [hot take]

올해는 차가운 피자와 따뜻한 맥주에 대해 공통 관심사를 가진 사람과 연결되는 마법, 바디 스프레이가 너무 많은 사람 옆의 불편한 의자에서 최첨단 작업에 대해 배우는 마법을 기억하는 해입니다. 올해는 2020년 3월에 가입한 느슨한 채널에서 철수하고 해당 뉴스레터 중 일부를 구독 취소하고 실제 연결과 가상 연결의 올바른 균형을 다시 찾기 위해 노력하는 해입니다. 건배 🍻.

 

 

9. 새로운 열정을 찾는 셀프 서비스 [안전한 내기]

Self-service finds new fervor [safe bet]

그것을 컴백이라고 부르지 마십시오. 왜냐하면 그것은 결코 떠나지 않았기 때문입니다. 몇 년 전 나는 셀프 서비스에 대해 많이 들었습니다. 우리 모두는 비즈니스 파트너가 대부분의 분석을 스스로 수행할 수 있기 때문에 데이터 팀으로서 더 유익한 활동을 할 수 있는 자유를 얻을 수 있는 같은 꿈을 꾸었습니다. 그런 다음 겉보기에 우리 모두는 똑같은 결론에 도달했습니다. 셀프 서비스는 우리 자신의 집을 정리할 때까지 작동하지 않는다는 것입니다. 따라서 신뢰할 수 있는 데이터 파이프라인을 구축하고 더 나은 데이터 스토리를 전달하는 데 몇 년이 걸렸지만 이제 다시 외부 세계에 문을 열 준비가 되었습니다. 하지만 효과가 있을까요?

우리가 최선을 다할 것이라고 믿는 것이 좋습니다! 라스트 마일이 예상만큼 커지면 올해 셀프 서비스가 자연스럽게 다시 활성화될 것입니다. 어쩌면 올해도 꿈 이상이 되는 해일지도...

 

 

10. 의사결정 과학자는 올해의 분석 엔지니어[핫테이크]

Decision scientists are this year’s analytics engineers [hot take]

이전 예측에서 언급했듯이 올해는 데이터를 비즈니스, 특히 의사 결정에 더 잘 통합하는 방법에 큰 초점을 맞출 것입니다. 이에 대한 보다 분명한 솔루션 중 하나는 의사 결정에서 데이터가 효과적으로 사용되도록 누군가를 위한 위치를 만드는 것입니다. 의사결정 과학자(Decision scientists)에게 신호를 보내십시오.

의사결정 과학자 또는 운영 연구원은 수년 동안 존재해 왔으며, Meta와 같은 회사는 이미 의사결정 과학자를 고용하고 있습니다[7]. 그러나 2022년은 과학자들이 비주류에서 주류로 나아가는 결정의 해입니다.

이러한 독재자는 데이터, 비즈니스 지식 및 심리학의 교차점에서 작동하며, 데이터가 최상의 비즈니스 결과에 영향을 미치기 위해 최적의 방식으로 사용되도록 전문적으로 보장합니다. 요컨대, 올바른 조직과 구조에서 그들은 큰 차이를 만들 수 있습니다.

 

 

마무리 생각

이러한 예측이 완전히 틀렸다고 해도 한 가지 확신하는 것이 있습니다. 2022년은 데이터 분야에서 흥미로운 해가 될 것입니다. 이미 첫 달 반 동안 우리는 Twitter-verse가 데이터 스택 "번들링"이라는 아이디어와 함께 살아나는 것을 보았습니다. 우리는 데이터를 탐색할 수 있는 새로운 방법을 약속하는 새로운 도구가 등장하는 것을 보고 있으며, 일부 대규모 시리즈 A 발표를 보고 있습니다. 곧 혁신과 성장을 약속합니다.

 

 

 

References

https://medium.com/geekculture/data-analytics-trends-to-watch-in-2022-8ad7ef447f34