[zeppelin] Apache Zeppelin with Apache Spark?

웹 기반 노트북을 사용한 데이터 시각화 tool

• spark, sparkSQL의 결과를 바로 차트로 그릴 수 있음
• 물론 다른 언어와의 호환성이 매우 뛰어남

기존의 workflow

• 다양한 제품을 조합하여 데이터 분석을 하는 것이 일반적
• 많은 엔지니어링 필요
• 다방면에 경험 많은 능력자의 전유물
• 파이프라인이 복잡하기 때문에 고장나기 쉽고 유지보수가 어려움

Zeppelin!

spark를 통해 데이터 정제, 처리, 요약 데이터 시각화, 고급 분석까지 전부 spark와 zeppelin으로 해결 가능!

Notebook

• 소스코드 작성, 수정, 자동 저장, 실행
• scala(spark), spark SQL, markdown 등 지원

Visualization

• spark SQL 수행 결과를 table, line chart, pie chart 등 다양한 형태로 시각화
• spark의 좋은 성능 덕분에 대부분 코드가 즉시 실행되므로 interactive하게 데이터를 다룰 수 있음
• HTML을 표현 가능하므로 테이블에 이미지를 표시하거나 link를 넣거나 하는 등의 동작 가능