Reports

• 1: Create a report
• 2: Edit a report
• 3: Collaborate on reports
• 4: Clone and export reports
• 5: Embed a report
• 6: Compare runs across projects
• 7: Example reports

Try in Colab Try in W&B

W&B Reports를 사용하여 다음을 수행할 수 있습니다.

• Runs를 정리합니다.
• 시각화 자료를 포함하고 자동화합니다.
• 발견한 내용을 설명합니다.
• 공동 작업자와 업데이트를 LaTeX zip 파일 또는 PDF로 공유합니다.

다음 이미지는 트레이닝 과정에서 W&B에 기록된 메트릭에서 생성된 리포트의 섹션을 보여줍니다.

위 이미지가 가져온 리포트는 여기에서 볼 수 있습니다.

작동 방식

몇 번의 클릭으로 협업 리포트를 만듭니다.

1. W&B App에서 W&B project 워크스페이스로 이동합니다.
2. 워크스페이스의 오른쪽 상단 모서리에 있는 리포트 만들기 버튼을 클릭합니다.

3. 리포트 만들기라는 모달이 나타납니다. 리포트에 추가할 차트와 패널을 선택합니다. (차트와 패널은 나중에 추가하거나 제거할 수 있습니다.)
4. 리포트 만들기를 클릭합니다.
5. 원하는 상태로 리포트를 편집합니다.
6. 프로젝트에 게시를 클릭합니다.
7. 공유 버튼을 클릭하여 공동 작업자와 리포트를 공유합니다.

W&B Python SDK를 사용하여 대화형 및 프로그래밍 방식으로 리포트를 만드는 방법에 대한 자세한 내용은 리포트 만들기 페이지를 참조하세요.

시작 방법

유스 케이스에 따라 다음 리소스를 탐색하여 W&B Reports를 시작하세요.

• W&B Reports에 대한 개요를 보려면 비디오 데모를 확인하세요.
• 라이브 리포트의 예는 Reports 갤러리를 탐색해 보세요.
• 프로그래밍 방식 워크스페이스 튜토리얼을 통해 워크스페이스를 만들고 사용자 정의하는 방법을 알아보세요.
• W&B Fully Connected에서 큐레이트된 Reports를 읽어보세요.

권장 모범 사례 및 팁

Experiments 및 로깅에 대한 모범 사례 및 팁은 모범 사례: Reports를 참조하세요.

1 - Create a report

W&B App UI 또는 W&B Python SDK를 사용하여 프로그래밍 방식으로 리포트를 대화식으로 생성합니다.

• App UI
• Report tab
• W&B Python SDK

2 - Edit a report

App UI 또는 W&B SDK를 사용하여 프로그래밍 방식으로 리포트를 상호 작용하며 편집합니다.

Reports는 블록 으로 구성됩니다. 블록은 리포트의 본문을 구성합니다. 이러한 블록 내에서 텍스트, 이미지, 임베디드 시각화, Experiments 및 run의 플롯, 그리고 패널 그리드를 추가할 수 있습니다.

패널 그리드 는 패널과 run 세트 를 담는 특정 유형의 블록입니다. Run 세트는 W&B의 프로젝트에 기록된 run의 모음입니다. 패널은 run 세트 data의 시각화입니다.

pip install wandb wandb-workspaces

플롯 추가

각 패널 그리드에는 run 세트와 패널 세트가 있습니다. 섹션 하단의 run 세트는 그리드의 패널에 표시되는 data를 제어합니다. 서로 다른 run 세트의 data를 가져오는 차트를 추가하려면 새 패널 그리드를 만드십시오.

• App UI
• Workspaces API

리포트에 슬래시(/)를 입력하여 드롭다운 메뉴를 표시합니다. 패널 추가 를 선택하여 패널을 추가합니다. 라인 플롯, 산점도 또는 병렬 좌표 차트를 포함하여 W&B에서 지원하는 모든 패널을 추가할 수 있습니다.

SDK를 사용하여 프로그래밍 방식으로 리포트에 플롯을 추가합니다. 하나 이상의 플롯 또는 차트 오브젝트 목록을 PanelGrid Public API Class의 panels 파라미터에 전달합니다. 관련 Python Class를 사용하여 플롯 또는 차트 오브젝트를 생성합니다.

다음 예제는 라인 플롯과 산점도를 만드는 방법을 보여줍니다.

import wandb
import wandb_workspaces.reports.v2 as wr

report = wr.Report(
    project="report-editing",
    title="An amazing title",
    description="A descriptive description.",
)

blocks = [
    wr.PanelGrid(
        panels=[
            wr.LinePlot(x="time", y="velocity"),
            wr.ScatterPlot(x="time", y="acceleration"),
        ]
    )
]

report.blocks = blocks
report.save()

프로그래밍 방식으로 리포트에 추가할 수 있는 사용 가능한 플롯 및 차트에 대한 자세한 내용은 wr.panels를 참조하십시오.

Run 세트 추가

App UI 또는 W&B SDK를 사용하여 프로젝트에서 run 세트를 상호 작용하며 추가합니다.

• App UI
• Workspaces API

import wandb
import wandb_workspaces.reports.v2 as wr

report = wr.Report(
    project="report-editing",
    title="An amazing title",
    description="A descriptive description.",
)

panel_grids = wr.PanelGrid(
    runsets=[wr.RunSet(project="<project-name>", entity="<entity-name>")]
)

report.blocks = [panel_grids]
report.save()

import wandb

report = wr.Report(
    project="report-editing",
    title="An amazing title",
    description="A descriptive description.",
)

panel_grids = wr.PanelGrid(
    panels=[
        wr.LinePlot(
            title="line title",
            x="x",
            y=["y"],
            range_x=[0, 100],
            range_y=[0, 100],
            log_x=True,
            log_y=True,
            title_x="x axis title",
            title_y="y axis title",
            ignore_outliers=True,
            groupby="hyperparam1",
            groupby_aggfunc="mean",
            groupby_rangefunc="minmax",
            smoothing_factor=0.5,
            smoothing_type="gaussian",
            smoothing_show_original=True,
            max_runs_to_show=10,
            plot_type="stacked-area",
            font_size="large",
            legend_position="west",
        ),
        wr.ScatterPlot(
            title="scatter title",
            x="y",
            y="y",
            # z='x',
            range_x=[0, 0.0005],
            range_y=[0, 0.0005],
            # range_z=[0,1],
            log_x=False,
            log_y=False,
            # log_z=True,
            running_ymin=True,
            running_ymean=True,
            running_ymax=True,
            font_size="small",
            regression=True,
        ),
    ],
    runsets=[wr.RunSet(project="<project-name>", entity="<entity-name>")],
)


report.blocks = [panel_grids]
report.save()

Run 세트 고정

리포트는 프로젝트의 최신 data를 표시하도록 run 세트를 자동으로 업데이트합니다. 해당 run 세트를 고정 하여 리포트에서 run 세트를 보존할 수 있습니다. run 세트를 고정하면 특정 시점에 리포트에서 run 세트의 상태가 보존됩니다.

리포트를 볼 때 run 세트를 고정하려면 필터 버튼 근처의 패널 그리드에서 눈송이 아이콘을 클릭합니다.

코드 블록 추가

App UI 또는 W&B SDK를 사용하여 리포트에 코드 블록을 상호 작용하며 추가합니다.

• App UI
• Workspaces API

import wandb
import wandb_workspaces.reports.v2 as wr

report = wr.Report(project="report-editing")

report.blocks = [
    wr.CodeBlock(
        code=["this:", "- is", "- a", "cool:", "- yaml", "- file"], language="yaml"
    )
]

report.save()

this:
- is
- a
cool:
- yaml
- file

report = wr.Report(project="report-editing")


report.blocks = [wr.CodeBlock(code=["Hello, World!"], language="python")]

report.save()

Hello, World!

Markdown 추가

App UI 또는 W&B SDK를 사용하여 리포트에 Markdown을 상호 작용하며 추가합니다.

• App UI
• Workspaces API

리포트에 슬래시(/)를 입력하여 드롭다운 메뉴를 표시합니다. 드롭다운에서 Markdown 을 선택합니다.

wandb.apis.reports.MarkdownBlock Class를 사용하여 프로그래밍 방식으로 Markdown 블록을 만듭니다. 문자열을 text 파라미터에 전달합니다.

import wandb
import wandb_workspaces.reports.v2 as wr

report = wr.Report(project="report-editing")

report.blocks = [
    wr.MarkdownBlock(text="Markdown cell with *italics* and **bold** and $e=mc^2$")
]

그러면 다음과 유사한 Markdown 블록이 렌더링됩니다.

HTML 요소 추가

App UI 또는 W&B SDK를 사용하여 리포트에 HTML 요소를 상호 작용하며 추가합니다.

• App UI
• Workspaces API

리포트에 슬래시(/)를 입력하여 드롭다운 메뉴를 표시합니다. 드롭다운에서 텍스트 블록 유형을 선택합니다. 예를 들어 H2 제목 블록을 만들려면 Heading 2 옵션을 선택합니다.

하나 이상의 HTML 요소 목록을 wandb.apis.reports.blocks 속성에 전달합니다. 다음 예제는 H1, H2 및 순서가 지정되지 않은 목록을 만드는 방법을 보여줍니다.

import wandb
import wandb_workspaces.reports.v2 as wr

report = wr.Report(project="report-editing")

report.blocks = [
    wr.H1(text="How Programmatic Reports work"),
    wr.H2(text="Heading 2"),
    wr.UnorderedList(items=["Bullet 1", "Bullet 2"]),
]

report.save()

그러면 다음과 같은 HTML 요소가 렌더링됩니다.

리치 미디어 링크 임베드

App UI 또는 W&B SDK를 사용하여 리포트 내에 리치 미디어를 임베드합니다.

• App UI
• Workspaces API

URL을 복사하여 리포트에 붙여넣어 리포트 내에 리치 미디어를 임베드합니다. 다음 애니메이션은 Twitter, YouTube 및 SoundCloud에서 URL을 복사하여 붙여넣는 방법을 보여줍니다.

Twitter

트윗 링크 URL을 복사하여 리포트에 붙여넣어 리포트 내에서 트윗을 봅니다.

Youtube

YouTube 비디오 URL 링크를 복사하여 리포트에 붙여넣어 리포트에 비디오를 임베드합니다.

SoundCloud

SoundCloud 링크를 복사하여 리포트에 붙여넣어 리포트에 오디오 파일을 임베드합니다.

하나 이상의 임베디드 미디어 오브젝트 목록을 wandb.apis.reports.blocks 속성에 전달합니다. 다음 예제는 비디오 및 Twitter 미디어를 리포트에 임베드하는 방법을 보여줍니다.

import wandb
import wandb_workspaces.reports.v2 as wr

report = wr.Report(project="report-editing")

report.blocks = [
    wr.Video(url="https://www.youtube.com/embed/6riDJMI-Y8U"),
    wr.Twitter(
        embed_html='<blockquote class="twitter-tweet"><p lang="en" dir="ltr">The voice of an angel, truly. <a href="https://twitter.com/hashtag/MassEffect?src=hash&amp;ref_src=twsrc%5Etfw">#MassEffect</a> <a href="https://t.co/nMev97Uw7F">pic.twitter.com/nMev97Uw7F</a></p>&mdash; Mass Effect (@masseffect) <a href="https://twitter.com/masseffect/status/1428748886655569924?ref_src=twsrc%5Etfw">August 20, 2021</a></blockquote>\n'
    ),
]
report.save()

패널 그리드 복제 및 삭제

재사용하려는 레이아웃이 있는 경우 패널 그리드를 선택하고 복사하여 붙여넣어 동일한 리포트에서 복제하거나 다른 리포트에 붙여넣을 수도 있습니다.

오른쪽 상단 모서리에 있는 드래그 핸들을 선택하여 전체 패널 그리드 섹션을 강조 표시합니다. 클릭하고 드래그하여 패널 그리드, 텍스트 및 제목과 같은 리포트의 영역을 강조 표시하고 선택합니다.

패널 그리드를 선택하고 키보드에서 delete를 눌러 패널 그리드를 삭제합니다.

헤더를 축소하여 Reports 구성

Report에서 헤더를 축소하여 텍스트 블록 내의 콘텐츠를 숨깁니다. 리포트가 로드되면 확장된 헤더만 콘텐츠를 표시합니다. 리포트에서 헤더를 축소하면 콘텐츠를 구성하고 과도한 data 로드를 방지하는 데 도움이 될 수 있습니다. 다음 gif는 해당 프로세스를 보여줍니다.

여러 차원에 걸쳐 관계 시각화

여러 차원에 걸쳐 관계를 효과적으로 시각화하려면 색상 그레이디언트를 사용하여 변수 중 하나를 나타냅니다. 이렇게 하면 명확성이 향상되고 패턴을 더 쉽게 해석할 수 있습니다.

1. 색상 그레이디언트로 나타낼 변수를 선택합니다(예: 페널티 점수, 학습률 등). 이렇게 하면 트레이닝 시간(x축)에 따라 보상/부작용(y축)과 페널티(색상)가 상호 작용하는 방식을 더 명확하게 이해할 수 있습니다.
2. 주요 추세를 강조 표시합니다. 특정 run 그룹 위에 마우스를 올리면 시각화에서 해당 run이 강조 표시됩니다.

3 - Collaborate on reports

리포트를 저장한 후 공유 버튼을 선택하여 협업할 수 있습니다. 편집 버튼을 선택하면 리포트의 초안 사본이 생성됩니다. 초안 리포트는 자동 저장됩니다. 변경 사항을 공유 리포트에 게시하려면 리포트에 저장을 선택하세요.

편집 충돌이 발생하면 경고 알림이 나타납니다. 이는 사용자와 다른 협업자가 동시에 동일한 리포트를 편집하는 경우에 발생할 수 있습니다. 경고 알림은 잠재적인 편집 충돌을 해결하는 데 도움이 됩니다.

리포트에 댓글 달기

리포트의 패널에 댓글을 직접 추가하려면 해당 패널에서 댓글 버튼을 클릭하세요.

4 - Clone and export reports

Reports 내보내기

리포트를 PDF 또는 LaTeX로 내보냅니다. 리포트 내에서 케밥 아이콘을 선택하여 드롭다운 메뉴를 확장합니다. 다운로드를 선택하고 PDF 또는 LaTeX 출력 형식을 선택합니다.

Reports 복제

• App UI
• Python SDK

리포트 내에서 케밥 아이콘을 선택하여 드롭다운 메뉴를 확장합니다. 이 리포트 복제 버튼을 선택합니다. 모달에서 복제된 리포트의 대상을 선택합니다. 리포트 복제를 선택합니다.

프로젝트의 템플릿과 형식을 재사용하기 위해 리포트를 복제합니다. 팀 계정 내에서 프로젝트를 복제하면 복제된 프로젝트가 팀에 표시됩니다. 개인 계정 내에서 복제된 프로젝트는 해당 사용자에게만 표시됩니다.

URL에서 Report를 로드하여 템플릿으로 사용합니다.

report = wr.Report(
    project=PROJECT, title="Quickstart Report", description="That was easy!"
)  # Create
report.save()  # Save
new_report = wr.Report.from_url(report.url)  # Load

new_report.blocks 내에서 콘텐츠를 편집합니다.

pg = wr.PanelGrid(
    runsets=[
        wr.Runset(ENTITY, PROJECT, "First Run Set"),
        wr.Runset(ENTITY, PROJECT, "Elephants Only!", query="elephant"),
    ],
    panels=[
        wr.LinePlot(x="Step", y=["val_acc"], smoothing_factor=0.8),
        wr.BarPlot(metrics=["acc"]),
        wr.MediaBrowser(media_keys="img", num_columns=1),
        wr.RunComparer(diff_only="split", layout={"w": 24, "h": 9}),
    ],
)
new_report.blocks = (
    report.blocks[:1] + [wr.H1("Panel Grid Example"), pg] + report.blocks[1:]
)
new_report.save()

5 - Embed a report

HTML iframe 요소

리포트의 오른쪽 상단 모서리에 있는 Share 버튼을 선택합니다. 모달 창이 나타납니다. 모달 창에서 Copy embed code를 선택합니다. 복사된 코드는 Inline Frame (IFrame) HTML 요소 내에서 렌더링됩니다. 복사된 코드를 원하는 iframe HTML 요소에 붙여넣습니다.

Confluence

다음 애니메이션은 Confluence의 IFrame 셀 내에 리포트에 대한 직접 링크를 삽입하는 방법을 보여줍니다.

Notion

다음 애니메이션은 Notion의 Embed 블록과 리포트의 임베디드 코드를 사용하여 리포트를 Notion 문서에 삽입하는 방법을 보여줍니다.

Gradio

gr.HTML 요소를 사용하여 Gradio 앱 내에 W&B Reports를 임베드하고 Hugging Face Spaces 내에서 사용할 수 있습니다.

import gradio as gr


def wandb_report(url):
    iframe = f'<iframe src={url} style="border:none;height:1024px;width:100%">'
    return gr.HTML(iframe)


with gr.Blocks() as demo:
    report = wandb_report(
        "https://wandb.ai/_scott/pytorch-sweeps-demo/reports/loss-22-10-07-16-00-17---VmlldzoyNzU2NzAx"
    )
demo.launch()

6 - Compare runs across projects

프로젝트 간 리포트를 사용하여 서로 다른 두 프로젝트의 run을 비교하세요. run 세트 테이블에서 프로젝트 선택기를 사용하여 프로젝트를 선택합니다.

섹션의 시각화는 첫 번째 활성 runset에서 열을 가져옵니다. 라인 플롯에서 찾고 있는 메트릭이 보이지 않으면 섹션에서 첫 번째로 선택한 run 세트에 해당 열이 있는지 확인하세요.

이 기능은 시계열 라인의 기록 데이터를 지원하지만, 서로 다른 프로젝트에서 서로 다른 요약 메트릭을 가져오는 것은 지원하지 않습니다. 즉, 다른 프로젝트에만 기록된 열에서 산점도를 만들 수 없습니다.

두 프로젝트의 run을 비교해야 하는데 열이 작동하지 않으면, 한 프로젝트의 run에 태그를 추가한 다음 해당 run을 다른 프로젝트로 이동하세요. 각 프로젝트의 run만 필터링할 수 있지만, 리포트에는 두 세트의 run에 대한 모든 열이 포함됩니다.

보기 전용 리포트 링크

비공개 프로젝트 또는 팀 프로젝트에 있는 리포트에 대한 보기 전용 링크를 공유하세요.

보기 전용 리포트 링크는 URL에 비밀 엑세스 토큰을 추가하므로, 링크를 여는 모든 사람이 페이지를 볼 수 있습니다. 누구나 매직 링크를 사용하여 먼저 로그인하지 않고도 리포트를 볼 수 있습니다. W&B Local 프라이빗 클라우드 설치를 사용하는 고객의 경우, 이러한 링크는 방화벽 내에 유지되므로 팀 구성원 중 프라이빗 인스턴스에 대한 엑세스 권한과 보기 전용 링크에 대한 엑세스 권한이 있는 사람만 리포트를 볼 수 있습니다.

보기 전용 모드에서는 로그인하지 않은 사람도 차트를 보고 마우스를 올려 값의 툴팁을 보고, 차트를 확대/축소하고, 테이블에서 열을 스크롤할 수 있습니다. 보기 모드에서는 데이터를 탐색하기 위해 새 차트 또는 새 테이블 쿼리를 만들 수 없습니다. 리포트 링크의 보기 전용 방문자는 run을 클릭하여 run 페이지로 이동할 수 없습니다. 또한 보기 전용 방문자는 공유 모달을 볼 수 없고 대신 마우스를 올리면 보기 전용 엑세스에는 공유를 사용할 수 없습니다라는 툴팁이 표시됩니다.

그래프를 리포트로 보내기

진행 상황을 추적하기 위해 워크스페이스에서 리포트로 그래프를 보냅니다. 리포트에 복사할 차트 또는 패널의 드롭다운 메뉴를 클릭하고 리포트에 추가를 클릭하여 대상 리포트를 선택합니다.

7 - Example reports

노트: 빠른 요약과 함께 시각화 추가

프로젝트 개발에서 중요한 관찰 내용, 향후 작업 아이디어 또는 달성한 이정표를 캡처합니다. 리포트의 모든 실험 run은 해당 파라미터, 메트릭, 로그 및 코드로 연결되므로 작업의 전체 컨텍스트를 저장할 수 있습니다.

텍스트를 적고 관련 차트를 가져와 통찰력을 설명합니다.

트레이닝 시간 비교를 공유하는 방법에 대한 예는 Inception-ResNet-V2가 너무 느릴 때 수행할 작업 W&B Report를 참조하십시오.

복잡한 코드베이스에서 가장 좋은 예제를 저장하여 쉽게 참조하고 향후 상호 작용할 수 있습니다. Lyft 데이터 세트의 LIDAR 포인트 클라우드를 시각화하고 3D 경계 상자로 주석을 추가하는 방법에 대한 예는 LIDAR 포인트 클라우드 W&B Report를 참조하십시오.

협업: 동료와 발견한 내용 공유

프로젝트 시작 방법, 지금까지 관찰한 내용 공유, 최신 findings 종합 방법을 설명합니다. 동료는 패널에서 또는 리포트 끝에 있는 댓글을 사용하여 제안하거나 세부 사항을 논의할 수 있습니다.

동료가 직접 탐색하고 추가 통찰력을 얻고 다음 단계를 더 잘 계획할 수 있도록 동적 설정을 포함합니다. 이 예에서는 세 가지 유형의 Experiments를 독립적으로 시각화, 비교 또는 평균화할 수 있습니다.

벤치마크의 첫 번째 run과 관찰 내용을 공유하는 방법에 대한 예는 SafeLife 벤치마크 Experiments W&B Report를 참조하십시오.

슬라이더와 구성 가능한 미디어 패널을 사용하여 model의 결과 또는 트레이닝 진행률을 보여줍니다. 슬라이더가 있는 W&B Report의 예는 귀여운 동물과 포스트 모던 스타일 전이: 다중 도메인 이미지 합성을 위한 StarGAN v2 리포트를 참조하십시오.

작업 로그: 시도한 내용 추적 및 다음 단계 계획

Experiments에 대한 생각, findings, 주의 사항 및 다음 단계를 프로젝트를 진행하면서 기록하여 모든 것을 한 곳에서 체계적으로 관리합니다. 이를 통해 스크립트 외에 중요한 모든 부분을 “문서화"할 수 있습니다. findings를 보고하는 방법에 대한 예는 누가 그들인가? 변환기를 사용한 텍스트 명확성 W&B Report를 참조하십시오.

프로젝트의 스토리를 전달하면 귀하와 다른 사람들이 나중에 참조하여 model이 개발된 방법과 이유를 이해할 수 있습니다. findings를 보고하는 방법에 대한 내용은 운전석에서 바라본 시각 W&B Report를 참조하십시오.

OpenAI Robotics 팀이 대규모 기계 학습 프로젝트를 실행하기 위해 W&B Reports를 사용한 방법을 탐색하기 위해 W&B Reports가 사용된 방법에 대한 예는 W&B Reports를 사용하여 엔드투엔드 손재주 학습을 참조하십시오.