PROJECT CASE STUDY
RunSift
Công cụ CLI evidence-first được thiết kế để thu thập và rút gọn bằng chứng từ GitHub Actions failure, nhưng implementation analyzer hiện chưa được công bố.
An evidence-first CLI designed to collect and reduce GitHub Actions failure evidence, although the analyzer implementation is not yet published.
- Trạng tháiStatus
- Work in progress · roadmap definedWork in progress · roadmap defined
- Lĩnh vựcDomain
- CI/CD · Developer tooling · ReliabilityCI/CD · Developer tooling · Reliability
- Cập nhậtUpdated
- 2026-07-16
01 / PROBLEM
Vấn đềProblem
Log CI thường dài, nhiều nhiễu và làm chậm việc tìm failed step, thông báo lỗi gốc và bối cảnh workflow.
CI logs are often long and noisy, slowing down the search for the failed step, primary error, and workflow context.
02
Bối cảnhContext
Repository hiện có roadmap và issue decomposition chi tiết cho CLI, GitHub data collection, parser, classifier, report, fixtures và CI. Chưa có executable triage workflow hoặc benchmark để coi là prototype hoàn chỉnh.
The repository currently contains a detailed roadmap and issue decomposition for the CLI, GitHub data collection, parser, classifier, reports, fixtures, and CI. It does not yet contain an executable triage workflow or benchmark that would justify calling it a complete prototype.
03
Ràng buộcConstraints
- Kết quả phải gắn với đoạn log hoặc metadata có thể kiểm tra lại.Every conclusion must remain attached to inspectable log evidence or metadata.
- Unknown và confidence thấp là đầu ra hợp lệ; classifier không được đoán để trông thông minh hơn.Unknown and low-confidence outcomes are valid; the classifier must not guess to appear more capable.
- Ưu tiên CLI, offline fixtures và static report để dễ chạy local, kiểm thử và publish trên GitHub Pages.Prefer a CLI, offline fixtures, and static reports for local execution, testability, and GitHub Pages publishing.
04
Vai trò của tôiMy role
Xác định bài toán, thiết kế evidence-first triage flow, chia roadmap thành epics/issues và xây script setup GitHub Project không phụ thuộc jq ngoài.
Defined the problem, designed the evidence-first triage flow, decomposed the roadmap into epics/issues, and built a GitHub Project setup script without an external jq dependency.
05
Kiến trúcArchitecture
- Planned collector lấy workflow metadata, failed jobs, failed steps và log qua GitHub API hoặc offline fixture.A planned collector obtains workflow metadata, failed jobs, failed steps, and logs through the GitHub API or offline fixtures.
- Planned parser chuẩn hóa evidence thành record có source, job/step context, offsets, failed command và signal type.A planned parser normalizes evidence into records with source, job/step context, offsets, failed commands, and signal types.
- Planned classifier tạo category, confidence và unknown fallback; renderer xuất CLI/Markdown report có evidence links.A planned classifier produces categories, confidence, and an unknown fallback; a renderer outputs CLI/Markdown reports with evidence links.
06
Quyết định kỹ thuậtTechnical decisions
- Evidence-first thay vì sinh một bản tóm tắt tự tin nhưng khó kiểm chứng.Evidence-first output instead of a confident summary that cannot be verified.
- Offline fixtures trước live API dependency để parser và classifier có thể chạy lặp lại trong CI.Offline fixtures precede live API dependency so parsers and classifiers can run repeatedly in CI.
- Static reports trước dashboard động để giảm runtime, hosting và maintenance.Static reports before a live dashboard to reduce runtime, hosting, and maintenance costs.
07
Kiểm thử và validationTesting and validation
- Hiện có thể kiểm tra roadmap issues, repository history và script setup GitHub Project; chưa có parser/classifier tests.The current evidence covers roadmap issues, repository history, and the GitHub Project setup script; parser/classifier tests do not exist yet.
- Planned validation gồm sanitized fixtures, parser/classifier unit tests, report snapshots, CLI integration tests và GitHub API mocks.Planned validation includes sanitized fixtures, parser/classifier unit tests, report snapshots, CLI integration tests, and GitHub API mocks.
08
ObservabilityObservability
- Planned diagnostic events cho collect, normalize, classify và render cùng confidence/unknown reason trong report.Planned diagnostic events cover collect, normalize, classify, and render stages, including confidence and unknown reasons in reports.
09
Bảo mậtSecurity considerations
- Log fixture và report public phải được redact; token chỉ lấy từ environment và dùng permission tối thiểu.Public log fixtures and reports must be redacted; tokens come only from the environment and use minimum permissions.
10
Failure modesFailure modes
- Log bị truncate, API rate limit, format log thay đổi, secret trong output hoặc classifier nhầm symptom với root cause.Truncated logs, API rate limits, log-format changes, secrets in output, or classifiers confusing a symptom with the root cause.
11
Kết quả hiện cóCurrent results
- Roadmap đã chia rõ foundation, collection, parsing, classification, reporting, testing, CI và portfolio demo; repository chưa có analyzer chạy được.The roadmap clearly separates foundation, collection, parsing, classification, reporting, testing, CI, and portfolio-demo work; the repository does not yet contain a working analyzer.
- Script thiết lập GitHub Project đã loại bỏ dependency jq ngoài bằng khả năng --jq tích hợp của GitHub CLI.The GitHub Project setup script removed its external jq dependency by using GitHub CLI's built-in --jq support.
12
Bài họcWhat I learned
- Một backlog chi tiết giúp giảm mơ hồ nhưng không được trình bày như implementation evidence.A detailed backlog reduces ambiguity but must not be presented as implementation evidence.
13
Bước tiếp theoWhat I would improve next
- Hoàn thành foundation contract, fixture format và vertical slice đầu tiên: fixture log → evidence extraction → Markdown report.Complete the foundation contract, fixture format, and first vertical slice: fixture log → evidence extraction → Markdown report.
EVIDENCE
Bằng chứng và liên kếtEvidence and links
Chỉ liên kết artifact đang tồn tại; planned work luôn được ghi rõ.
Only existing artifacts are linked; planned work remains explicit.