ऑटो इश्यू रेज़ोल्यूशन: Chatbot + Claude Code

The challenge

एक तेज़ी से बढ़ते dev-tools SaaS में support-to-engineering loop बेहद कठिन था। ग्राहक एक bug की रिपोर्ट करता है → support reproduce करता है → Jira ticket दर्ज करता है → 2-5 दिन बाद कोई उसे उठाता है → fix एक सप्ताह+ बाद आता है। अधिकांश tickets छोटे थे लेकिन वे backlog में भीड़ लगा देते थे।

The approach

• स्टेज एक: ट्राइएज और रिप्रोडक्शन के लिए ग्राहक-केंद्रित chatbot
• स्टेज दो: Claude Code एक sandboxed environment में fixes लिखता है और PRs submit करता है
• सख्त सीमाएं — अधिकतम 50 LOC, कोई schema migrations नहीं, स्पर्श योग्य directories की allowlist

The build

• इन-ऐप हेल्प विजेट में एम्बेडेड ट्राइज chatbot, विस्तारित डायग्नोस्टिक्स SDK के साथ
• इशू क्लासिफायर टिकट्स को 5 बकेट में रूट करता है (कम-जटिलता / config / docs गैप / feature request / मानव)
• स्वचालित फिक्स रनर: Docker sandbox में Claude Code के साथ सीमित रेपो एक्सेस
• गार्डरेल्स: अधिकतम 50 LOC, कोई auth/security फ़ाइलें नहीं, कोई बड़े dependency अपग्रेड नहीं
• हर PR को मानवीय समीक्षा मिलती है — साप्ताहिक मानवीय स्वीकृति दर को मापा जाता है

The results

• ⏱️औसत टिकट → मर्ज किया गया PR: 12 मिनट (लगभग 6 दिन से)
• ✅स्वायत्त PRs पर मानव अनुमोदन दर: 84%
• 📊44% सभी आने वाले टिकट end-to-end हल किए गए
• 💰प्रति सप्ताह ~28 इंजीनियरिंग घंटे बचाए
• 🛡️120 दिनों में शून्य सुरक्षा घटनाएं
• 😊बग्स पर ग्राहक CSAT 3.6 से बढ़कर 4.7 हो गया

Tech stack

• Anthropic Claude Sonnet
• Claude कोड (sandboxed)
• Docker
• GitHub Actions
• Linear
• Sentry
• Anthropic Agents SDK
• Langfuse