Cómo interpretar resultados de evaluación DevOps: framework de scoring y decisión
La trampa de scoring DevOps
Un candidato acerta Kubernetes pero duda en networking. Otro camina por failover design pero no explica por qué tool. ¿Hire? ¿Probar más?
La mayoría scoreas DevOps mal. Lo tratan como coding: puntos por respuesta. Eso pierde el real signal — juicio y pensamiento operacional.
Tres dimensiones de competencia DevOps
1. Systems thinking y trade-off reasoning
Mides: ¿pueden diseñar sistemas que no fallan catastróficamente? ¿blast radius?
- Nivel 1: sin redundancia, "use Kubernetes"
- Nivel 2: redundancia, 2-3 failure modes
- Nivel 3: análisis profundo, recovery paths, cuantifica trade-offs
2. Pragmatismo operacional
Mides: ¿right tool? ¿o pattern-match a complejidad?
- Nivel 1: salta a complejo
- Nivel 2: elige apropiado, Lambda en lugar de K8s
- Nivel 3: desafía premisa
3. Profundidad técnica en su dominio
- Nivel 1: vago
- Nivel 2: conoce su plataforma
- Nivel 3: deep expertise
Scoring del take-home
| Componente | Below Pass | Pass | Strong Pass |
|---|---|---|---|
| Architecture diagram | Falta | Claro | Justifica |
| Failure modes | Ninguno | Obvios | Cascadas |
| Cost | No | Estimate | Detallado |
| Observability | Generic | Métricas clave | Debug específico |
| Trade-offs | No | Uno o dos | Análisis explícito |
Pesos: arquitectura 20%, failure 30%, juicio 25%, técnica 25%. Threshold 70%.
Scoring del live troubleshooting
- Metodología sistemática (40)
- Tool knowledge (30)
- Juicio y comunicación (30)
Interpretación:
- 90+: hire inmediatamente
- 75-89: strong, hire
- 60-74: borderline, probe
- <60: pass
Red flags (fail)
- Culpan plataforma
- No mencionan rollback
- No explican choice de tool
- Ignoran cost
- No cambian opinión
Green flags (hire)
- Articulan failure modes
- "Let me check logs first"
- Desafían assumptions
- Trade-offs explícitos
- Preguntan observability
Errores comunes de scoring
Conflate breadth con depth: profunda en producción importa. Hiring para problema previo: evalúa systems thinking, no tools. Tool knowledge sobre juicio: Kubernetes se aprende en 3 meses, juicio toma años. No probe weak areas.
Framework final de decisión
| Systems Thinking | Tool Depth | Decisión |
|---|---|---|
| Strong | Strong | Hire inmediatamente |
| Strong | Weak | Hire si onboarding |
| Weak | Strong | Pass — riesgo |
| Weak | Weak | Pass |
Integrando en hiring loop
- Take-home (2 horas)
- Live troubleshooting (45 min)
- Architecture conversation (30 min)
- Optional follow-up