Un enrutador es una decisión, no un proxy
Un enrutador no esconde a los proveedores que tiene detrás, y no debería inventarse uno. Tú aportas los candidatos que realmente puedes llamar, con su coste y su latencia, y las prioridades que importan en esta tarea. La respuesta es uno de esos identificadores con una probabilidad, no un párrafo sobre ventajas y desventajas.
Escribe los criterios por la misma razón por la que escribes las etiquetas de clasificación: dos ejecuciones de la misma pregunta no deberían producir dos políticas distintas. Si el coste decide siempre, dilo; si decide la calidad y el coste solo desempata, describe eso.
Probar la herramienta de ruta de modelo · Contrato de solicitud
El enrutado semántico es clasificación con otro nombre
Un enrutador semántico asigna un mensaje a una de un conjunto fijo de rutas, normalmente comparando vectores. Es el mismo trabajo que un clasificador con etiquetas, así que hereda los mismos fallos: un umbral que parece preciso, un modelo de vectores que se desvía y un mensaje fuera de alcance que igualmente cae en el depósito más cercano.
Una decisión tipada sobre criterios escritos por ti mantiene explícitos los nombres de las rutas y sus límites, y devuelve la probabilidad junto con la elección. Ninguna de las dos cosas autoriza nada: una ruta dice qué camino encaja, no que este usuario pueda tomarlo.
Compara resultados aceptados, no precios de tokens
Un modelo más barato que falla en una ruta cuesta más que el modelo que evitabas: el trabajo se repite o una respuesta equivocada llega a un cliente. Evalúa cada ruta por separado con los mismos ejemplos reservados y cuenta los errores donde son caros en lugar de promediarlos.
El coste y la latencia por resultado aceptado son las cifras que merece la pena seguir, junto a la tasa de revisión que produce tu umbral. Un punto de referencia publicado mide las tareas del proveedor con sus datos; no mide tu tráfico.
Evaluar antes de automatizar · Definir umbrales de confianza
Conserva la salida alternativa y el registro
Una ruta desconocida o de baja confianza pertenece a un camino por defecto o a una persona. El código que llama al modelo debe tratar la falta de candidato como un fallo de enrutado, no como permiso para elegir el modelo más grande. Guarda el candidato elegido, el identificador de la solicitud y la versión del modelo junto al resultado, o la decisión no podrá auditarse.
Reintenta una conexión dudosa con el mismo identificador y la misma entrada; una tarea realmente nueva necesita otro. Enrutar una tarea no es permiso para ejecutar una acción irreversible: esa comprobación se queda donde ya está.