Neue, nützliche Leistungsfunktion: Partitionierungssortierung Erstellen Sie einen Leistungsboden, um schnelle LLMs zu priorisieren, ohne Verzögerung.
Sie können `preferred_min_throughput` und `preferred_max_latency` festlegen. Wie zuvor können Sie auch eine Kostenobergrenze festlegen.
52