Nvidia hat eine Software entwickelt, die ein großes Problem der derzeit verfügbaren KI-Chatbots lösen soll. Nach Angaben des Unternehmens kann die NeMo Guardrails genannte Anwendung sicherstellen, dass intelligente Anwendungen wie KI-Chatbots, die von großen Sprachmodellen (LLMs) angetrieben werden, „genau, angemessen, themenbezogen und sicher“ sind.
Die Open-Source-Software kann von KI-Entwicklern genutzt werden, um thematische, Sicherheits- und Schutzgrenzen für KI-Modell einzurichten. Die thematischen Grenzen sollen KI-Anwendung daran hindern, Themen in Bereichen zu erforschen, die für den beabsichtigten Einsatz nicht notwendig oder wünschenswert sind. Nvidia nennt das Beispiel eines Kundendienstassistenten, der keine Fragen zum Wetter beantwortet. Wären derartige Beschränkungen für Bing Chat verfügbar gewesen, hätte der Microsoft-Chatbot wahrscheinlich nicht direkt nach seiner Veröffentlichung Firmengeheimnisse verraten.
Die Sicherheitsgrenzen sollen indes helfen Fehlinformationen und „Halluzinationen“ zu reduzieren. Wenn sie eingesetzt werden, stellen sie sicher, dass KI-Anwendungen mit korrekten und angemessenen Informationen reagieren. Durch den Einsatz der Software könnten zum Beispiel Verbote für unangemessene Sprache und glaubwürdige Quellenangaben verstärkt werden. Außerdem soll die Software verhindern, dass Apps externe Anwendungen erreichen, die als unsicher gelten.
Nvidia zufolge sollen praktisch alle Softwareentwickler in der Lage sein, NeMo Guardrails zu verwenden. Die Software funktioniere mit einer breiten Palette von LLM-fähigen Anwendungen sowie mit allen Tools arbeiten, die Entwickler von Unternehmensanwendungen einsetzen.
NeMo Guardrails wird Nvidia in sein Nvidia NeMo Framework integrieren, das bereits größtenteils als Open-Source-Code auf GitHub verfügbar ist. Zudem soll die Software als Teil der Nvidia AI Enterprise Plattform und als Service durch Nvidia AI Foundations angeboten werden.
Der Cybersecurity Report von Hornetsecurity stuft 2,3 Prozent der Inhalte gar als bösartig ein. Die…
Die Hintermänner haben es auf Zugangsdaten zu Microsoft Azure abgesehen. Die Kampagne ist bis mindestens…
Cloud-Plattform für elektronische Beschaffungsprozesse mit automatisierter Abwicklung elektronischer Rechnungen.
Mindestens eine Schwachstelle erlaubt eine Remotecodeausführung. Dem Entdecker zahlt Google eine besonders hohe Belohnung von…
Nur rund die Hälfte schaltet während der Feiertage komplett vom Job ab. Die anderen sind…
Security-Experten von Check Point sind einer neuen Angriffsart auf die Spur gekommen, die E-Mail-Schutzmaßnahmen umgehen…