Nvidia hat sich mit ServiceNow und Hugging Face zusammengetan, um eine neue Familie von Open-Access-LLMs (Large Language Models) für die Codegenerierung vorzustellen.
Die StarCoder2-Plattform wurde von der BigCode-Community unter Berücksichtigung von Leistung, Transparenz und Kosteneffizienz entwickelt.
Die umfangreiche Reichweite von StarCoder2 basiert auf der Schulung von 619 Programmiersprachen. Der KI-Codegenerator ist in drei Varianten erhältlich: 3 Milliarden, 7 Milliarden und 15 Milliarden Parameter.
StarCoder2 ermöglicht die Codegenerierung für alle
Der Ankündigung zufolge wurden die kleineren Varianten entwickelt, um eine starke Leistung bei gleichzeitiger Verwaltung der Rechenkosten zu bieten. Das kleinste Modell wurde zusammen mit ServiceNow entwickelt und verspricht, die Leistung der 15-Milliarden-Parameter-Option des ursprünglichen StarCoder zu erreichen, während die Option mit mittlerer Spezifikation die Unterstützung von Hugging Face erhält.
Die 15-Milliarden-Parameter-Option von StarCoder2 wurde auf der beschleunigten Nvidia-Infrastruktur trainiert.
Die erheblichen Verbesserungen bedeuten, dass mit der Nvidia-beschleunigten Option zwar eine höhere Leistung freigeschaltet werden kann, selbst die einfachste Variante jedoch einen erheblichen Fortschritt gegenüber früheren Generationen darstellt und eine weniger anspruchsvolle Infrastruktur erfordert.
Jonathan Cohen, Vizepräsident für angewandte Forschung bei Nvidia. „Nvidias Zusammenarbeit mit ServiceNow und Hugging Face führt sichere, verantwortungsvoll entwickelte Modelle ein und unterstützt einen breiteren Zugang zu verantwortungsvoller generativer KI, von der wir hoffen, dass sie der globalen Gemeinschaft zugute kommt.“
Darüber hinaus verwendet StarCoder2 einen neuen Codedatensatz namens The Stack v2, der neue Trainingstechniken zum Verständnis ressourcenarmer Programmiersprachen, Mathematik und Diskussionen über Programmquellcodes enthält.
Neben Leistungs- und Effizienzverbesserungen bestehen die Organisationen darauf, dass StarCoder2 ethische KI-Praktiken einhält, beispielsweise die Verwendung verantwortungsvoll beschaffter Daten unter Lizenz aus den digitalen Commons von Software Heritage. Entwickler können die Verwendung ihrer Daten für Schulungen auch ablehnen.
