Neuigkeiten zu KI

  • https://www.handelsblatt.com/t…-in-betrieb/27288416.html


    jojojo, KI funktioniert schon irgendwie also Maschinelles Lernen, Robotik usw.

    Das schwere bei Quantencomputer ist das richtige Formulieren von Problemen und man braucht irgwie Übersetzungen für diese Qubits oder so, also so wie ich das verstehe... kA

    Das reicht vielleicht für Primfaktorzerlegung aber für sonst nix. Man kennt auch nur drei oder vier Algorithmen 🤷‍♂️


  • Die tatsächliche Gefahr von KI.

    10-- 1-01 10=- 1-00 1--2 10=0 1-2= 1-01 10=0 1-01 1-20 10=1 10=2 10=1 1-10 10=0 10=1 1-00 1-21 1-21 1-02


  • Die tatsächliche Gefahr von KI.

    100%

  • Wartet's mal ab.


    Wenn sie die Richter erst mal durch künstliche "Intelligenz" ersetzt haben, stört das auch kein Schwein mehr.

    Ja eben. Echte (menschliche) Expertise wird ersetzt durch künstliche Halluzinationen der Aggreationsalgorithmen. Hab jetzt schon von mehreren Leuten aus verschiedensten Bereichen (Programmierer, Consultants, Marketing) gehört, dass ChatGPT in ihrer Arbeit nicht oder nur eingeschränkt erlaubt ist. Aber nicht, weil es gerne mal Blödsinn produziert, sondern aus Sicherheitsgründen. Management will nicht, dass firmeninterne Daten in irgendeiner Cloud landen.

    Ich nehme mal an, die ersten Maßgeschneiderten privaten KIs sind bereits im Einsatz, wenn nicht jetzt dann bald.

    Die Gefahr ist der Systemische Wachstumszwang, zur Steigerung der Produktivität wird überall KI eingesetzt, überwacht von Menschen deren Konzept von Verantwortung der Quartalsabschlussbericht der Buchhaltung ist.


    Gerade im Bereich der Softwareentwicklung kann man schon jetzt ohne jemals dafür qualifiziert worden zu sein Arbeiten. KI generierter Code, den derjenige der ihn in die Steuerungssoftware integriert hat selbst nicht ganz versteht, bald auch in deinem Tesla.

    10-- 1-01 10=- 1-00 1--2 10=0 1-2= 1-01 10=0 1-01 1-20 10=1 10=2 10=1 1-10 10=0 10=1 1-00 1-21 1-21 1-02

  • Ja eben. Echte (menschliche) Expertise wird ersetzt durch künstliche Halluzinationen der Aggreationsalgorithmen. Hab jetzt schon von mehreren Leuten aus verschiedensten Bereichen (Programmierer, Consultants, Marketing) gehört, dass ChatGPT in ihrer Arbeit nicht oder nur eingeschränkt erlaubt ist. Aber nicht, weil es gerne mal Blödsinn produziert, sondern aus Sicherheitsgründen. Management will nicht, dass firmeninterne Daten in irgendeiner Cloud landen.

    Ja ich meine da gab es auch ein kleinen Aufschrei, weil eine Autorin auf TikTok meinte, dass Amateure ihre Texte vlt von ChatGPT bewerten lassen sollten. Aber kA ob ich das halluziniert habe.


    Gerade im Bereich der Softwareentwicklung kann man schon jetzt ohne jemals dafür qualifiziert worden zu sein Arbeiten. KI generierter Code, den derjenige der ihn in die Steuerungssoftware integriert hat selbst nicht ganz versteht, bald auch in deinem Tesla.

    Hier ist das Problem mit ChatGPT als Programmierer: kleine Aufgaben funktionieren sehr gut. ZB. ein Server und Clienten implementieren. Aber es muss halt auf die Umwelt abgestimmt werden und wenn es ein Fehler gibt, weiß das ChatGPT auch nicht sofort. Ersteres ist eben ein riesiger Punkt: ChatGPT weiß nicht, wie die Anforderungen, Umwelt und Domäne genau aussehen, was genau gemeint ist mit "Bremsen" (oder auch sowas triviales wie "warten" kann unterschiedlich interpretiert werden), auch weil das Modellieren immer noch auf Menschen angepasst werden muss und deswegen ist es gefährlich einfach so Steuerungssoftware in Autos usw. zu implementieren ohne das alles mal verstanden und dokumentiert zu haben.


    Man selbst als Programmierer sollte, denk ich, sich die Arbeit machen und zumindest seine Programme herunterbrechen können, sodass ChatGPT da was sinnvolles ausgeben kann in den kleineren Programmen (ist ja auch so, dass der Output von ChatGPT begrenzt ist und man also wirklich in den Austausch treten muss).

  • Ja ich meine da gab es auch ein kleinen Aufschrei, weil eine Autorin auf TikTok meinte, dass Amateure ihre Texte vlt von ChatGPT bewerten lassen sollten. Aber kA ob ich das halluziniert habe.


    Hier ist das Problem mit ChatGPT als Programmierer: kleine Aufgaben funktionieren sehr gut. ZB. ein Server und Clienten implementieren. Aber es muss halt auf die Umwelt abgestimmt werden und wenn es ein Fehler gibt, weiß das ChatGPT auch nicht sofort. Ersteres ist eben ein riesiger Punkt: ChatGPT weiß nicht, wie die Anforderungen, Umwelt und Domäne genau aussehen, was genau gemeint ist mit "Bremsen" (oder auch sowas triviales wie "warten" kann unterschiedlich interpretiert werden), auch weil das Modellieren immer noch auf Menschen angepasst werden muss und deswegen ist es gefährlich einfach so Steuerungssoftware in Autos usw. zu implementieren ohne das alles mal verstanden und dokumentiert zu haben.


    Man selbst als Programmierer sollte, denk ich, sich die Arbeit machen und zumindest seine Programme herunterbrechen können, sodass ChatGPT da was sinnvolles ausgeben kann in den kleineren Programmen (ist ja auch so, dass der Output von ChatGPT begrenzt ist und man also wirklich in den Austausch treten muss).

    Ich hatte da ein konkretes Beispiel im Kopf, ein Kollege hat etwas in C# mit einer Schnittstelle zu C++ programmiert, was bezüglich korrektem marshaling von Objekten nicht ganz trivial ist. Er hat dann ChatGPT verwendet, was ihm brauchbaren Code geliefert hat der bisher auch gut funktionier that. Software kann manchmal ziemlich tricky sein, vor allem wenn man parallele Prozesse hat. Inkorrektes Memorymanagement kann halt schnell zu unerwartetem Verhalten führen, was Compiler nicht checken (ok außer Rust vielleicht), und auch in Unit- oder Systemtests nicht unbedingt auffällt.
    Es sind halt gerade kleine KI-erzeugte Komponenten die meiner Meinung nach problematisch sind. Wenn deine Architektur von nem Bot gebaut wurde ist sie schlechtestenfalls umständlich zu Benutzen, aber 20 Zeilen code irgendwo die von ner KI geschrieben wurden im Testsystem laufen aber im Produktivsystem zu ner race-condition führen und du hast den nächsten Therac-25.

    10-- 1-01 10=- 1-00 1--2 10=0 1-2= 1-01 10=0 1-01 1-20 10=1 10=2 10=1 1-10 10=0 10=1 1-00 1-21 1-21 1-02

  • Ich hatte da ein konkretes Beispiel im Kopf, ein Kollege hat etwas in C# mit einer Schnittstelle zu C++ programmiert, was bezüglich korrektem marshaling von Objekten nicht ganz trivial ist. Er hat dann ChatGPT verwendet, was ihm brauchbaren Code geliefert hat der bisher auch gut funktionier that. Software kann manchmal ziemlich tricky sein, vor allem wenn man parallele Prozesse hat. Inkorrektes Memorymanagement kann halt schnell zu unerwartetem Verhalten führen, was Compiler nicht checken (ok außer Rust vielleicht), und auch in Unit- oder Systemtests nicht unbedingt auffällt.
    Es sind halt gerade kleine KI-erzeugte Komponenten die meiner Meinung nach problematisch sind. Wenn deine Architektur von nem Bot gebaut wurde ist sie schlechtestenfalls umständlich zu Benutzen, aber 20 Zeilen code irgendwo die von ner KI geschrieben wurden im Testsystem laufen aber im Produktivsystem zu ner race-condition führen und du hast den nächsten Therac-25.

    - marshalling von Objekten

    - parallele Prozesse

    - Memorymanagement (wobei halt typisch C-Sprache lol)

    - race-condition

    ...

    also ein Therac-25 würde ich auch nicht von einem Bot programmiert haben wollen, sondern da dann schon gerne eine geplante Herangehensweise mit Dokumentation, Problembeschreibung usw. am besten die Korrektheit mathematisch bewiesen oder so...

  • Naja, der wurde ja von nem Experten Programmiert. Und für jemanden der parallele Prozesse in Assembler programmiert hat, vermutlich auch ein Entwickler der enorm fähig gewesen sein muss. Beim Therac war das Problem, dass das UI im Terminal und das schreiben der Betriebsparameter parallel gelaufen sind, was dann dazu geführt hat, dass auf dem Gerät andere Parameter eingestellt waren, als im UI angezeigt wurden, wenn der Nutzer seine Eingaben zu schnell getätigt hat.


    Sorry aber aus dem technobabel des vorherigen Beitrags geht ja hervor, dass Software allgemein nicht mathematisch beweisbar ist. Und es gibt auch keine allgemeinen Qualitätskriterien und Richtlinien an die sich ein Software Entwickler halten muss. Geschweige denn eine Institution die sicher stellt, dass Softwareentwickler solche Prinzipien kennen.

    10-- 1-01 10=- 1-00 1--2 10=0 1-2= 1-01 10=0 1-01 1-20 10=1 10=2 10=1 1-10 10=0 10=1 1-00 1-21 1-21 1-02

  • Sorry aber aus dem technobabel des vorherigen Beitrags geht ja hervor, dass Software allgemein nicht mathematisch beweisbar ist.

    Wo genau, welcher Beitrag? Meinst du, dass man KIs nicht vertrauen kann? Ja, stimme zu, aber daraus folgt nicht, dass alle Programme nicht mathematisch beweisbar seien.


    (Btw. wäre das eig ein Forschungsthema: wie kann man KI erklärbar, beweisbar bzw. nachvollziehbar machen? Wie kann man Standards und Normen dafür finden? Oder gibt es da Grenzen?)


    Und es gibt auch keine allgemeinen Qualitätskriterien und Richtlinien an die sich ein Software Entwickler halten muss. Geschweige denn eine Institution die sicher stellt, dass Softwareentwickler solche Prinzipien kennen.

    Wie meinst du das? Also, es gibt Standards, ich hab die gerade nicht parat.... aber selbst bei KI wird diskutiert, wie man die hier setzen kann und DSGVO wird auch gerade ausgefochten als Beispiel.


    Natürlich wenn ich zuhause ein kleines Programm schreibe, dann eher weniger .... bis in bestimmten Fällen die Polizei an der Tür klopft oder so.

  • Ich bezog mich auf meinen vorherigen Beitrag. Ich hab auch nicht behauptet, dass es keine Programme gibt, die mathematisch beweisbar sind. Aber fast alle Software die heute in verwendung ist, ist nicht mathematisch beweisbar. Deswegen gibt es all diese lustigen Testparadigmen und Testframeworks.


    Was meinst du mit KI beweisbar machen. Beweisbar in welchem Sinne?


    Wenn jemand Arzt werden will, dann muss er Medizin studieren und theoretische und praktische Prüfungen ablegen damit eine Institution sicher stellen kann, dass diese Person die fachliche Kompetenz hat, diesen Beruf auszuführen. Es werden neben rein fachlichen Kompetenzen auch ethische und rechtliche Prinzipen vermittelt, an die sich ein Arzt halten muss und deren Einhaltung von diesen Institutionen überwacht werden.

    Im Gegenzug kann man Softwareentwickler werden in dem man jemanden findet, der einen für Softwareentwicklung bezahlt.

    10-- 1-01 10=- 1-00 1--2 10=0 1-2= 1-01 10=0 1-01 1-20 10=1 10=2 10=1 1-10 10=0 10=1 1-00 1-21 1-21 1-02

  • Wenn jemand Arzt werden will, dann muss er Medizin studieren und theoretische und praktische Prüfungen ablegen damit eine Institution sicher stellen kann, dass diese Person die fachliche Kompetenz hat, diesen Beruf auszuführen. Es werden neben rein fachlichen Kompetenzen auch ethische und rechtliche Prinzipen vermittelt, an die sich ein Arzt halten muss und deren Einhaltung von diesen Institutionen überwacht werden.

    Im Gegenzug kann man Softwareentwickler werden in dem man jemanden findet, der einen für Softwareentwicklung bezahlt.

    Japp....


    Ich bezog mich auf meinen vorherigen Beitrag. Ich hab auch nicht behauptet, dass es keine Programme gibt, die mathematisch beweisbar sind. Aber fast alle Software die heute in verwendung ist, ist nicht mathematisch beweisbar. Deswegen gibt es all diese lustigen Testparadigmen und Testframeworks.

    Japp


    Was meinst du mit KI beweisbar machen. Beweisbar in welchem Sinne?

    Weiß ich selbst nicht, müsste man erstmal definieren. Also z.B. in den Tiefen von ChatGPT sind irgendwo Texte von 4chan und den Abgründen des Internets mit eingearbeitet. Man kann auch an die Anleitungen für Drogen, Napalm usw. kommen.


    So ist das nicht was, was Interessant ist für die Sicherheit: wie leicht ist es an diese Daten zu kommen?


    Kann man das mathematisieren und bewerten? naja keine Ahnung...

  • Weiß ich selbst nicht, müsste man erstmal definieren. Also z.B. in den Tiefen von ChatGPT sind irgendwo Texte von 4chan und den Abgründen des Internets mit eingearbeitet. Man kann auch an die Anleitungen für Drogen, Napalm usw. kommen.


    So ist das nicht was, was Interessant ist für die Sicherheit: wie leicht ist es an diese Daten zu kommen?


    Kann man das mathematisieren und bewerten? naja keine Ahnung...

    Das hat ja nichts mit mathematischer Beweisbarkeit zu tun. Das wäre ja eher ein Test Ansatz: wir prüfen einfach bestimmte Inputs und überprüfen ob die Outputs ok sind. Was sind hier die Axiome und was ist die Richtigkeit einer Aussage?

    Angenommen ich habe eine Liste an Fragen die ich der KI stelle und ich bekomme immer richtige Antworten, dann hätte ich immer noch keinen Beweis dafür geführt, dass die KI immer richtige Antworten liefert. Der Beweis dafür wäre ja, dass kein Input existiert, für den ein falscher Output generiert würde. Da der Input in ein solches Modell praktisch unendlich ist, ist es nicht möglich, dies zu testen.

    10-- 1-01 10=- 1-00 1--2 10=0 1-2= 1-01 10=0 1-01 1-20 10=1 10=2 10=1 1-10 10=0 10=1 1-00 1-21 1-21 1-02

  • Was meint ihr mit Beweisen von Programmen? (wahrscheinlich meint ihr algorithmen) Oder geht es darum, zu beweisen, dass Aussagen von KI korrekt sind?

    Einzelne Algorithmen (damit meine ich mathematische Algorithmen wie binäre Suche etc.) lassen sich meist mathematisch beweisen. Man kann z.B. testen ob er deterministisch ist, was die Komplexität ist und ob er immer ein korrektes Ergebnis liefert.


    Aber für fast alle Programme, oder zu neudeutsch Apps, gilt, dass es nicht einfach möglich ist, sie mathematisch auf Korrektheit zu überprüfen. Wäre dies möglich, dann würden das Compiler tun und dich bereits beim kompilieren des Programms darauf hinweisen, dass dort irgendwo ein Bug sein muss. Compiler können aber nur die Korrektheit der verwendeten Symbole überprüfen, nicht aber das verhalten des Programms. Stell der das vor wie ein Rechtschreibkorrekturprogramm, es kann dir anzeigen, wenn du ein Wort falsch schreibst, wenn es gut ist, kann es sogar Grammatik prüfen, aber ob der Text sinnhaft ist kann es dir nicht verraten.

    10-- 1-01 10=- 1-00 1--2 10=0 1-2= 1-01 10=0 1-01 1-20 10=1 10=2 10=1 1-10 10=0 10=1 1-00 1-21 1-21 1-02

  • Was sind „richtige“ Antworten? Insbesondere bei politischen Themen, wo je nach Interessenlage für den einen richtig ist, was dem anderen ganz falsch erscheint?

    Exakt, das ist das nächste Problem. Aber es war nicht notwendig um zu argumentieren, dass solche Algorithmen nicht beweisbar sind.

    10-- 1-01 10=- 1-00 1--2 10=0 1-2= 1-01 10=0 1-01 1-20 10=1 10=2 10=1 1-10 10=0 10=1 1-00 1-21 1-21 1-02

  • Einzelne Algorithmen (damit meine ich mathematische Algorithmen wie binäre Suche etc.) lassen sich meist mathematisch beweisen. Man kann z.B. testen ob er deterministisch ist, was die Komplexität ist und ob er immer ein korrektes Ergebnis liefert.


    Aber für fast alle Programme, oder zu neudeutsch Apps, gilt, dass es nicht einfach möglich ist, sie mathematisch auf Korrektheit zu überprüfen. Wäre dies möglich, dann würden das Compiler tun und dich bereits beim kompilieren des Programms darauf hinweisen, dass dort irgendwo ein Bug sein muss. Compiler können aber nur die Korrektheit der verwendeten Symbole überprüfen, nicht aber das verhalten des Programms. Stell der das vor wie ein Rechtschreibkorrekturprogramm, es kann dir anzeigen, wenn du ein Wort falsch schreibst, wenn es gut ist, kann es sogar Grammatik prüfen, aber ob der Text sinnhaft ist kann es dir nicht verraten.

    Du meinst: https://de.m.wikipedia.org/wiki/Halteproblem

  • Das hat ja nichts mit mathematischer Beweisbarkeit zu tun. Das wäre ja eher ein Test Ansatz: wir prüfen einfach bestimmte Inputs und überprüfen ob die Outputs ok sind. Was sind hier die Axiome und was ist die Richtigkeit einer Aussage?

    Angenommen ich habe eine Liste an Fragen die ich der KI stelle und ich bekomme immer richtige Antworten, dann hätte ich immer noch keinen Beweis dafür geführt, dass die KI immer richtige Antworten liefert. Der Beweis dafür wäre ja, dass kein Input existiert, für den ein falscher Output generiert würde. Da der Input in ein solches Modell praktisch unendlich ist, ist es nicht möglich, dies zu testen.

    Ich hätte noch angeboten, dass man der Frage bei einer KI nachgeht, ob eine KI den Entscheidungspfad nachgeht, den sie nachgehen soll oder ob bestimmte Seiteneffekte, "Nebenentscheidungen" mit getroffen werden.


    Bei Wikipedia ist das Beispiel gegeben von einer KI in einem Rennfahrspiel, wo man eigentlich ins Ziel fahren soll, aber auch Punkte dafür bekommt, wenn man andere rammt. Die KI maximiert also diese Strategie des rammens und kommt nie im Ziel an.



    https://en.wikipedia.org/wiki/AI_alignment


    https://en.wikipedia.org/wiki/…of_finishing_the_race.ogg


    Aber hier ist das Problem, dass man das Belohnungssystem falsch oder ungenau definiert hat.

  • Aber es gibt eben das Beispiel des "Paperclip maximizers", wo die KI versucht zB. alle möglichen moralischen Regeln zu umgehen und die eigene Abschaltung entgeht, um weitere Papierklammern zu produzieren.

Jetzt mitmachen!

Du hast noch kein Benutzerkonto auf unserer Seite? Registriere dich kostenlos und nimm an unserer Community teil!