TechCrunch分: AnthropicがAIに回答を提供させるトリックを発見する方法

それを構築すれば、人々はそれを破ろうとします。時には、何かを構築する人々自体がそれを破ることがあります。これは、Anthropicとその最新の研究に当てはまるケースで、現在のLLM技術における興味深い脆弱性を示しています。ほとんどの場合、質問に続けていくと、ガードレールを破り、大きな言語モデルが、設計上は提供されない情報を教えてくれるようになることがあります。たとえば、爆弾の作り方など。

もちろん、オープンソースのAI技術の進歩を考えれば、ローカルに自分自身のLLMを立ち上げて、好きな質問をすることができます。しかし、より一般向けのものについては、これは考慮に値する問題です。今日のAIの面白いところは、どれだけ速いペースで進化しているか、そして我々が構築しているものをよりよく理解するためにどれほどうまくしているか、ということです。

もし私に思考を許してもらえるならば、Anhtropicが最近共有した内容について話し合いましょう。LLMや他の新しいAIモデルタイプがより賢く、より大きくなるにつれて、Anthropicが示すようなタイプの質問や問題がより多く出てくるのではないかと思っています。これを繰り返すかもしれませんが、一般的なAI知能に近づくほど、それは思考エンティティに似ているべきであり、プログラム可能なコンピュータではないはずです。そうであれば、限界条件を突き詰めることが不可能になった時点で、私たちはより難しい時を迎えるかもしれません。とにかく、Anthropicが最近共有した内容について話し合いましょう。