Summarize the following.
Title: "Joe Rogan: What have your AI people done? | Lex Fridman - YouTube"
Transcript: "hey uh what have you people done you're you're AI people with this [ \_\_ ] chat GPT [ \_\_ ] this scares the [ \_\_ ] out of me what's your people what do you mean your favorite people you whack your routers what have you done yeah super interesting and fascinating language models I don't know if you know what those are but that's the general uh systems that uh on July child GPT and GPT they've been progressing over the past maybe four years aggressively there's been a lot of development GPT one gpt2 gpt3 uh gbt 3.5 and Chad gbt there's a lot of interesting technical stuff that maybe we don't want to get into sure let's get into it well I'm fascinated by it it's a Chad GPT is based on fundamentally on a 175 billion uh parameter neural network that is gpt3 and the rest is what data is it trained on and how is it trained so you already have like a brain a giant neural network and it's just trained in different ways so Chad uh GPT 3 came out about two years ago and it was like impressive but dumb in a lot of ways it was like you would expect as a human being for it to generate certain kinds of text and it was like saying kind of dumb things that were off and you're like all right this is really impressive but it's not quite there you can tell it's not intelligent and what they did with uh GPT 3. 5 is they started adding more and different kinds of data sets there one of them probably the smartest neural network currently is codex which is fine-tuned for programming like it was it was uh trained on code on programming code and when you train a programming code which chat GPT is also you're teaching it something like reasoning because it's no longer information and knowledge from the Internet it's also reasoning you can like logic even though you're looking at code programming code is you're looking at me like what the [ \_\_ ] is he talking about no no no no that's not what I'm looking at I'm looking at you like oh my God but reasoning is a in order to be able to stitch together sentences that make sense you not only need to know the facts that on July those sentences you also have to be able to reason yeah and we think of it we take it for granted as human beings that we can do some common sense reasoning like like this war started at this date and ended at this date therefore it means that uh like the start and the end has a meaning there's a temporal consistency there's a cause and effect all of those things are inside programming code by the way a lot of stuff I'm saying we still don't understand we're like intuiting why this works so well really these are the intuitions yeah there's a lot of stuff they're not clear so Chad so GPT 3. 5 which Chad GPT is likely based on there's no paper yet so we don't know exactly the the details but it was just trained on on code and more data that's able to give it some reasoning then this is really important it was fine-tuned in a supervised Way by human labeling small data set by human labeling of here's what we would like this network to generate here's the stuff that makes sense here's the kind of dialogue that makes sense here's the kind of answers to questions that make sense it's basically pointing this giant Titanic of a neural network into the right direction that aligns with the way human beings think and talk so it's not just using the giant wisdom of uh Wikipedia and just I can talk about what data sets this train on but just basically the internet it was pointed in the wrong direction so this uh supervised labeling allows it to point in the right direction to when it says [ \_\_ ] you're like holy [ \_\_ ] that's pretty smart so that that's the alignment and then they did uh something really interesting is using reinforcement learning uh based on labeling data from humans this that's quite a large data set the task is the following you have this smart DPT 3.5 thing generate a bunch of text and humans label which one seems the best so ranking like you ask it a question of for example you could do uh generate a joke in a style of Joe Rogan right and you have a label that has five options and you have a label as I mentioned dick and [ \_\_ ] I don't know how exactly but uh so you get it to rank the the human label is just over just sitting there there's a very large number of them they're working full-time they're labeling the ranking of the outputs of this model and that kind of ranking used together with a technique called reinforcement learning is able to get this thing to generate very impressive to humans output so it's not actually there's not a significant breakthrough in how much knowledge was learned that was already in gpt3 and there was much more impressive models already trained so it's on the way not just open AI but this kind of fighting fine tuning is called by human labelers plus reinforcement learning you start to get like like where uh students don't have to write essays anymore in high school yeah where you can style transfer like I said uh do a uh Louis CK joke install Joe Rogan or Joe Joe Rogan joke and the style of Lucy K and does an incredible job at those kinds of style transfers you can uh more accurately query things about the different historical events all that kind of stuff how far away are we from something like chat GPT being impossible to detect whether or not it's a person or whether it's chat GPT well it depends who is playing with it I think we're not that far away in terms of capability but in order to use these systems and rather in order to train these systems you have to be a large company and large companies tend to get scared when it's doing interesting stuff really well they tend to want to even currently with chat GPT it's become a lot less interesting interesting spoken in a Bukowski Hunter S Thompson kind of interesting because the companies are kind of censoring it you don't want it to have any kind of controversial opinions you don't want it to be too edgy you don't want it to be real too like if I ask it how do I build the bomb because I want to destroy the world we wanted to prevent that how about how do I uh uh I don't know convince I don't know anything about this but how do I convince a dude or a girl to sleep with me and go like anything I'm just off the top of my head anything you start to get nervous imagine if you're a company how do I want people to use this kind of system right especially because it's basically an assistant that gives you wisdom about the world gives you knowledge about the world you can be like how do I replace a carburetor yeah that's great"
다음을 요약합니다.
제목: "조 로건: AI 직원들은 무엇을 했나요? | 렉스 프리드먼 - YouTube"
트랜스크립트: "이봐요, 당신네 사람들은 뭘 했어요? 당신네들은 이 [ \_\_ ] 채팅 GPT [ \_\_ ] 이건 [ \_\_ ]를 무섭게 하네요 당신네 사람들이란 무슨 뜻이죠? 라우터를 때려눕히고 뭘 했나요? 네, 정말 흥미롭고 매혹적인 언어 모델이 무엇인지 아시는지 모르겠지만 그게 일반적인 어 시스템입니다. 지난 4 년 동안 공격적으로 발전해 온 7 월 어린이 GPT와 GPT에는 많은 개발이있었습니다. GPT 1 gpt2 gpt3 어 gbt 3. 5와 차드 gbt에는 우리가 다루고 싶지 않은 흥미로운 기술적 인 것들이 많이 있습니다. 저는 그것에 매료되었습니다. 차드 GPT는 기본적으로 1750 억 개의 매개 변수 신경망에 기반을두고 있으며 나머지는 어떤 데이터를 기반으로 훈련되고 어떻게 훈련되어 이미 뇌처럼 거대한 신경망을 가지고 있고 단지 훈련 된 것입니다. 그래서 차드 어 GPT 3는 약 2 년 전에 나왔고 인상적이지만 여러면에서 멍청한 것처럼 인간이 특정 종류의 텍스트를 생성하는 데 기대할 수있는 것처럼 멍청한 말을하는 것 같았고, 이것은 정말 인상적이지만 지능적이지 않다고 말할 수있는 것은 아니며 그들이 GPT 3로 한 일입니다. 5는 더 많은 종류의 데이터 세트를 추가하기 시작했고 그중 하나는 아마도 현재 가장 똑똑한 신경망 중 하나 인 코덱스입니다. 프로그래밍 코드에 대한 코드에 대해 훈련 된 것처럼 프로그래밍을 위해 조정되었으며 채팅 GPT 인 프로그래밍 코드를 훈련 할 때 더 이상 인터넷의 정보와 지식이 아니기 때문에 추론과 같은 것을 가르치고 있기 때문에 논리를 좋아할 수있는 추론이기도합니다. 프로그래밍 코드를 보고 있으면 [ \_\_ ]이 무슨 말을 하는 거지? 아니 아니 아니 그건 내가보고있는 게 아니야 오 마이 갓처럼 당신을보고 있지만 추론은 말이되는 문장을 함께 연결할 수 있으려면 사실을 알아야 할뿐만 아니라 7 월에 그 문장을 추론 할 수 있어야한다는 것을 우리는 인간으로서 당연하게 생각합니다. 우리는이 전쟁이이 날짜에 시작되었고이 날짜에 끝났다는 것과 같은 상식적인 추론을 할 수 있다는 것을 인간으로서 당연하게 생각합니다. 시간적 일관성이 있고 원인과 결과가 있으며 이러한 모든 것이 프로그래밍 코드 안에 있습니다. 그런데 제가 말하는 많은 것들이 우리가 여전히 이해하지 못한다고 말하는 것은 이것이 왜 그렇게 잘 작동하는지 직관하는 것과 같습니다. 5는 아직 논문이 없기 때문에 세부 사항을 정확히 알 수는 없지만 코드와 더 많은 데이터에 대한 훈련을 통해 추론을 제공 할 수 있다면 이것은 정말 중요합니다. 이 네트워크가 생성하기를 바라는 작은 데이터 세트에 대한 인간의 라벨링에 의해 인간이 라벨링하여 감독 방식으로 조정 여기에 말이되는 내용이 있습니다 여기에 말이되는 대화가 있습니다 여기에 말이되는 질문에 대한 답변이 있습니다 기본적으로 신경망의 거대한 타이타닉을 인간이 생각하고 말하는 방식과 일치하는 올바른 방향으로 가리키는 것이므로 Wikipedia의 거대한 지혜를 사용하는 것이 아니라 내가 말할 수있는 것입니다. 이 기차를 설정하는 데이터에 대해 이야기 할 수 있지만 기본적으로 인터넷은 잘못된 방향을 가리키고 있었기 때문에이 감독 된 라벨링을 사용하면 [ \_ \_ ] 당신은 거룩한 [ \_ \_ ] 그것은 꽤 똑똑하기 때문에 그것이 정렬이고 그들은 정말 흥미로운 것을했습니다 강화 학습 인간의 라벨링 데이터를 기반으로하는 이것은 상당히 큰 데이터 세트입니다 작업은 다음과 같습니다. 5 가지가 많은 텍스트를 생성하고 인간이 어떤 것이 가장 좋아 보이는지 레이블을 지정하므로 예를 들어 질문을하는 것처럼 순위를 매길 수 있습니다. 조 로건 스타일의 농담을 생성 할 수 있고 5 가지 옵션이있는 레이블이 있고 내가 언급 한 것처럼 레이블이 있습니다 거시기와 [ \_ \_ ] 정확히 어떻게되는지는 모르겠지만 인간의 레이블이 바로 거기에 앉아서 매우 많은 수의 사람들이 풀로 일하고 있습니다. 그들이이 모델의 출력 순위에 레이블을 지정하고 강화 학습이라는 기술과 함께 사용되는 이러한 종류의 순위는이 것이 인간 출력에 매우 인상적인 결과를 생성하도록 할 수 있으므로 실제로 gpt3에 이미 학습 된 지식의 양에 큰 돌파구가 없으며 이미 훈련 된 훨씬 더 인상적인 모델이 있었기 때문에 개방형 AI뿐만 아니라 이러한 종류의 싸움 미세 조정은 인간 라벨러와 강화 학습에 의해 호출되며 다음과 같은 것처럼 시작됩니다.