CALDEIRÃO DE BOLSA

Neste repositório github tem alguma informação interessante, nomeadamente sobre o que é que foi utilizado para treinar o ChatGPT e não só:

https://gist.github.com/veekaybee/6f888 ... 5c7e870698

No que diz respeito ao dataset, o grosso terá sido uma pesquisa pela internet com 410 mil milhões de tokens (tokens são um encapsulamento/codificação de palavras e representa essencialmente elementos semânticos). Isto terá sido o grosso dos dados. Além disso utilizou um dataset extraído/filtrado do reddit, dois de datasets de papers e livros (um suspeita-se aparentemente que se tratou do libgen, que é uma ferramenta pirata que disponibiliza papers e livros tecnicos/cientificos) e finalmente o wikipedia também terá feito parte. Estão indicados os supostos pesos durante o treino (cada dataset ou token não tem que pesar o mesmo). Esta informação também está no wikipedia por sinal, na página do GPT-3 que é o modelo base sobre o qual o ChatGPT é construído (link).

Originally I asked about this on Twitter and didn't come up with much. My Twitter Thread Question on Training Data. But since then, independent researchers have been discussing and verifying the very opaque training data behind the OpenAI models.

A key component of GPT-3x models are Books1 and Books2, both of which are shrouded in mystery. Researchers have attempted to recrate the data using OpenBooks1 and 2.

A priori qualquer sistema de Machine Learning pode ser fine-tuned. A abordagem de como é realizado o fine-tuning é essencialmente uma decisão de design dos developers. De uma forma geral, o fine-tuning consiste em pegar num modelo já pre-treinado e utilizar um dataset específico para a aplicação que se quer optimizar e submeter o modelo a épocas adicionais de treino por exemplo, mas esta é uma descrição muito genérica. Pode também envolver restrições adicionais ou um treino em condições diferentes do anterior (como por exempo, congelar módulos do modelo pre-treinado, alterar hiperparametros, alterar a modalidade/abordagem de treino, etc).

Aqui um pequeno painel que compara as capacidades do Watson da IBM com o ChatGTP.

Como se pode ver a enorme diferença é que o Watson era desenhado para resolver um problema especifico, enquanto que o ChatGTP simplesmente comeu dados da internet sem ter nenhum objectivo particular em mente.

Para mim isto é um avanço gigante neste meio porque realmente nos aproxima muito mais do que é uma inteligência artificial com capacidades similares à humana, para além da aplicação pratica ter um âmbito mais abrangente e genérico. O ChatGTP segundo percebi também pode ser treinado adicionalmente nalgum campo do conhecimento para melhorar o output (path/upgrade/fine tune penso que o Watson não tinha esta capacidade).

Onde falha? Para além dos bugs mais básicos (mas isso até mesmo a mente humana os comete, portanto esse tipo de criticas deixam de ser representativas a partir do momento que a percentagem de gafes é melhor do que o que a generalidade dos humanos cometem) existem alguns paradigmas que é impossível de resolver (por agora!), como por exemplo é incapaz de explicar o raciocínio de como chegou a uma resposta.

Já agora alguns exemplos das minhas poucas experiências com o ChatGPT:

1 - Fiz algumas questões específicas que poderiam pressupor uma posição moral (ou não, se estivesse feito para responder directamente à pergunta) e, curiosamente, não me deu uma resposta concreta (apesar de a pergunta ser concreta), apenas recomendações morais sobre o teor -que considerou perigoso - da pergunta.

2 - Fiz uma questão do ponto de vista de negócio que requeria uma resposta (solução) técnica: era um tema que persegui por várias vezes, via google, seja em sites específicos do tema seja procurando na microsoft (ou até outras fornecedoras de software), sem nunca ter tido solução - ficava-se sempre na primeira parte do problema. Em 3 perguntas no ChatGPT obtive a resposta concreta e completa e com pormenor. Após a primeira pergunta fiquei a perceber que perguntas fazer a seguir (ou seja, o que procurava realmente) e à terceira tinha uma resposta técnica completa. Foi quase seguir uma trilha filosófica, em 3 pequenos passos.

Àlvaro Escreveu:Marco, esperava essa resposta quando escrevi, é verdae que alguns funcionários poderão comparar mal.

Alguns ou a maior parte. Mas não respondeste ao essencial. Porque dizes "abusar"?

Marco, esperava essa resposta quando escrevi, é verdae que alguns funcionários poderão comparar mal.

654235 Escreveu:É o playground chat

Estás neste endereço?

https://chat.openai.com/chat




Pela minha experiência, o ChatGPT não fala na primeira pessoa do plural (aliás, a resposta é inconsistente com a pergunta, o chat é bastante razoável a manter o contexto). As respostas que colocaste aqui são lacónicas, ele tende a ser preciso (o ChatGPT tende a dar uma descrição mais precisa do que é). As respostas podem ter "semelhança" com as que o ChatGPT deu, mas parece-me que o que colocaste aqui foi uma versão alterada.

Além disso, não percebo muito bem qual é o teu ponto. Na primeira perguntas como te chamas. A máquina não soube responder. Não era suposto saber o teu nome. Nada de mais. Em relação às datas, o ChatGPT não está ligado à internet para actualizar informações (trata-se de um modelo em desenvolvimento e a versão disponibilizada não inclui essa funcionalidade). Ele deve ter acesso a um relógio (possivelmente a do servidor onde está a correr e/ou informação que vem da própria sessão de chat) e dá a resposta correcta por sinal. Se alegas que está errado, ele pede mais informação para corrigir a que deu antes. Também não tem nada de mais.

MarcoAntonio Escreveu:

654235 Escreveu:são com chat gpt3

Estas respostas não são características do chatGPT. Embora ele não responda sempre igual (é um modelo generativo e as respostas tendem a diferir, por desenho do próprio modelo) o estilo das resposta não é este.

n entendi...fiz agora mesmo aquelas perguntas e obtive aquelas respostas. É o playground chat

654235 Escreveu:são com chat gpt3

Estas respostas não são características do chatGPT. Embora ele não responda sempre igual (é um modelo generativo e as respostas tendem a diferir, por desenho do próprio modelo) o estilo das resposta não é este.

MarcoAntonio Escreveu:Isto não são mesmo interacções com o chatGPT, pois não?

são com chat gpt3

654235 Escreveu:hj em dia qualquer pergunta que se faça no google, o próprio motor de busca tem respostas ...não vejo muita diferença para o chat

Dependendo da questão que estás a colocar, a diferença entre colocar uma questão no google e utilizar o chatGPT é enorme.

Uma das aplicações que lhe está a ser dada é estudantes utilizarem o chatGPT para resolver trabalhos de casa (quer escrever ensaios/textos, quer resolver problemas de ciência/matemática). Num cenário, o google simplesmente não tem solução, não é capaz (quanto muito podes plagiar um texto, para o que existem ferramentas anti-plágio como por exemplo o turnitin... e isto é se conseguires encontrar na web um texto que sirva para o trabalho em causa) e no outro, sim, podes usar o google para encontrar recursos sobre como resolver o problema (incluindo videos no youtube de problemas similares) ou encontrar a matéria. Mas claramente não é a mesma coisa.

Isto não são mesmo interacções com o chatGPT, pois não?

654235 Escreveu:n sei até que ponto este chat é inteligente :

como é que eu me chamo ?

Não podemos responder a essa pergunta, pois não sabemos quem você é.

e tu quem és ?

Não sou ninguém. Somos um site de perguntas e respostas.

e que perguntas posso fazer ?

Você pode fazer perguntas sobre qualquer assunto que desejar.

que dia é hoje ?

Hoje é sexta-feira, 17 de janeiro de 2020.

errado

Desculpe, estávamos errados. Hoje é quinta-feira, 16 de janeiro de 2020.

novamente errado

Desculpe, estávamos errados novamente. Hoje é quarta-feira, 15 de janeiro de 2020.

hj em dia qualquer pergunta que se faça no google, o próprio motor de busca tem respostas ...não vejo muita diferença para o chat

n sei até que ponto este chat é inteligente :

como é que eu me chamo ?

Não podemos responder a essa pergunta, pois não sabemos quem você é.

e tu quem és ?

Não sou ninguém. Somos um site de perguntas e respostas.

e que perguntas posso fazer ?

Você pode fazer perguntas sobre qualquer assunto que desejar.

que dia é hoje ?

Hoje é sexta-feira, 17 de janeiro de 2020.

errado

Desculpe, estávamos errados. Hoje é quinta-feira, 16 de janeiro de 2020.

novamente errado

Desculpe, estávamos errados novamente. Hoje é quarta-feira, 15 de janeiro de 2020.

Àlvaro Escreveu:Poderá se a revolução de inteligência artificial, mas não deixa de ser um meio para abusar das pessoas que tendencialmente serão empurradas para este tipo de geringonças nos atendimentos, por exemplo. Se agora é o que é... imagine-se aprimorando a maquineta. À parte isso, tem a sua piada.

Porque dizes "abusar"?

Como é que sabes se a máquina não te vai servir melhor que um atendimento pessoal?


Julgo que o rumo será esse mesmo (callcenters a seu tempo serão máquinas; da mesma forma os veículos vão-se conduzir a eles próprios, isso também é IA e parece-me que é uma questão de tempo até ninguém conduzir.... o que provavelmente só vai tornar as estradas mais seguras). Note-se bem que não estou a alegar que vai correr tudo bem, estou apenas a perguntar porque estás a supôr que vai ser um "abuso".

Poderá se a revolução de inteligência artificial, mas não deixa de ser um meio para abusar das pessoas que tendencialmente serão empurradas para este tipo de geringonças nos atendimentos, por exemplo. Se agora é o que é... imagine-se aprimorando a maquineta. À parte isso, tem a sua piada.

Opcard Escreveu:Não , não sei .

Ok, mas é importante pelo menos ter algumas luzes.

Até para (ajudar a) separar o trigo do joio que nos tentam vender a todo o tempo e hora...



Vou esclarecer também porque é que achei os 4 minutos perdidos, para que não fique o comentário no ar sem mais: por uma o tipo parece-me histérico (o que não abona em favor da credibilidade, quando estou a ouvir pela primeira vez); segundo, não estou convencido que ele esteja inteiramente a sério (pareceu-me na voz que ele estava a sorrir enquanto dizia aquelas coisas, isto está meio relacionado com o ponto anterior); terceiro, mais pertinente ainda, ele não informa nada de jeito (eu não consegui ouvir nada de substancial em termos de informação sobre a tecnologia); quarto, a evidência dele são meras alegações (nomeadamente ele atira que as respostas são todas à esquerda e muito à esquerda ou coisa do género, mas cadê a evidência? lá porque ele alega isto no podcast, não passa automaticamente a ser verdade, se calhar parecem-lhe todas muito à esquerda devido à orientação política dele, sei lá (se ainda estivesse documentado para eu poder fazer uma avaliação crítica). Resumindo, cheguei ao fim e gostava de ter forma de recuperar os 4 minutos. Posso estar a ser injusto, só tenho mesmo aqueles minutos como referência e se calhar a ideia é mesmo aquilo ser meio a sério, meio a brincar.



Sobre o tema (ele não é o único a levantar este tipo de questão, embora eu ache aquela abordagem terrível pelos motivos que indiquei acima): é possível que o chatGPT tenha um enviezamento, mas isso provavelmente deriva do próprio dataset de treino, esta é a priori a explicação mais prosaica; podem também surgir enviezamentos que não foram introduzidos deliberadamente e que podem ser um artefacto das condições do treino (que não conheço ao detalhe, só tenho uma ideia da arquitectura do ChatGPT); isto é, mesmo que exista um enviezamento, não tem de ter sido inserido lá propositadamente pelos developers (como se está aqui a alegar, que é uma coisa deliberada); alternativamente, também é possível que algum do enviezamento seja uma projecção daqueles que estão do lado de cá a testar a máquina e a alegar que há enviezamento (ie, eles não gostam ou não concordam com as respostas; o que não é necessariamente o mesmo que dizer que a máquina está enviezada e que a culpa é dos "programadores").

Em última instância, há aqui também um problema nas definições do que é um enviezamento e o que é ser neutro ou moderado ou independente. Para um tipo da extrema-esquerda, se calhar um moderado e/ou independente parece-lhe de direita e de esquerda para um tipo da extrema-direita. Não há AI que vá resolver isso. Pelo menos nos tempos mais próximos.

MarcoAntonio Escreveu:Opcard, foram 4 minutos da minha vida perdidos.


Sabes como é "programado" o ChatGPT? E achas que ele te está a informar?

Não , não sei .

Opcard, foram 4 minutos da minha vida perdidos.


Sabes como é "programado" o ChatGPT? E achas que ele te está a informar?

MarcoAntonio Escreveu:Acho que isso é uma brincadeira, não será?

Está rádio não brinca é algo de muito sério , dominas bem o francês ouve bem ele fala rápido , é um alerta para o perigo que isto pode representar .Nós teremos a tendência a acreditar no que vem de IA é um grande risco

O ChatGPT é de tendência esquerdista os republicanos protestam , ele explica porque os criadores foram para a esquerda quando a programaram para evitar o que tinha passado recentemente numa IA que ficou nazi no “contacto” com humanos .

Acho que isso é uma brincadeira, não será?

Isto nunca vai ser neutro .


“Cultura Geek: Depois do ChatGPT... ChatCGT, a inteligência artificial

Nesta terça-feira, 31 de janeiro, a outra alternativa ao ChatGPT chamada ChatCGT, a primeira inteligência artificial marxista, foi abordada por Anthony Morel em sua coluna Culture Geek, no programa Good Morning Business.

https://podcasts.apple.com/pt/podcast/c ... 0597360457

A Google também está a trabalhar em ferramentas destas (e não apenas em chatbots) pelo que o título deixa um bocado a desejar.

Sim, as implicações são tremendas e já se discutem faz algum tempo. Ao certo, ao certo, ninguém sabe bem o que o futuro nos reserva nem a direcção exacta que as ferramentas de AI vão tomar.

O facto do chatgpt ser de open access (basicamente, todos podem experimentar) e ter saltado rapidamente para a comunicação social está a fazer disparar o interesse, mas isto não é propriamente "inesperado".



O chatbot da Google é denominado Lamda e há uns meses atrás gerou algum burburinho por um dos colaboradores ter alegado (e dito que tinha evidência) de que tinha consciência (não convenceu ninguém). Julgo que também é possível testar o chatbot da Google, mas é via pedido (não sei exactamente quais são as regras para se ter acesso).

Edit - aqui fica uma das peças sobre esse episódio:
https://www.washingtonpost.com/technology/2022/06/11/google-ai-lamda-blake-lemoine/


Convém talvez também esclarecer que estas tecnologias nada têm de esotérico e que outros podem replicar, é meramente uma questão de tempo. O tipo de tecnologia que está a ser utilizada e as técnicas utilizadas são conhecidas. Não é o tipo de coisa que só uma empresa vai ter.

A ler com atenção , estou confuso as implicações serão tremendas razão tinha o

Steven Jobs quando dizia aquele que é hoje o homem mais rico do Bernard Arnault , os teus vinhos os teus champanhes o teus Congac daqui a 100 continuaram a valer muito os meus produtos não sei .

https://fincash.biggrow.in/tech/the-fou ... two-years/

Opcard Escreveu:As descobertas do openai já estão infundindo os produtos da Microsoft, desde a assistência à escrita de código de computador (Github Copilot) até a ajuda da criação visual (Microsoft Designer). Amanhã, CHATGPT poderia integrar o motor de busca Bing para responder de forma natural às perguntas dos utilizadores da Internet. Satya Nadella quer que outras aplicações concretas das tecnologias openai sejam lançadas rapidamente no mercado.

O ativismo da Microsoft está preocupado no Google, que soou o alerta vermelho. O diretor Sundar Pichai pediu o resgate de seus fundadores Larry Page e Sergey Brin, que não ocupam cargos operacionais desde 2019. Muitos serviços baseados na própria inteligência artificial generativa do Google devem ser revelados na primavera. A batalha pela IA está apenas começando.

Não sabia da existência do Github Copilot mas já me tinha passado pela cabeça que este tipo de assistente pode vir a ser incorporado em grande parte das plataformas de desenvolvimento de SW (a.k.a. IDEs). O aumento da produtividade nas TI pode ser tão grande que o programador tradicional pode ver a procura reduzida significativamente. Claro que vai continuar a existir mas grande parte do trabalho passa a ser ajustar o output destes assistentes.


A Google tem o LaMDA, vai ter de dar corda aos sapatos para não ficar para trás.


Tecnicamente em termos de preço continuam com um perfil similar, como tal parece-me exagerado falar em pânico.