Os pesquisadores da Apple publicaram detalhes do SQUIRE, uma ferramenta experimental alimentada por IA que ajudou os desenvolvedores a explorar e refinar ideias de interface com mais controle do que com ferramentas típicas de codificação de IA. Aqui estão os detalhes.
Uma abordagem interessante para prototipagem de interface baseada em IA
Em um novo artigo intitulado SQUIRE: Interactive UI Authoring via Slot QUery Intermediate REpresentations, um grupo de desenvolvedores da Apple propõe uma nova maneira de abordar interfaces geradas por IA.
Conforme explicam, a linguagem natural tem trazido mais flexibilidade a múltiplos aspectos do processo de desenvolvimento, mas também traz dois desafios principais:
Primeiro, a linguagem natural por si só pode ser ambígua, tornando difícil para os desenvolvedores comunicarem com precisão suas intenções. Em segundo lugar, o modelo pode responder de forma imprevisível, exigindo que o desenvolvedor solicite novamente por tentativa e erro para reparar quaisquer alterações indesejadas.
É aí que entra o SQUIRE. É uma interface visual que permite aos desenvolvedores construir e refinar protótipos de UI passo a passo, com controle mais claro sobre os resultados.
Do estudo:
No SQUIRE, os usuários iniciam um projeto fornecendo um prompt que descreve seus objetivos para a UI, juntamente com dados de amostra contendo informações para o SQUIRE usar como referência. Os usuários então constroem a UI como uma árvore de componentes de cima para baixo, solicitando ao SQUIRE que preencha as lacunas que representam a funcionalidade ausente, mas esperada. Em resposta a esse tipo de solicitação, o SQUIRE gera uma lista de alternativas apropriadas, cada uma com escopo específico para o buraco alvo na UI inacabada. Clicar em cada alternativa atualiza imediatamente uma visualização renderizada ao vivo, bem como o código subjacente, facilitando a visualização das diferenças. O usuário também pode fazer solicitações direcionadas para modificar a aparência de áreas específicas da UI, com a garantia de que nenhum código fora do escopo pretendido sofrerá mutação. Em resposta a esse tipo de solicitação, o SQUIRE gera controles efêmeros que permitem ao usuário aplicar alterações semanticamente relacionadas rapidamente e sem nova solicitação. Em todos os casos, o LLM atua como um companheiro, apresentando escolhas razoáveis para o usuário avaliar, mas deixando ao usuário o arbítrio para aceitar ou rejeitar suas sugestões.
Em outras palavras, os prompts em linguagem natural ainda eram a forma como os desenvolvedores interagiam com o SQUIRE, mas em vez de afetar toda a interface de uma vez, cada prompt está vinculado a uma parte específica da IU.
Com base em observações com 11 desenvolvedores front-end que usaram o SQUIRE para desenvolver protótipos de interface, os pesquisadores descobriram que os participantes foram capazes de explorar e iterar em diferentes designs de UI com um forte senso de controle, ao mesmo tempo que avaliaram o sistema com alta usabilidade e satisfação geral.
Além disso, eles observam que essa sensação extra de controle deixou os desenvolvedores mais confortáveis para explorar caminhos que, de outra forma, não teriam tentado, já que as alterações eram fáceis de fazer, prever e desfazer.
Do estudo novamente:
Por meio de dados coletados de um estudo de usuários de 11 desenvolvedores front-end, descobrimos que (1) as interações do SQUIRE encorajaram os participantes a explorar com frequência, em vez de simplesmente usar o SQUIRE como um acelerador de código, (2) os participantes se sentiram encorajados a assumir riscos ao fazer alterações, sabendo que as consequências de tomar decisões atípicas sempre poderiam ser desfeitas sem atrito, (3) os participantes indicaram confiança de que o SQUIRE correspondia à sua intenção ao fazer alterações, e (4) os participantes ficaram geralmente satisfeitos com a qualidade do código e dos recursos visuais gerados pelo sistema.
ESCUDO sob o capô
Em vez de gerar o código da interface diretamente a partir dos prompts do usuário, o SQUIRE primeiro cria sua própria representação intermediária da interface, chamada SquireIR, que modela a UI como uma árvore de componentes com slots nomeados que podem ser preenchidos ao longo do tempo, como no exemplo abaixo:
Essa estrutura também pode incluir espaços reservados para partes que ainda não foram definidas (por exemplo, um rótulo de botão, uma imagem ou uma seção de conteúdo), bem como diversas alternativas possíveis de UI. Por exemplo, pode representar o mesmo conteúdo de uma lista ou de uma grade.
A partir daí, o SQUIRE traduz essa representação em código usando HTML, CSS e JavaScript, com Web Components cuidando da estrutura final da UI.
Outro aspecto importante do SQUIRE é como ele lida com as mudanças.
Se um desenvolvedor solicitar um ajuste de botão ou layout, apenas essa parte será atualizada, enquanto todo o resto permanecerá intacto.
De acordo com os pesquisadores, isso ajuda a evitar ciclos de tentativa e erro vistos em muitas ferramentas de codificação de IA devido à imprevisibilidade geral dos LLMs, onde o modelo pode fazer alterações além do que o desenvolvedor pretendia.
Essa estrutura é o que também permite ao SQUIRE sugerir múltiplas opções em cada etapa, para que os desenvolvedores possam comparar rapidamente diferentes versões sem perder o trabalho anterior.
Ao contrário de muitos artigos técnicos, este estudo não entra em detalhes sobre treinamento de modelo, arquitetura ou dados. Os pesquisadores observam que o SQUIRE é alimentado pelo GPT-4o da OpenAI, mas o foco do artigo está firmemente no design do sistema e no modelo de interação
O SQUIRE não está disponível para o público geral e seu uso foi limitado aos 11 desenvolvedores que participaram do estudo. No entanto, não é difícil imaginar como algo assim poderia ser implementado em versões futuras do Xcode ou em outras ferramentas de desenvolvimento criadas pela Apple.
Para saber mais sobre o SQUIRE, siga este link.
Vale a pena conferir na Amazon
FTC: Usamos links de afiliados automotivos para geração de renda. Mais.
