Engenharia e produto
O que estamos a aprender enquanto construímos a pilha de dados que gostaríamos de ter tido.
Decisões de engenharia. Medições. Testes de segurança. Coisas que deixaram de funcionar. Coisas em que errámos. E o raciocínio por trás do produto.
Temas em destaque
01
Construir analytics sem construir um departamento de dados
Porque é que recolher dados é fácil e torná-los úteis não é.
02
Fazer perguntas aos dados em linguagem simples
Como a análise em linguagem natural pode funcionar sem dar a uma IA acesso sem restrições ao seu data warehouse.
03
A infraestrutura por trás da análise de dados para clientes
Os problemas de ingestão, armazenamento, isolamento e consulta escondidos por baixo de “é só dar um dashboard aos clientes”.
04
O que dizem as medições
Experiências de desempenho, benchmarks e os limites à volta dos números.
05
Segurança que pode verificar
Resultados de red team, isolamento entre tenants e os controlos que temos de facto.
Sem caixa negra. Sem história perfeita.
Publicamos as decisões, as medições e os erros porque o produto deve ser compreensível antes de merecer confiança.
-
Put your dashboards on your own page
A read-only public API for the dashboards you share, an open source library that draws them on any web page, and short-lived sessions so that no credential of ours ever sits in your HTML. Here is how it works, and the decisions that made it safe to hand to a stranger.
engineeringapisecurity -
We pointed Event Horizon at Event Horizon
Our own servers, containers, ClickHouse and API requests now flow through the same pipelines, builder, anomaly bands and forecasts our customers use. Here is what that looks like, and how to build the same thing for your stack.
engineeringobservability -
The price that changed twice
Most ecommerce data lives in MySQL or Postgres, and a row doesn't always mean an event. Here's what we built so a changing product still has one current answer, and a real bug we found chasing the fix.
engineeringecommerce -
The chart that took thirty seconds to draw
A zoom fix we'd shipped days earlier turned out to be incomplete, and the bug we found chasing it down had nothing to do with what we blamed first. Here's the mistake, the fix, and a rule we shipped and un-shipped the same day.
engineeringperformance -
Compara qualquer período com o anterior
Mês a mês, trimestre a trimestre, ano a ano. A pergunta mais comum sobre qualquer número é "comparado com o quê?", e não devia precisar de SQL nem de calculadora. Aqui fica onde isto vive no editor e como se lê.
product -
Pergunta aos teus dados, pelas tuas palavras
Escreve a pergunta como a dirias em voz alta e recebe uma query casada com os valores que estão mesmo nos teus dados. Nas nossas próprias máquinas, e a mostrar-te só o que consegue provar.
productai -
Uma tela em branco é uma pergunta
O nosso ingestor abria numa grelha vazia, o que parecia liberdade e era um interrogatório. Corrigir isso obrigou-nos a admitir que todas as perguntas que fazíamos primeiro eram sobre a nossa arquitetura, e nenhuma era sobre o cliente.
engineeringproduct -
As razões que dei a mim próprio estavam erradas
Passei anos com certezas sobre como a analítica deve escalar. Uma base de dados em cluster, cubos OLAP, depois um motor colunar. Todas essas certezas morreram contra uma medição, incluindo as que usei para justificar a migração que continuo a achar certa.
engineeringarchitecture -
SQL e notebooks, sem um warehouse para gerir
O padrão continua a ser sem SQL, para quem tem a pergunta mas não a query. Mas parte da tua equipa escreve SQL e vive num notebook. Por isso construímos os dois, sobre carris: escreves contra as tuas tabelas, nunca contra o nosso warehouse, e toda a query é verificada em custo antes de correr.
productsqlanalytics -
Segurança que se verifica, não só que se acredita
O isolamento multi-tenant é fácil de afirmar e difícil de provar. Por isso fazemos red-team ao nosso próprio, contra o sistema em produção, e publicamos o resultado. Eis como os teus dados continuam teus, e onde nos verificar.
securitytrust -
Transformar eventos em decisões
Todas as equipas recolhem dados de eventos. Poucas os transformam em respostas. Eis a lacuna que decidimos fechar, e porque construímos a stack inteira, não mais um dashboard.
analyticsproduct