What are temporal tables?

Temporal tables, also known as temporal data tables, are a feature in database systems that allow you to keep track of states of data over time. These tables store historical versions of data, providing a way to query and analyze how data has evolved over different points in time. A mechanism to fly back in time, so to speak. Such a feature is especially useful when handling data that does not only consist of immutable facts, but also data that is mutable or somewhat mutable. There is more mutable data than one might think. Let’s look at an example, a table of employees:

It looks simple enough, doesn’t it? It’s very immutable at first glance, one might think, but then life happens. Max and Erika get married, so both take the last name “Muster”. A year later, Max decides to be a stay-at-home dad and quits. Now, the table might look like this:

Answers to the questions: “Did we have an employee called Mustermann?” or “Did we have an employee called Musterfrau” are lost.

One might work around this by adding “employment_start” and “employment_end” columns and maybe some column like “maiden name”, but all of this only covers the cases we thought about. Things like a name change caused by a divorce would not be covered. Furthermore, we haven’t looked at more fluid data like addresses, for example.

From this example, we can see that building a history on the application layer might be a solution, but having a history on the database layer might be more convenient.

Basic layout of a temporal table

Temporal tables contain time slices of each row of the original data table. Practically speaking, all the data with an added “valid_from” and “valid_to” column. By that, there can be multiple rows of our employee data that were valid at different times. The temporal table of our employee table might look like this:

As we can see, all the states of our employee data are preserved in our history table:
We can see that there were once rows of Max Mustermann and Erika Musterfrau that changed to Max & Erik Muster. Afterward, the row of Max Muster stopped to exist.
We don’t have any reasons for these changes, but we have all the history, and we can have that without changing the application by letting SQLite take care of it by using triggers.

Database-Triggers

Database triggers are powerful and versatile tools in the world of database management. Essentially, a database trigger is a set of instructions that automatically execute in response to a specific event or action within a database. The most common events for triggers are data modifications, such as inserts, updates or deletes. We will use triggers to log the data changes to our history / temporal table. One might say we instruct the database to log all changes.

How to get there with SQLite – Technical steps

To get it working there are two steps needed:
1.) Create the history table that holds the historic data based on the original data structure
2.) Create triggers that fill or update the history table on insert, update and delete of the original data.
Both of these steps might be done by hand, but I’m lazy. Therefore, I created a Python script that takes a SQLite Database and a table name and creates SQL-Statements for 1.) & 2.).

The script can be found over on github: https://github.com/balu-/temporal-tables-in-SQLite

Appendix:
I’m not the first one thinking about something like this:
Simon Willison has created something in the same direction (https://simonwillison.net/2023/Apr/15/sqlite-history/). His storage format is more sophisticated and space-preserving, but, in my opinion, less easy to access.
Thatdevsherry (https://github.com/thatdevsherry/historia) has taken a different aproch to reach a similar result. He built a layer between the application and the database, that layer creates, updates history data.

You can use the following settings to ensure that Dovecot and Postfix use a modern TLS version:

For Dovecot:

1. Open the file /etc/dovecot/conf.d/10-ssl.conf (Debian).
2. Uncomment the line starting with ssl_min_protocol and set it to ssl_min_protocol = TLSv1.2.

For Postfix:

1. Open the file /etc/postfix/main.cf (Debian).
2. Add the following directive: smtpd_tls_mandatory_protocols = !SSLv2,!SSLv3,!TLSv1,!TLSv1.1.

Finally, reload Postfix with systemctl reload postfix and restart Dovecot with systemctl restart dovecot.

1. Check the state of timedatectl
Therefore type the comand timedatectl to the shell.
The output should look something like this:

Local time: Fr 2023-01-06 19:34:27 CET
Universal time: Fr 2023-01-06 18:34:27 UTC
RTC time: n/a
Time zone: Europe/Berlin (CET, +0100)
System clock synchronized: no
NTP service: n/a
RTC in local TZ: no

The important part is “System clock synchronized: no” and “NTP service: n/a“. This tells us that there currently is no timesyncing via systemds timedatectl.

2. Install systemd-timesyncd

To install the missing software via apt by typing

sudo apt install systemd-timesyncd

After installing the software the output of timedatectl shows that syncing and ntp is working now:

Local time: Fr 2023-01-06 19:38:40 CET
Universal time: Fr 2023-01-06 18:38:40 UTC
RTC time: n/a
Time zone: Europe/Berlin (CET, +0100)
System clock synchronized: yes
NTP service: active
RTC in local TZ: no

(Optional 3. Configure time servers)

For me the next step was to configure the timeservers that should be used. This might not be needed but my system doesn’t have internet access so the default ntp servers are not accessible. (To show which settings are active currently the comand “timedatectl show-timesync --all” can be used)

The timeservers are configured in /etc/systemd/timesyncd.conf after changing its content the service has to be reloaded/restarted by sudo systemctl restart systemd-timesyncd.

Erase flash of the esp
esptool.py -- erase_flash

One of my smart ESP devices wasn’t responding after a power down.
I debugged the problem by connecting it to a serial interface. On the comandline I saw that the chip wasn’t able to connect to its WIFI. To check wether the chip was fried or if its just the software thats messing around I had to delete all of its storage, to reflash the software afterwards. To do that i used the comands stated above.

Zwischen Bergen und Meer, auf kleinen Straßen die sich an den Hängen von Bucht zu Bucht winden. Wo sich die kleinen Orte bunt vom Meer den Hang hinauf winden. Hier wo die Zitronen blühen, hier in Ligurien, hier kommt er her der Limoncino. Er ist der nördliche Bruder des Limoncello, der eher an der Amalfi Küste und in Sizilien zu hause ist.

Frisch, fruchtig und zum verlieben, einen Teil seiner Heimat bringt der Limoncino mit ins Glas.

To do so you need to use the deconz touchlink api (described here):

First step is to search for touchlink devices, its done by:
POST /api/<apikey>/touchlink/scan

Afterwards the result is queryed by
GET /api/<apikey>/touchlink/scan

The result will look something like this
{
"scanstate": "scanning",
"lastscan": "2022-10-12T08:14:12",
"result": {
"1": {
"factorynew": true,
"address": "0x00123abc"
}
},
}
Refresh that url until the scan is finished which is shown by “scanstate” having the value “idle”.

After having the full list of touchlink devices you need to identify which one is the desired light strip. To do so you can lat the devices “blink” by calling
POST /api/<apikey>/touchlink/<result_device_id>/identify where is the result id of the scanresult (like 1 in the example).

When you have the result id of the strip you want to reset simply call
POST /api/<apikey>/touchlink/<result_device_id>/reset

Förnuftig ist der neue Luftreiniger von Ikea und als solcher hat er mein Interesse geweckt. Aber scheinbar anders als viele Andere finde ich das Gerät nicht interessant um Viren aus der Luft zu filtern, dazu eignet er sich wohl auch nicht. Mir geht es eher um größere Verunreinigungen wie Pollen, Staub o.ä. das sich in der Luft tummelt.

So weit so gut, der Haken: Förnuftig lässt sich von Hause aus so gar nicht ins Smart Home integrieren. Das Gerät hat als Interface lediglich einen Drehschalter mit den Stuffen „Aus“, 1, 2 und 3. That’s all.
Für mich ist hier die Challenge dies zu ändern, denn natürlich möchte ich den Filter am liebsten laufen lassen wenn mich der „Krach“ nicht stört. Und natürlich auch nicht dauerhaft sondern vielleicht in Intervallen. Oder z.B. dann wenn der Staubsauger fährt und Staub aufwirbelt. Und wer weiß was mir sonst noch so einfällt.
Es muss also eine digitale Steuerung ans Gerät.

Abkürzung – der einfache Weg

Der erste Gedanke in Richtung smarte Steuerung war schon da vor dem Gerät:
Entsprechend simpel ist er: Eine schaltbare Steckdose.
Dank des analogen Drehschalters “merkt” sich der Luftfilter seinen Zustand auch ohne Strom. Mit einer schaltbaren Steckdose lässt sich also sehr einfach zwischen “Aus” und der am Gerät eingestellten Stufe umschalten.
Ich hab hier einfach zu einer Steckdose mit Tasmota Firmware gegriffen,
zum einen weil ich sie da hatte, zum anderen da diese sich super ohne Cloudanbindung nutzen lässt.

Die Umsetzung ist einfach, Zwischenstecker rein, fertig, aber die Möglichkeiten sind es leider auch. Die schaltbare Steckdose kann also nur ein erster Schritt sein. Deshalb hab ich mir als nächstes das Innenleben angesehen.

Aufschrauben

Wenn man die Stoffbespannung und den Filter aus dem Gerät entfernt, offenbart sich der Förnuftig als schlichter, in meinem Fall schwarzer Kasten.

Dabei wirkt das Plastik aus einem Guss, abgesehen von einem Streifen an der Oberseite, der sich auf der Unterseite zum Drehknopf befindet und in dem sich der kleine rote Knopf befindet.
Interessanterweise ist dieser Plastikstreifen mit “normalen” Philipps Schrauben befestigt, wohin gegen die restlichen Schrauben ein Dreiecks-Profil aufweisen.
Nach dem Lösen der beiden Schrauben kann der Plastikstreifen nach oben abgehoben werden. Darunter offenbart sich ein Teil der Elektronik.

Zum Vorschein kommt eine kleine Platine. Netterweise ist sie nicht überkomplex, hat nur einen Layer und der ist auch schön beschriftet. Ohne wirklich geschaut zu haben was passiert vermute ich dass diese Platine einefach eine Art PWM Signal für den Lüftermotor erzeugt. Aber so tief will ich gar nicht einsteigen, mir reicht es den Drehschalter zu “automatisieren”.

Selbiger sitzt über den zwei 5er Kontaktreien auf dem “leer” scheindenden Platz der Platine.

Messen

Ausgebaut und von oben sieht die Platine aus wie obriges Foto, geprägt vor allem durch den großen Drehschalter. Die Beschriftungen auf der Platinen unterseite weisen darauf hin, dass die Logik mit einem 5V Pegel arbeitet. Um das zu bestätigen habe ich flux das Multimeter verwendet und gemessen was beim Einstellen der verschiedenen Stufen geschieht. Dabei kam herraus, dass der Drehschalter 4 der von oben betrachteten rechten Pins schaltet. Für jeden Status (Aus, I, II und III) wird ein ander Pin auf GND gezogen. Für Aus der Erste, für I der Zweite etc. Es ist je nur der eine Pin geschaltet, die anderen Pins sind durch die Pull-Ups auf der Platine auf High (5V) gezogen [also bei aus 2, 3 und 4 auf 5V, bei I 1, 3 und 4 etc].

Löten

Nach dieser Erkenntnis kann der Schalter ab, und durch einen ESP ersetzt werden.

Aufgrund der 5V Logik reicht leider der ESP alleine nicht, sonder es ist auch ein Pegelwandler nötig der die 3,3V des ESP auf 5V umsetzt. Außerdem braucht der ESP durchaus etwas Strom. Deshalb ist noch einen DC-DC Wandler nötig, der aus den 24V des Netzteils 3,3V für den ESP erzeugen kann.

Das wars mit der Hardware, jetzt noch Software auf den ESP. Am einfachsten Tasmota und zack lässt sich der Luftfilter via MQTT schalten

Der Friede der Wellen des Meeres – sei dein
Der Friede der leuchtenden Sterne – sei dein
Der Friede des Fließens der Lüfte – sei dein
Der Friede der nächtlichen Sterne – sei dein
Der Friede der ruhigen Erde – sei dein
Mögen der Mond und die Sterne dir immer leuchten

In den letzten Jahren ist es ruhiger geworden, viel ruhiger. Vielleicht weil ich das Thema Blog überlebt hat, vielleicht weil es weniger zu sagen gibt, vielleicht auch weil das Internet ein Ort geworden ist der viel lauter, viel greller, viel bewertender geworden ist als noch vor 10 Jahren.
Vielleicht auch weil es persönlich eine Zeit des Umbruchs, der Orientierung und Weichenstellung zu sein scheint.

Mit dieser Nachdenklichkeit und in diesem Sinne:
Prost auf die letzten 10 Jahre,
Prost auf all die Geschichten die sie brachten,
Prost auf die Zukunft
und auf alles was sie bereithalten mag!

“Ich sammle Sonnenstrahlen, die vom Himmel fallen.
Ich sammle Lieder, die die Vögel singen.
Ich sammle Geschichten, die der Wind erzählt.“

Ich ertrinke in der Frage nach dem Warum,
in der Unwirklichkeit dieser winzigen Welt,
ertrinke in der Bedeutungslosigkeit mit der dieser kleine Punkt durch das endlose Nichts gleitet und in der Absurdität das dieser winzige Fleck für uns Alles ist.

Dieser Fleck auf dem sich jeder Einzelne so zentral, so wichtig vorkommt,
ja so zentral, so wichtig vorkommen muss um nicht zu verzweifeln,
um nicht zu ertrinken im endlosen Nichts,
um nicht unterzugehen in dem Gedanken der eigenen Bedeutungslosigkeit.

Chaos Computer Club ist auch ein Lebensstil. Auf einer Wiese bei Mildenberg hat er sich eine Stadt gebaut, in der alle ihr Wissen teilen und jeder sein darf, wie er will.

Unter dieser Prämbel leitet Kai Biermann seinen Artikel zum Chaos Comunication Camp 2015 ein.
In diesem gelingt es Biermann das Gefühl Camp besser in Worte zu fassen als es mir je gelingen würde.
Natürich ist es immer viel viel mehr als sich Textuell beschreiben lässt. Außerdem ist es für jeden Anders. Dennoch finde ich das in diesem Text ein Stück weit gelingt herraus zu arbeiten was das Camp ausmacht.
Der Artikel ist hier in der Zeit erschienen.
Ganz klare Leseempfehlung!

CC/BY/2.0 Robert Anders

Was beim Blick zurück bliebt, außer der Erinnerung und dem Klos im Hals, ist vielleicht die Erkenntnis das jeder Moment einzig artig ist. Jeder einzelne.
Aber auch das immer neue kommen. Einzelne, Einzigartige.