Hallo,
basierend auf folgenden Beitrag
https://mediola.answerbase.com/2352383/Daten-in-einer-SQL-Datenbank-speichernhabe ich mich an dieses Projekt gemacht. Ziel ist es Hausautomationsdaten in eine relationale Datenbank zu schreiben und danach mit einer entsprechenden Lösung auszuwerten.
Die Infrastruktur bestehen aus einem RaspberryMatic mit NeoServer und einem MariaDB Server, die beide mit KVM virtualisiert sind.
Die erste Herausforderung ist die 'node.js' Module für Datenbanken auf dem RaspberryMatic als auch auf meinem iMac zu installieren/aktivieren.
Auf dem RaspberryMatic geht dies wie folgt:
- Über SSH am RaspberryMatic anmelden
- Nun das 'HOME' Verzeichnis des NEO Server festlegen
export HOME=/usr/local/addons/mediola/neo_server - In das 'HOME' Verzeichnis wechseln
cd - Da bei der Installation von neuen Modulen andere gelöscht werden ist das 'node_modules' Verzeichnis zu sichern und später wieder zurück zu kopieren
mkdir node_modules.bup
cp -Rv ./node_modules/* ./node_modules.bup - In das 'node_modules' Verzeichnis wechseln
cd node_modules - Nun die benötigten Module installieren. Es wird für diese Lösung nur das 'mysql2' Modul benötigt. Zum Experimentieren habe ich aber folgende Module zusätzliche installiert
npm install mysql
npm install mysql2
npm install mariadb
npm install expect - Zurück in das 'HOME' Verzeichnis
cd - Die geretteten Module zurückkopieren
cp -Rv ./node_modules.bup/* ./node_modules
Auf dem iMac ist ähnliches durchzuführen:
- In folgendes Verzeichnis wechseln
cd /System/Volumes/Data/Applications/AIO\ CREATOR\ NEO.app/Contents/Resources/app.nw - Die installierten Module retten, sonst funktioniert AIO Creator nicht mehr
sudo mkdir node_modules.bup
cp -Rv ./node_modules/* ./node_module.bup - Nun in das Verzeichnis 'node_modules' wechseln
cd ./node_modules - Wie oben beim RaspberryMatic jetzt die 'node.js' Module installieren
sudo npm install mysql
sudo npm install mysql2
sudo npm install mariadb
sudo npm install expect - Eine Verzeichnisstufe zurück
cd .. - Gerettete Module zurückkopieren
sudo cp ./node_modules.bup/* ./node_modules
Leider verschwinden die neuen Module mit einem Update von AIO Creator - dann alles von vorne :-(
Für den bequemen Datenbankzugang habe ich mir auch Adminer auf dem MariaDB Server installiert. Damit eine Datenbank 'hadb' und den Benutzer 'hadb-user' angelegt.
Um das Leben für den ersten Teil zu erleichtern habe ich die Firewall auf dem Fedora Server gestoppt. Die saubere Konfiguration kommt später.
Die Tabelle habe ich mit folgendem JS-Skript angelegt:
//
// Variables
//
var db_host = "192.168.178.202"; // localhost oder IP der DB-Servers
var db_user = "hadb-user";
var db_userpw = "";
var db_name = "hadb";
var sql = "";
//
// on OSX
var mysql = require('/System/Volumes/Data/Applications/AIO CREATOR NEO.app/Contents/Resources/app.nw/node_modules/mysql2');
// on RaspBerryMatic
// var mysql = require('/usr/local/addons/mediola/neo_server/node_modules/mysql2');
//
// Functions
//
const createTable = function() {
db = mysql.createConnection({
host: db_host,
user: db_user,
password: db_userpw,
database: db_name,
multipleStatements: true // this allow you to run multiple queries at once.
});
db.connect(function(err) {
if (err) {
console.log("Error: " + err.message);
throw err;
}
console.log("database connected");
});
sql = "CREATE TABLE history (TIMESTAMP TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP, DEVICE VARCHAR(64) CHARACTER SET 'utf8' COLLATE 'utf8_bin' NOT NULL, TYPE VARCHAR(64), READING VARCHAR(64) CHARACTER SET 'utf8' COLLATE 'utf8_bin' NOT NULL, VALUE VARCHAR(128), UNIT VARCHAR(32), PRIMARY KEY (DEVICE, READING))";
db.query(sql, function (err, results) {
if (err) {
console.log("Error: " + err.message);
throw err;
}
console.log("Table created");
});
sql = "CREATE INDEX searchIndex on history (DEVICE, READING, TIMESTAMP)";
db.query(sql, function (err, results) {
if (err) {
console.log("Error: " + err.message);
throw err;
}
console.log("Index created");
});
db.end(function (err) {
if (err) {
console.log("Error: " + err.message);
throw err;
}
console.log("database close");
});
};
//
// Main
//
createTable();
//
// End
//
Für das Auslesen der Homematicdaten und Speichern in der MariaDB dient dieses Skript:
//
// scans for devices to log data
//
let url = "http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject(ID_DEV
ICES).EnumUsedIDs()";
// let url = "http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject(ID_CHA
NNELS).EnumUsedIDs()";
// let url = "http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject(ID_DAT
APOINTS).EnumUsedIDs()";
//
// database definitions
//
let db_host = "192.168.178.202"; // localhost oder IP der DB-Servers
let db_user = "hadb-user";
let db_userpw = "let db_name = "hadb";
let sql = "";
//
// on OSX
// var mysql = require('/System/Volumes/Data/Applications/AIO CREATOR NEO.app/Contents/Resources/app.nw/node_modules/mysql2');
// on RaspBerryMatic
var mysql = require('/usr/local/addons/mediola/neo_server/node_modules/mysql2');
//
//
// device and value lookup array (key:value)
//
const arrData2Log = new Array (
{ dev: "TempHum_Pool_STHO", val: ["ACTUAL_TEMPERATURE", "HUMIDITY"] },
{ dev: "Lux_Pool_SLO", val: ["CURRENT_ILLUMINATION"] }
);
//
// function for id numbers
//
const getObj = function(objurl) {
// return new pending promise
return new Promise((resolve, reject) => {
// select http or https module, depending on reqested url
const lib = url.startsWith('https') ? require('https') : require('http');
// const lib = require('http');
const request = lib.get(objurl, (response) => {
// handle http errors
if (response.statusCode < 200 || response.statusCode > 299) {
reject(new Error('Failed to load page, status code: ' + response.statusCode));
}
// temporary data holder
const body = [];
// on every content chunk, push it to the data array
response.on('data', (chunk) => {
body.push(chunk);
});
// we are done, resolve promise with those joined chunks
response.on('end', () => {
resolve(body.join(''));
});
// handle connection errors of the request
request.on('error', (err) => reject(err));
});
});
};
// check if device name is in array keys
const isDevNameInKeys = (a, d) => {
let k = "";
let r = false;
//
for (k of a) {
// console.log(k.dev);
if (k.dev === d) {
r = true;
break;
}
}
return r;
};
//
const writeData2DB = function(dn, dt, dpn, dpv, dpu) {
db = mysql.createConnection({
host: db_host,
user: db_user,
password: db_userpw,
database: db_name,
multipleStatements: true // this allow you to run multiple queries at once.
});
db.connect(function(err) {
if (err) {
console.log("Error: " + err.message);
throw err;
}
console.log("database connected");
});
sql = "INSERT INTO history (DEVICE,TYPE,READING,VALUE,UNIT) VALUES ('" + dn + "','" + dt + "','" + dpn + "','" + dpv + "','" + dpu + "')";
// console.log(sql + "\n\r");
db.execute(sql, function (err, results) {
if (err) {
console.log("Error: " + err.message);
throw err;
}
console.log("data written");
});
db.end(function (err) {
if (err) {
console.log("Error: " + err.message);
throw err;
}
console.log("database close");
});
};
//
// main call
//
getObj(url)
.then((devids) => {
// console.log(devids + "\n\r");
devids = devids.match(/[0-9]+/g);
// console.log(devids + "\n\r");
devids.forEach(devid => {
// get device name
getObj("http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject
(" + devid + ").Name()")
.then((devname) => {
// console.log(devname + "\n\r");
devname = devname.match(/([(A-Z)(a-z)(0-9)(_-\s.)]*?\b)(?=<\/x>)/g);
// console.log(devname + "\n\r");
if (devname !== null && isDevNameInKeys(arrData2Log, devname[0])) {
// console.log(devname + "\n\r");
getObj("http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject
(" + devid + ").HssType()")
.then((devtype) => {
// console.log(devtype + "\n\r");
devtype = devtype.match(/([(A-Z)(a-z)(0-9)(_-\s.)]*?\b)(?=<\/x>)/g);
if (devtype !== null) {
// console.log(devtype + "\n\r");
getObj("http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject
(" + devid + ").Channels()")
.then((chnids) => {
// console.log(chnid + "\n\r");
chnids = chnids.match(/[0-9]+/g);
if (chnids !== null) {
chnids.forEach(chnid => {
// get channel name
getObj("http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject
(" + chnid + ").DPs()")
.then((dpids) => {
dpids = dpids.match(/[0-9]+/g);
if (dpids !== null) {
// console.log(dpids + "\n\r");
dpids.forEach(dpid => {
getObj("http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject
(" + dpid + ").Name()")
.then((dpname) => {
// console.log(dpname);
dpname = dpname.match(/([(A-Z)(a-z)(0-9)(_-\s)]*?\b)(?=<\/x>)/g);
// console.log(dpname + "\n\r");
arrData2Log.forEach(arr => {
arr.val.forEach(val => {
if (val === dpname[0]) {
// console.log(val + "\n\r")
getObj("http://htmluser:sassicaja@192.168.178.201:8181/egal.exe?x=dom.GetObject
(" + dpid + ").Value()")
.then((dpvalue) => {
dpvalue = dpvalue.match(/([(A-Z)(a-z)(0-9)(_-\s.)]*?\b)(?=<\/x>)/g);
// console.log(dpvalue + "\n\r");
// console.log(devname[0] + "." + devtype[0] + "." + dpname[0] + ": " + dpvalue[0] + "\n\r");
writeData2DB(devname[0],devtype[0],dpname[0],dpvalue[0],"");
});
}
});
});
});
});
}
});
});
}
});
}
});
}
});
});
})
.catch((err) => console.log(err));
WICHTIG: Der Pfad für den RaspberryMatic und IMac müssen entsprechend angepasst werden:
//
// on OSX
// var mysql = require('/System/Volumes/Data/Applications/AIO CREATOR NEO.app/Contents/Resources/app.nw/node_modules/mysql2');
// on RaspBerryMatic
var mysql = require('/usr/local/addons/mediola/neo_server/node_modules/mysql2');
//
Das Skript wird mit Blockskript 'Intervall' alle 5 Minuten durchgeführt.
Das Ergebnis sieht dann so aus:
![]()
Ich hoffe ich habe nichts vergessen - falls doch einfach fragen.
Ciao Walter
Neuen Kommentar hinzufügen