scheduler: Rename check_update_need() to get_outdated_db()

The new name is more descriptive with respect what the function
actually does.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

Remove redundant strerror usage

It is preferred to use '%m' with printf instead.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

process: Improve error handling

Check the error message from select(). If error, bail out.

Also close all file descriptors in the end. If select happends to fail
and we go to waitpid() and the process is writing content, it might
eventually block because nobody is reading the file descriptor. By
closing the file we ensure the process will not hang and there will be
no deadlock.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

rrdtool: Reduce excess parallelism

Right now all commands are run "as parallel as possible", up to the
point images are being drawn while the databases are still
updated. This leads to problems where the image drawing finishes
before databases are read, thus the image contains always the
information from the last update instead of current.

This patch modifies the behavior so that when the database is being
updated, the drawing does not beging before the update has
succeeded.

Furthermore, image drawings are not done fully parallel. If they were,
the temporary file would be always renamed before there was any chance
that the actual image rendering was finished. Instead, rename is
synchronized with the image drawing.

As a consequence total parallelism is greatly reduced. This obviously
slows down update and image drawing process greatly on machines that
have many CPUs, that would otherwise benefit greatly from being able
to all actions in parallel. The maximum number of parallel actions is
practically limited to the number of databases that are being operated
with. The correctness of the operations is however more important than
maximising parallelism.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

debug.h: Add timestamps to debug prints

This is useful when someone needs to run rrdd for long time and debug
the behavior from logs. Especially timing issues become easier to
understand once the timestamps are visible.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

rrdtool_draw_image: Avoid corrupting image files

As rrdtool is creating the image file it does appear to modify always
the contents of the existing file. This leads to a potential race
condition where someone is reading the current image contents and then
rrdtool changes the contents while the reader is still in the process
of the reading the old contents. If that happens, the image file
appears to be corrupted due to the fact that it contains a mixture of
the old and new image data.

Fix the issue by creating a temporary file where the image is created
and then replacing the target file with the temp file only after
rrdtool has finished drawing all of the image. This ensures reader
will be accessing either the old or new image contents, newer
something that is a mixture of those two.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

Add "other" memory counter

The current memory counters taken from proc/meminfo don't add up
taking the entire usable physical memory. There is always a little bit
of memory left out from the equation that doesn't sum up. In some
situations that can be actualyl quite significant. Now this "Other"
memory has its own counter and the total amount of height of the
memory graph stays constant over time.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

script_parser: Print number of read bytes in the info message

This is not strictly necessary, but might be useful. It also hides the
compiler warning about setting a variable but not reading it ever that
has become visible since gcc-4.6.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

mem_parser: Replace zero pointer with NULL

This is more grammatically correc.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

string.c: Use existing string helpers

Since we have those fancy helpers, why not use them? Also, add one
extra for skipping float nubers for extra handiness.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

string.h: Use defintions from ctype.h when applicable

This improves code readability and maintainability without costing
anything.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

database.h: Clean up default path names

Replace the default SYSINFO_PATH with something more generic. Also,
apply the path to whereever it applies.

Signed-off-by: Timo Kokkonen <timo.t.kokkonen@iki.fi>

database.h: Add time variable to DEFINE_IMAGE macro

It will make it possible to conviniently define how many
days/weeks/months/years to draw in the image. It is no longer needed
to have the unit fixed to 1.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

sanitize_rrd_update_data: Ensure minus sign is not forgotten

Fix a simple bug which caused the minus sign to be removed from the
sanitized output.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

parser: Use long long when parsing net stats

It might be sufficient to use unsigned long in 32 bit environment, but
in order to avoid any issues with overflows, long long is safer.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

database.h: Multiple fixes

-Network rate multiplier changes dynamically (k, M, G)

-Memory statistics base is 1024 instead of 1000

-Network autoscale minimum is 0

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

Rename database.h.example to database.h

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

rrdtool_update_data: Sanitize input data before passing to rrdtool

If there is any non-numberic data in the input data, replace them with
'U' so that rrdtool doesn't refuse the entire input data set.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

string: Add functions to skip numbers and non-numbers

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

database.h.example: Add network statistics

Read statistics for eth0 and eth0

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

database.h.example: Add macro for generating rrd source and archives

This reduces significantly the numer of lines in the database.h file.
It also improves readability significantly due to reduced line number
count.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

parser: Add network parser

This can be used for parsing network statistics from /proc/net/dev
interface. The desired interface is defined by giving string pointers
to interface names.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

dec_to_longlong: Return values should be long long

Otherwise the return value might warp aroung.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

database.h.example: Add macro to fill rrd_image structures

This reduces massively the number of lines and makes it much easier to
add new images.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

rrdtool: Print out the image that is being drawn

This makes debugging easier in case some of the images get drawn
correctly and some don't.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

database.h.example: Update example data

Some typo fixes and improvements

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

parser: Add support for a script parser

This parser will simply run some command and assume the command writes
the rrd tool data as is to stdout.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

process.c: Ensure stderr gets read after process has died

For some reason select() doesn't indicate that stderr might contain
bytes that can be read. Workaround for the issue is to read stderr
just in case after we receive EOF from stdin.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

parser: Define maximum length for the rrd data

This makes makes buffer overruns harder.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

parser: Add extra pointer to parse function prototype

This pointer makes it possible to feed some data to the parser, such
as command line parameters.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

database.h.example: Add information to allow database creation

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

Makefile: Typo fix

Make quiet linkin work

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

Add support for creating rrd databases in case the file is missing

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

rrdtool: Improve argument list modification macro

The name of the macro was not very descriptive, "add_arg" describes
the functionality much better.

Instead of modifying some magic function variables, give the variables
as parameters to the macro. This makes it much more clear how the
thing actually works.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

rrdtool: Replace repeating strings with a definition

The command path should be in a defintion, in case one wants to change
it.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

Move rrd_database structure under rrdtool.h

Keep all rrdtool related structure definitions under this one header
file.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

Collect all rrdtool handling in one file

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

database.h.example: Avoid pathname repeatitions

This way it is much easier to modify the default paths.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

Rename testadata.h to database.h

This is probably a more descriptive name.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

Makefile: Fixes

Proper dependency checking. Improved pretty printing.

Signed-off-by: Timo Kokkonen <kaapeli@itanic.dy.fi>

Orthogonalize CPU graph colors

Otherwise IO and USER load might get mixed up

Change default memory graph colors

Swap is better to be in red, as red is "bad". Thus, buffers and swap
colors are now reversed.

Use long long instead of ints when parsing cpu tics

This fixes a problem with overwrapping counters on 32bit architectures.

Update testdata.h.example to support swap

Add support for reading swap usage from meminfo

Print which command is to be executed

Change debug message output

Rename get_process_count() to get_sibling_count()

Use pointers properly

Add primitive error detection to digitemp parser

Fix debug message indenting bug

Count number of sibling processes

Open read streams for reading

Prettify printing of pid numbers on debug messages

.gitignore update

Add missing newline

Add .gitignore

Improve piped process executing

Allow all standard streams to be piped back to the parent
process. Modifies also the run() function to print the pid of the
process which printed the output.

Autoindent debug messages according to parent count

Improve dependency handling

Suppress warning messages about missing dependency files

Fix count number of children correctly

Make all debug output go through wrappers

Move all fork operations to do_fork() functino

Move string manipulation functions to string.c

Add fork debug and clear any child's child_count to zero after fork

Makefile verbosity change

Suppress warning messages

Remove debug output

Fix digitemp parser

Suppress excess make verbosity

Add support for stupid digitemp parser

Ensure proper dependency creation when only headers change

Add missing parameter

Remove commented code and update

Add digitemp parser

Add support for executing process while piping std{in,out} to parent

Make dependency check automatic

Rename testdata.h to testadata.h.example

Initial comit