Add diagnostic features to keep track of object workspace usage.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2560 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split the http_workspace into sess_workspace and obj_workspace, so they
can be tuned separately.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2559 d4fa192b-c00b-0410-8231-f00ffab90ce4

Attempt to mlock(2) SHMFILE in core.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2558 d4fa192b-c00b-0410-8231-f00ffab90ce4

Keep track of how often we flush the private shm buffer due to overflows.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2557 d4fa192b-c00b-0410-8231-f00ffab90ce4

Put waiting list shmlogs under diag_bitmap

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2556 d4fa192b-c00b-0410-8231-f00ffab90ce4

Check EOF as bitflag in kqueue return flags

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2555 d4fa192b-c00b-0410-8231-f00ffab90ce4

Relax assertions, and fix the build.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2554 d4fa192b-c00b-0410-8231-f00ffab90ce4

Regen

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2553 d4fa192b-c00b-0410-8231-f00ffab90ce4

Define obj.hash in the correct place, and regen.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2552 d4fa192b-c00b-0410-8231-f00ffab90ce4

Implement obj.hash.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2551 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove duplicate allocation.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2550 d4fa192b-c00b-0410-8231-f00ffab90ce4

The final piece of the double -> string puzzle.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2549 d4fa192b-c00b-0410-8231-f00ffab90ce4

Polish CLI output

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2548 d4fa192b-c00b-0410-8231-f00ffab90ce4

Regen for VRT_double_string()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2547 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clean up the int -> str and ip -> str conversion code, and add double -> str.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2546 d4fa192b-c00b-0410-8231-f00ffab90ce4

Workaround: ignore uncached objects in EXP_Touch()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2544 d4fa192b-c00b-0410-8231-f00ffab90ce4

Go over the expiry and LRU code once more:

Drop the hangman, with grace implemented we might as well just ditch
the object when the timer expires.

Use separate markers for "on LRU" and "on binheap" and document the
specific protocol for avoiding conflicts between LRU and timer processing.

Many more asserts and a couple of minor bugfixes.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2543 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix a bug in the hangman code: conversion from object to objexp
missed a marker variable.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2542 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give the random director its own magic

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2541 d4fa192b-c00b-0410-8231-f00ffab90ce4

Get the pthread_mutex_trylock() assert right, the error code is the
return value, and not in errno.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2540 d4fa192b-c00b-0410-8231-f00ffab90ce4

Avoid asserting on correct errno from pthread_mutextrylock()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2539 d4fa192b-c00b-0410-8231-f00ffab90ce4

Explicitly initialize errno to zero before mutex ops.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2538 d4fa192b-c00b-0410-8231-f00ffab90ce4

The expiry module keeps all cached objects on two data structures:
the LRU list and the binary heap.  In both of these cases, operations
on one object will result in certain fields in neighbor objects in
these data structures to be updated.

In difference from cache_hash.c which examine objects related by
hash match where the existence of the hash lookup in the first place
is a predictor for their likely use, in cache_expire the neighbor
objects are totally unrelated and the fact that we update their
list pointers or binheap index in no way indicates that they will
get a cache hit any time soon.

Paging in one page for a number of objects, just to move another
object up or down the binheap or LRU list is thus not only slow,
but also increases varnish' VM footprint for no real benefit.

This commit moves the relevant housekeeping fields into a "objexp"
structure, which gets hung off the objects when they enter the cache.

The objexp structure is small (40 bytes on i386) so statistically it
is more than an order of magnitude more likely to already be in core
when we need it, compared to the object itself.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2537 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make cache_expire.c pick up its own reference on the object.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2536 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix obj.last_use:  We cannot use obj.lru_stamp, as that is only updated
when we shuffle the LRU list.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2535 d4fa192b-c00b-0410-8231-f00ffab90ce4

Only move objects to the tail of the LRU queue if we can get the
expiry mutex without waiting.

This is in addition to the already present "only if it have not
been moved recently" check.

This additional mutex-contestion reduction obviously might leave
the LRU list badly out of order, but this can be worked around
by examining obj.last_use in vcl_discard()

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2534 d4fa192b-c00b-0410-8231-f00ffab90ce4

Introduce a TRYLOCK() macro, and remove two ';' which could cause grief.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2533 d4fa192b-c00b-0410-8231-f00ffab90ce4

obj->lru_stamp is on TIM_real() not TIM_mono().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2532 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused last_check member and TIM_mono() call

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2531 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rename EXP_TTLchange() to EXP_Rearm() and move binheap check into
cache_expire.c.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2530 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dispose of VCL reference count if we drop parked sessions due to worker
pool shortages.

Fixes ticket #213

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2529 d4fa192b-c00b-0410-8231-f00ffab90ce4

We don't need cryptographic-strength randomness here.  Try /dev/urandom
first, then /dev/random, then fall back to pid and time.  Using an
uninitialized stack variable as seed is just silly, and Coverity rightly
complains about it (CID#19)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2528 d4fa192b-c00b-0410-8231-f00ffab90ce4

Dump some information about the VCL configuration if we have one.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2527 d4fa192b-c00b-0410-8231-f00ffab90ce4

Where applicable, use SPAZ() instead of AZ().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2526 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add SPAZ() and SPAN() macros which combine AZ() and AN() with spassert().

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2525 d4fa192b-c00b-0410-8231-f00ffab90ce4

Typo patrol

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2521 d4fa192b-c00b-0410-8231-f00ffab90ce4

Debian packaging: Disable running of varnishlog by default

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2520 d4fa192b-c00b-0410-8231-f00ffab90ce4

Count directors as backends.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2519 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make logging of mutex operations or just contests controlled under diag_bitmap

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2518 d4fa192b-c00b-0410-8231-f00ffab90ce4

Oops, this should not have been deleted in my previous commit

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2517 d4fa192b-c00b-0410-8231-f00ffab90ce4

If HSH_Lookup() returns non-NULL, assert that sp->objhead != NULL.
HSH_Lookup() is supposed to guarantee this, but it appears that it
sometimes doesn't (perhaps a bug snuck in with grace mode?)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2516 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the #include  of heritage.h to cache.h.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2515 d4fa192b-c00b-0410-8231-f00ffab90ce4

Revise the kqueue_acceptor with a sledgehammer.

Use EV_ONESHOT for all session events to make the kernel delete the
event when it fires, to remove any chance of any race with session
state and kqueue event arming.

For sessions with acceptfilter, this does just what we want (and I
kick myself for not realizing this much sooner).

For sessions where the acceptfilter is not enabled or has given up,
this results in an extra kevent arming operation for each read, but
this is still a much lower overhead than synchrnously deleting
the event when before passing the session on.

Delete all the workarounds and band-aids that had accumulated.

All in all, a win-win-win situation.

I have no idea how many tickets this will close.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2514 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the assertions around; it is apparently possible to get a null event
on a session that no longer has the fd that the event was registered on.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2513 d4fa192b-c00b-0410-8231-f00ffab90ce4

Uncapitalize DIAGNOSTICS, since diag_bitmap is not related to the
#ifdef, which we retain for really heavy duty instrumentation, should
we ever need that.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2512 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move kqueue debugging under diag_bitmap control

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2511 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the workspace debugging under diag_bitmap control.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2510 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the logging of state engine states to use the diag_bitmap
instead of #ifdef DIAGNOSTICS for control.

Also reduce VSL mutex cost by 50% for the common case where we have
a worker thread: We did a WSL_Flush() followed by a VSL(), doing a
WSL() before the WSL_FLush saves one VSL mutex op.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2509 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make a parameter "diag_bitflag" which can control deeper diagnostics for
us, instead of the #ifdef DIAGNOSTICS which is always not there when you
need it or there when you don't want it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2508 d4fa192b-c00b-0410-8231-f00ffab90ce4

Kill debugging shmlogging overlooked for too long.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2507 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a stats field to monitor the LRU move rate.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2506 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add green icon.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2505 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a log message for short reads in the content-length case.
Also, clean up some variable names and declarations.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2502 d4fa192b-c00b-0410-8231-f00ffab90ce4

A number of changes made while trying to reproduce #176:

 - modify thread_log() to take an "errcode" argument (typically errno) so
   we don't have to sprinkle the code with strerror() calls.

 - read_line() and read_block() would sometimes unnecessarily log an error
   for a short read; let the caller decide whether a short read is
   acceptable.

 - reorder the if / else if / else blocks in receive_response() so the
   logic is easier to follow.

 - remove test code which we no longer need.

 - fix some style issues; there are still a couple of long lines, though.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2501 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix assert in thread_close() for fd == nthreads == 0.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2500 d4fa192b-c00b-0410-8231-f00ffab90ce4

Unfinished Firefox plugin.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2499 d4fa192b-c00b-0410-8231-f00ffab90ce4

No longer necessary

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2498 d4fa192b-c00b-0410-8231-f00ffab90ce4

No longer necessary

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2497 d4fa192b-c00b-0410-8231-f00ffab90ce4

Free leftover buffers when the loop ends (Coverity CID#10)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2494 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure buf is freed in error case (Coverity CID#9)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2493 d4fa192b-c00b-0410-8231-f00ffab90ce4

Request is bogus if df_m, df_Uq or df_H are NULL (Coverity CID#2, CID#3)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2492 d4fa192b-c00b-0410-8231-f00ffab90ce4

We may get spurious events on an unclosed fd as well.  It won't cause
any harm, but I still want to catch it early so we get a log entry for
it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2491 d4fa192b-c00b-0410-8231-f00ffab90ce4

Flexelint pleasing

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2490 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make this cast less suspect to Flexelint

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2489 d4fa192b-c00b-0410-8231-f00ffab90ce4

Unused variable

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2488 d4fa192b-c00b-0410-8231-f00ffab90ce4

Define VARNISH_STATE_DIR

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2487 d4fa192b-c00b-0410-8231-f00ffab90ce4

Somebody ate my ')' on the way to the commit.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2486 d4fa192b-c00b-0410-8231-f00ffab90ce4

Tell if we could not write the PID file.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2485 d4fa192b-c00b-0410-8231-f00ffab90ce4

Flexelint does not react to the assert, so tell it what we know.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2484 d4fa192b-c00b-0410-8231-f00ffab90ce4

Check VLU_Fd return for good measure.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2483 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove a spurious debugging message.
Account for the HTTP bits we do know about and handle.
Ignore return value from shutdown(2)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2482 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert that VCC did its job with respect to weights.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2481 d4fa192b-c00b-0410-8231-f00ffab90ce4

Insist on a non-zero weight for random director memebers and

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2480 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't advance the token in vcc_UintVal(), that prevents precise
error messages based on the value of the integer.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2479 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use the abort2(2) function to record our panic string, if we have it.

Protect macros with do {....} while(0)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2478 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a paramter for maximum CLI buffer size and use it both in child
and manager.  To take effect, it must be specified with -p on the
command line.

Use VLU for managers CLI handling.

Note CLI connection events on stderr.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2477 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give uint parameters the same treatment as bool and timeouts: eliminate
a lot of silly trivial functions.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2476 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rewrite the childs CLI handling to use VLU

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2475 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove a duplicated message on the childs stdout.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2474 d4fa192b-c00b-0410-8231-f00ffab90ce4

A Give VLU_New() an optional buffersize argument

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2473 d4fa192b-c00b-0410-8231-f00ffab90ce4

Log everything we see on the childs stdout/stderr to syslog.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2472 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add VLU (Varnish Line Up) a copy of LineUp from my private utility library:

A set of simple functions for cutting a byte stream into text-lines and
calling a function for each of them, as the they become available.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2471 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add ALLOC_OBJ macro

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2470 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the sizeof debugging output to an undocumented debug.sizeof
CLI command.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2469 d4fa192b-c00b-0410-8231-f00ffab90ce4

remove dump.pool prototype

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2468 d4fa192b-c00b-0410-8231-f00ffab90ce4

remove the undocumented and unimplemented dump.pool command

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2467 d4fa192b-c00b-0410-8231-f00ffab90ce4

Give the param structure a void *priv, and use it to avoid a large
number of pointless trivial functions for bools and timeouts.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2466 d4fa192b-c00b-0410-8231-f00ffab90ce4

Adjust to direct inclusion of config.h

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2465 d4fa192b-c00b-0410-8231-f00ffab90ce4

Determine our backend (using the director) before we filter the req
into the bereq, in order to be able to assign a default Host: header
if there is none.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2464 d4fa192b-c00b-0410-8231-f00ffab90ce4

Put a ULL suffix on numeric constants too large for 32 bit systems.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2463 d4fa192b-c00b-0410-8231-f00ffab90ce4

Detect and gracefully recover from what appears to be a bug in the FreeBSD
kernel, which will sometimes report a null kqueue event.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2462 d4fa192b-c00b-0410-8231-f00ffab90ce4

Regenerate

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2461 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot config.h here

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2460 d4fa192b-c00b-0410-8231-f00ffab90ce4

Never mind trying to avoid libm, we already use it anyway.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2459 d4fa192b-c00b-0410-8231-f00ffab90ce4

Enable tests + allow overrides from command line.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2458 d4fa192b-c00b-0410-8231-f00ffab90ce4

SLT_Length is not relevant for backend requests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2457 d4fa192b-c00b-0410-8231-f00ffab90ce4

Disable tools that require curses if no curses library was found.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2456 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use #include "config.h" instead of -include config.h

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2455 d4fa192b-c00b-0410-8231-f00ffab90ce4

Rewrite str2bytes, add unit test

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2454 d4fa192b-c00b-0410-8231-f00ffab90ce4

Some source files (especially in libraries) have embedded test
programs.  Add a configure option and a corresponding automake
conditional to enable these tests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@2453 d4fa192b-c00b-0410-8231-f00ffab90ce4