Move the http_conn into the bereq.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3836 d4fa192b-c00b-0410-8231-f00ffab90ce4

move object twiddling from FetchHdr() to cache_center.c

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3835 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a beresp.* variable family, which contains the backend response
before filtering.

Cut Fetch() into two, FetchHdr() and FetchBody(), for now, just call
them sequentially from cache_center.c

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3834 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't pollute bereq.* in vcl_fetch{} with the reply

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3833 d4fa192b-c00b-0410-8231-f00ffab90ce4

Sorry, forgot to commit this file.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3832 d4fa192b-c00b-0410-8231-f00ffab90ce4

$delta_time should never be 0, but just in case...

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3831 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add the two new stevedore entrypoints:

->object() is (to be) called when a cached object is ready
->close() is (to be) called on orderly stops of the worker.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3830 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a alloc/free function.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3829 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix compilation problem on Solaris - missing include

Solaris appears to need #include <sys/wait.h> for WEXITSTATUS to be defined.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3828 d4fa192b-c00b-0410-8231-f00ffab90ce4

Replace __inline with inline

C99 standardised "inline" and the Sun compiler doesn't like __inline,
so change to using inline consistently.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3827 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure system "..." returns successfully

We didn't check the return status of system, making failures in a00009
go unnoticed.  Fix this and fix a00009 to not fail when run
uninstalled.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3826 d4fa192b-c00b-0410-8231-f00ffab90ce4

Stop segfaulting when trying to set a nonexistant waiter

We failed to properly check for the end of the list of waiters.
Handle this correctly and add a test case

Fixes #428

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3825 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added -x option to get XML output. As with the -1 option, it prints it once and quits, and you can choose what fields to include with the -f option. Example XML output is

<?xml version="1.0"?>
<varnishstat timestamp="2009-02-25T08:45:02">
<stat>
<name>client_req</name>
<value>2656016</value>
<description>Client requests received</description>
</stat>
</varnishstat>

varnishstat.xsd contains the XML schema for the output.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3824 d4fa192b-c00b-0410-8231-f00ffab90ce4

Clean default.vcl on distclean

Distclean (in the build directory) should clean out default.vcl in the
build directory.  This fixes a strange FTBFS on FreeBSD.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3823 d4fa192b-c00b-0410-8231-f00ffab90ce4

Explain what functions do.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3822 d4fa192b-c00b-0410-8231-f00ffab90ce4

Read and Write the segment list.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3821 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure we ship persistent.h too

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3819 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add defines for MAP_NOCORE / MAP_NOSYNC so this compiles on Linux

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3818 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't use a 500 status as a hint to quit the data collector thread. Tell it by a shared variable.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3816 d4fa192b-c00b-0410-8231-f00ffab90ce4

get close to reading segment table

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3815 d4fa192b-c00b-0410-8231-f00ffab90ce4

Minor HTML-clean ups

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3814 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fixed issue with response not containing correct headers. CSS was sent as text/plain, causing firefox to ignore it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3813 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fetching ALL the columns when generating graphs is stupid and time consuming. Now we only fetch the required fields.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3812 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move on to the worker process side of persistent storage

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3811 d4fa192b-c00b-0410-8231-f00ffab90ce4

The SHA256 is outside the signature struct

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3810 d4fa192b-c00b-0410-8231-f00ffab90ce4

A bit of FlexeLint nitpicking

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3809 d4fa192b-c00b-0410-8231-f00ffab90ce4

Create/validate the three signed tables (ban1+2, segments)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3808 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add symbolic SHA256_LEN for the size of the digest.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3807 d4fa192b-c00b-0410-8231-f00ffab90ce4

Code to create, map and ident the storage silo

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3806 d4fa192b-c00b-0410-8231-f00ffab90ce4

Gain some speed by at least creating index on the stat table

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3805 d4fa192b-c00b-0410-8231-f00ffab90ce4

Bring in the first inkling of the persistent storage module

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3804 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the catalogs of storage and hash modules closer to home.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3803 d4fa192b-c00b-0410-8231-f00ffab90ce4

Some constifications

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3802 d4fa192b-c00b-0410-8231-f00ffab90ce4

Handle worker thread on subrequests correctly

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3801 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't clean on every request, that was for debugging only.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3800 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't try to rush waiting sessions of refcount is zero, there cannot be
any (they would hold a reference).

Should be merged to 2.0.3

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3799 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a lot more paranoia asserts

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3798 d4fa192b-c00b-0410-8231-f00ffab90ce4

Put the cleanup next to the preallocation and remember to release
the preallocated objcore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3797 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a delta-stats structure to worker threads and keep
track of n_object and n_objecthead in them.

Accumulate into global stats after work is done if the lock is
free and always before going idle.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3796 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make "hcb.dump" a CLI command

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3795 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a argument to the stat_field macro, to be used with locking evilness
shortly.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3794 d4fa192b-c00b-0410-8231-f00ffab90ce4

Open the socket non-blocking so we can time out if the management console doesn't print a banner

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3793 d4fa192b-c00b-0410-8231-f00ffab90ce4

Added possibility to add nodes to a group without have the settings of the group or node altered, which can be usefull to group node logically if the web GUI is used as a monitoring tool. Also fixed a logical bug in the settings inheritance code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3792 d4fa192b-c00b-0410-8231-f00ffab90ce4

Be more defensive around objhead retirement.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3791 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove unused hoh_digest

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3790 d4fa192b-c00b-0410-8231-f00ffab90ce4

Forgot to escape \ when sending VCL to management port

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3789 d4fa192b-c00b-0410-8231-f00ffab90ce4

Split a couple of generally useful routines out of storage_file

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3788 d4fa192b-c00b-0410-8231-f00ffab90ce4

Some minor cosmetics and bugs discovered during documentation writing.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3787 d4fa192b-c00b-0410-8231-f00ffab90ce4

A mojor update to the web GUI, unfortunately all done in one go. Nevertheless, here it is, and has many improvements to the christmas edition commited in december:

- the GUI now uses a sqlite3 database for storage, so all configuratons are stored
- aggregated statistics for groups
- graphs on demand for raw data
- CSV export of stat data
- 'Restricted mode' to get a web GUI which prevent you from doing changes
- logging of changes performed in the GUI
- generall minor improvements in the GUI

Additional perl module dependencies are Algorithm::Diff and DBD::Sqlite3

A proper documentation will appear on the wiki in a couple of days to describe all that can be done with the web GUI.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3786 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure we have a C99 compiler

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3785 d4fa192b-c00b-0410-8231-f00ffab90ce4

Correct and complete description of -a.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3784 d4fa192b-c00b-0410-8231-f00ffab90ce4

with the prefetch timer out of the way, we do not need the ttl
in objcore, only when the timer fires.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3783 d4fa192b-c00b-0410-8231-f00ffab90ce4

Now that we only have one timer firing, remove stuff to deal with
different events.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3782 d4fa192b-c00b-0410-8231-f00ffab90ce4

Eliminate prefetch, grace was a much better idea.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3781 d4fa192b-c00b-0410-8231-f00ffab90ce4

Assert that we got an objcore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3780 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the ttl from object up to the objcore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3779 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the pass flag from the object to the objcore.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3778 d4fa192b-c00b-0410-8231-f00ffab90ce4

Remove __BEGIN_DECLS and __END_DECLS as those do not exist on Solaris (and we do not need them)

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3777 d4fa192b-c00b-0410-8231-f00ffab90ce4

Convert assert to error report

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3776 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add documentation for cli_banner

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3775 d4fa192b-c00b-0410-8231-f00ffab90ce4

Allow for pass opbjects not having a objcore

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3774 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the object busy flag up to the objcore.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3773 d4fa192b-c00b-0410-8231-f00ffab90ce4

Compress objcore a bit more by squezing 32 bit fields to 8 bit, still
leaving plenty of space.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3772 d4fa192b-c00b-0410-8231-f00ffab90ce4

Correct copyright and attribution.

Approved by: phk, ssm

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3771 d4fa192b-c00b-0410-8231-f00ffab90ce4

Reduce objhead size by overloading.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3770 d4fa192b-c00b-0410-8231-f00ffab90ce4

To prevent masking bugs, disable auto_restart by default.

Enable it explicitly in the one testcase where we check that it works.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3769 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make sure to clean the VBE properly before releasing it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3768 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add two hidden CLI commands for panic'ing the master and worker process.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3767 d4fa192b-c00b-0410-8231-f00ffab90ce4

Use semaphores instead of delays

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3766 d4fa192b-c00b-0410-8231-f00ffab90ce4

Don't copy the debug flag around, make it a global instead.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3765 d4fa192b-c00b-0410-8231-f00ffab90ce4

vi(1) 'x' key misfire.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3764 d4fa192b-c00b-0410-8231-f00ffab90ce4

Disable CLI banner when running tests.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3763 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a "banner" command to the CLI interface.

Add a parameter "cli_banner" (default on) which injects an implicit
"banner" CLI command on all cli connections when opened.

The net result is that you get a CLI response when you connect to
the CLI ports:

200 193
-----------------------------
Varnish HTTP accelerator CLI.
-----------------------------
Type 'help' for command list.
Type 'quit' to close CLI session.
Type 'start' to launch worker process.

Presently the contents of the CLI response is "undefined", in the
sense that you should not programatically depend on anything besides
the "200" reply code.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3762 d4fa192b-c00b-0410-8231-f00ffab90ce4

Update copyright year

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3761 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add VLU_Data() function for injecting input

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3760 d4fa192b-c00b-0410-8231-f00ffab90ce4

parameter name change "acceptor" -> "waiter"

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3759 d4fa192b-c00b-0410-8231-f00ffab90ce4

Due to lack og foresight,the threads that keep an eye on client connections
to see if they get reused ended up being named "acceptors", which is a bad
name because we have another thread which accepts new connections.

Rename the "fake" acceptors to "waiters"

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3758 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move the LRU timestamp from the objcore to the object, we only access
it when we have used the object anyway.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3757 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move objcore over objects, so that objhead has a list of objcore
which point to the objects.

Preallocate objcore with obj+objhead before we enter locked
hash sections.

Rename objcore.list to objcore.lru_list.

Eliminate obj.list and objhead.hashlen

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3756 d4fa192b-c00b-0410-8231-f00ffab90ce4

Merge r3752: Added som changelog changes from fedora package

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3754 d4fa192b-c00b-0410-8231-f00ffab90ce4

Merge r3751 into trunk: Packaging fixes

- Changelog item to specfile for the rpm package
- Added html doc to the rpm package

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3753 d4fa192b-c00b-0410-8231-f00ffab90ce4

Pull struct objexp out of the closet and call it objcore.

In the future, this will be the bits of a cached object we cannot
realistically expect to stay paged out for any period of time.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3750 d4fa192b-c00b-0410-8231-f00ffab90ce4

Fix backslashes.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3693 d4fa192b-c00b-0410-8231-f00ffab90ce4

Whitespace cleanup

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3692 d4fa192b-c00b-0410-8231-f00ffab90ce4

Regression testcase for #433

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3576 d4fa192b-c00b-0410-8231-f00ffab90ce4

Overhaul the ESI parser in light of #433 and the prospect of future
addition of features to the ESI code.

The particular situation in #433 arises because a XML comment is not
bounded in length, the same way as an <esi:include...> element naturally
is.  This opens the window for trouble when large sections of XML is
commented out for some reason or another.

Bite the bullet and create a "storage-pointer" consisting of a pointer
to a storage segment and a pointer into that segment.

Add a main-loop which uses these pointers to walks over the entire
object, looking for stuff we care about, and handle each appropriately.

In addition to coping properly with the situation in #433, this code is
also close to 100 lines shorter and has a more logical structure.

The downside is that it is isn't quite as memory-access-alergic as the
previous version.  (I challenge anybody to measure the effect of this.)

Fixes: #433
git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3575 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add line numbers to this test, so we can see where it croaks, when it does.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3574 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add a counter for esi parse errors and test it in all ESI related
tests cases.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3573 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add bodylen expects to the ESI test cases

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3572 d4fa192b-c00b-0410-8231-f00ffab90ce4

Update this test to actually test what it should.

I suspect a white-space cleanup got it at some point.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3571 d4fa192b-c00b-0410-8231-f00ffab90ce4

Make it possible (at great performance loss) to force straight
time sequencing of shmlog records for debugging purposes.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3570 d4fa192b-c00b-0410-8231-f00ffab90ce4

Mark that we do limited segment size fetches for debugging

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3569 d4fa192b-c00b-0410-8231-f00ffab90ce4

Opps, debugging hack leaked in.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3568 d4fa192b-c00b-0410-8231-f00ffab90ce4

The esi detector should also spot esi comments.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3567 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add an (unlocked) counter for number of ESI objects we have parsed.

Add two test-cases for objects we should not esi parse.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3566 d4fa192b-c00b-0410-8231-f00ffab90ce4

Close a race where VCL tries to modify the obj.ttl at the same moment
the grim reaper has taken the object off the binheap to inspect it.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3565 d4fa192b-c00b-0410-8231-f00ffab90ce4

Move mybe{32,64}enc definitions outside of ifdef so we work on 64 bit BE platforms too.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3564 d4fa192b-c00b-0410-8231-f00ffab90ce4

More FlexeLint silencing.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3550 d4fa192b-c00b-0410-8231-f00ffab90ce4

Add missing header file to tarball

Fixes build failure

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3549 d4fa192b-c00b-0410-8231-f00ffab90ce4

silence a couple of Flexelint complaints.

git-svn-id: svn+ssh://projects.linpro.no/svn/varnish/trunk@3548 d4fa192b-c00b-0410-8231-f00ffab90ce4