You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-03-16 - 22:45
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Sun Mar 16, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
84752309273,23sleep20-21swapper/22
85552308269,26sleep10-21swapper/11
70222297267,17sleep00-21swapper/00
880199267264,2cyclictest0-21swapper/33
86222253218,22sleep30-21swapper/33
879099210205,3cyclictest0-21swapper/11
878899187182,3cyclictest18417-21strings0
2450321320,3sleep10-21swapper/11
879799108104,2cyclictest0-21swapper/22
8801994814,11cyclictest10892-21cat3
40762410,1sleep20-21swapper/22
8801994013,9cyclictest14210-21sed3
8801994013,10cyclictest1601-21expr3
8801993915,10cyclictest26839-21ls3
8801993915,10cyclictest26839-21ls3
8801993914,15cyclictest31210-21cat3
8801993914,14cyclictest20443-21cstates3
8801993914,14cyclictest20443-21cstates3
8801993814,9cyclictest5949-21latency_hist3
8801993714,8cyclictest6769-21/usr/sbin/munin3
8801993713,9cyclictest31695-21munin-plugin-st3
8801993614,8cyclictest24578-21ntp_states3
8801993613,9cyclictest12443-21/usr/sbin/munin3
8801993613,8cyclictest7618-21expr3
8801993613,8cyclictest29865-21ntpq3
8801993611,9cyclictest12402-21taskset3
880199358,8cyclictest0-21swapper/33
8801993514,8cyclictest22773-21cat3
8801993514,7cyclictest14546-21sshd3
8801993511,9cyclictest1503-21apt-get3
880199338,15cyclictest0-21swapper/33
8801993310,9cyclictest0-21swapper/33
8801993310,9cyclictest0-21swapper/33
880199329,14cyclictest0-21swapper/33
880199328,9cyclictest0-21swapper/33
8801993211,8cyclictest16501-21cat3
880199317,9cyclictest0-21swapper/33
8801993114,14cyclictest1-21systemd3
8801993015,12cyclictest2701-21if_enp2s03
8801992917,9cyclictest27927-21/usr/sbin/munin3
8801992917,9cyclictest16546-21/usr/sbin/munin3
880199288,8cyclictest0-21swapper/33
8801992816,9cyclictest9540-21/usr/sbin/munin3
8801992816,9cyclictest8988-21/usr/sbin/munin3
8801992816,9cyclictest6141-21/usr/sbin/munin3
8801992816,9cyclictest24945-21/usr/sbin/munin3
8801992816,9cyclictest11517-21/usr/sbin/munin3
8801992816,10cyclictest18446-21/usr/sbin/munin3
8801992815,11cyclictest22735-21/usr/sbin/munin3
8801992815,10cyclictest4114-21if_err_enp3s03
8801992815,10cyclictest12302-21/usr/sbin/munin3
880199276,19cyclictest0-21swapper/33
8801992716,9cyclictest27562-21/usr/sbin/munin3
8801992716,8cyclictest28747-21/usr/sbin/munin3
8801992715,9cyclictest32261-21/usr/sbin/munin3
8801992715,9cyclictest32261-21/usr/sbin/munin3
8801992715,9cyclictest24712-21/usr/sbin/munin3
8801992715,9cyclictest22440-21/usr/sbin/munin3
8801992715,9cyclictest20005-21/usr/sbin/munin3
8801992715,9cyclictest10412-21/usr/sbin/munin3
8801992714,10cyclictest30345-21/usr/sbin/munin3
8801992714,10cyclictest20819-21/usr/sbin/munin3
8801992618,5cyclictest14458-21taskset3
8801992616,5cyclictest32571-21apt-get3
8801992615,9cyclictest4302-21/usr/sbin/munin3
8801992615,8cyclictest18178-21/usr/sbin/munin3
879799269,14cyclictest0-21swapper/22
879799263,16cyclictest8447-21apt-get2
8801992517,5cyclictest15825-21/usr/sbin/munin3
8801992516,6cyclictest28362-21/usr/sbin/munin3
8801992514,9cyclictest18602-21/usr/sbin/munin3
879799254,18cyclictest24043-21sendmail-mta2
879799250,3cyclictest4890-1kworker/2:0H2
8801992417,5cyclictest24932-21/usr/sbin/munin3
8801992416,5cyclictest16044-21/usr/sbin/munin3
8801992415,6cyclictest32316-21munin-run3
8797992416,5cyclictest5292-21sendmail-mta2
8797992412,7cyclictest13630-21apt-get2
8797992412,7cyclictest13630-21apt-get2
878899240,22cyclictest21760-21kworker/0:20
8801992315,5cyclictest7768-21rm3
879799234,17cyclictest27818-21awk2
879799234,17cyclictest27818-21awk2
879799232,18cyclictest14860-21awk2
8797992315,5cyclictest7028-21apt2
8797992311,10cyclictest27676-21latency_hist2
8790992316,4cyclictest24864-21head1
878899232,18cyclictest10700-21cron0
14132230,3sleep0878899cyclictest0
8801992215,5cyclictest26435-21munin-plugin-st3
8801992215,5cyclictest13112-21chrt3
8801992214,5cyclictest20018-21date3
8801992214,5cyclictest1113-21sed3
8801992213,6cyclictest28091-21chrt3
879799224,16cyclictest14249-21awk2
879799223,17cyclictest23905-21cat2
879799223,17cyclictest21425-21latency_hist2
879799222,17cyclictest2993-21latency_hist2
879799221,4cyclictest29674-21munin-run2
879799221,18cyclictest1491-21apt-get2
8790992216,3cyclictest21-21ksoftirqd/11
8790992213,5cyclictest2082-21systemd-journal1
8790992212,6cyclictest505-21dbus-daemon1
8801992113,6cyclictest21485-21chrt3
879799213,16cyclictest23849-21cat2
879799213,16cyclictest21977-21cat2
879799212,6cyclictest15629-21apt-get2
879799212,17cyclictest31694-21latency_hist2
879799212,17cyclictest28420-21awk2
8797992116,3cyclictest21206-21grep2
8797992115,4cyclictest31739-21sed2
8797992115,3cyclictest8215-21perf2
879799211,3cyclictest4890-1kworker/2:0H2
879799211,3cyclictest4890-1kworker/2:0H2
879799211,3cyclictest31930-1kworker/2:2H2
879799211,18cyclictest23442-21munin-run2
8790992116,3cyclictest13309-21turbostat.cron1
8790992115,4cyclictest15914-21cut1
8790992114,4cyclictest3052-21sed1
8790992114,4cyclictest11745-21grep1
8788992117,2cyclictest91ksoftirqd/00
8788992116,3cyclictest22006-21aten2_r9power_e0
8788992115,4cyclictest20057-21acpi0
8788992115,4cyclictest20057-21acpi0
163292210,4sleep1879099cyclictest1
879799209,5cyclictest23699-21apt-get2
8797992017,2cyclictest0-21swapper/22
879799201,5cyclictest30774-21sendmail2
8797992015,3cyclictest18311-21ntp_kernel_pll_2
8797992014,4cyclictest32066-21seq2
8797992013,4cyclictest26769-21cat2
8797992013,4cyclictest11815-21cat2
879799201,2cyclictest0-21swapper/22
879799200,17cyclictest9176-21apt-config2
879799200,17cyclictest16049-21irqstats2
879099209,7cyclictest13587-21apt-get1
879099203,9cyclictest22046-21apt-get1
879099203,11cyclictest665-21runrttasks1
879099203,10cyclictest7271-21apt-get1
879099202,6cyclictest505-21dbus-daemon1
8790992016,2cyclictest21938-21/usr/sbin/munin1
8790992015,3cyclictest9439-21ps1
8790992015,3cyclictest31471-21seq1
8790992015,3cyclictest1472-21/usr/sbin/munin1
8790992013,4cyclictest14549-21cut1
8790992013,4cyclictest14549-21cut1
8790992012,5cyclictest505-21dbus-daemon1
8790992012,5cyclictest26542-21tr1
8788992015,3cyclictest9759-21processes0
8788992015,3cyclictest29001-21ls0
8788992014,4cyclictest530-21seq0
8788992014,4cyclictest26585-21awk0
8788992014,4cyclictest23151-21seq0
8788992014,4cyclictest21662-21date0
8788992014,4cyclictest14432-21uname0
8788992014,4cyclictest14432-21uname0
63722016,2sleep10-21swapper/11
879799193,14cyclictest25680-21latency_hist2
8797991917,1cyclictest0-21swapper/22
8797991914,3cyclictest665-21runrttasks2
8797991914,3cyclictest665-21runrttasks2
8797991914,3cyclictest30862-21cat2
8797991914,3cyclictest25836-21idleruntime-cro2
8797991913,4cyclictest8850-21hostname2
8797991913,3cyclictest31131-21cron2
8797991913,3cyclictest15684-21sh2
879799191,16cyclictest0-21swapper/22
8797991911,5cyclictest17176-21cron2
8797991910,6cyclictest13354-21sleep2
879799190,3cyclictest31930-1kworker/2:2H2
879799190,17cyclictest19678-21dpkg2
879099194,9cyclictest20068-21apt-get1
879099194,9cyclictest20068-21apt-get1
879099192,11cyclictest0-21swapper/11
8790991916,2cyclictest0-21swapper/11
8790991915,2cyclictest5507-21/usr/sbin/munin1
8790991915,2cyclictest4161-21aten2_r9power_c1
8790991915,2cyclictest31685-21/usr/sbin/munin1
8790991915,2cyclictest31685-21/usr/sbin/munin1
8790991914,3cyclictest4040-21sed1
8790991914,3cyclictest28993-21tail1
8790991914,3cyclictest21690-21/usr/sbin/munin1
8790991914,3cyclictest18753-21awk1
8790991914,3cyclictest15872-21cpuspeed_turbos1
8790991914,3cyclictest14215-21sed1
8790991914,3cyclictest11088-21cpuspeed_turbos1
8790991913,4cyclictest9356-21cat1
8790991913,4cyclictest12475-21/usr/sbin/munin1
8790991913,3cyclictest31642-21which1
8790991913,3cyclictest23184-21xargs1
8790991913,3cyclictest19164-21dump-pmu-power1
8790991913,3cyclictest18145-21cut1
8790991912,4cyclictest4369-21ntp_states1
8790991912,4cyclictest28182-21ls1
8790991912,4cyclictest19684-21sort1
879099191,15cyclictest505-21dbus-daemon1
8790991910,5cyclictest505-21dbus-daemon1
8788991916,2cyclictest0-21swapper/00
8788991915,2cyclictest25965-21aten2_r9power_c0
8788991914,3cyclictest6655-21date0
8788991914,3cyclictest4529-21ls0
8788991914,3cyclictest31398-21expr0
8788991914,3cyclictest26248-21ls0
8788991914,3cyclictest26248-21ls0
8788991914,3cyclictest25696-21seq0
8788991914,3cyclictest13793-21cat0
8788991914,3cyclictest12777-21seq0
8788991914,3cyclictest11309-21cut0
8788991914,3cyclictest10893-21sh0
8788991913,4cyclictest21161-21seq0
8788991913,4cyclictest1870-21latency_hist0
8788991913,4cyclictest17807-21cat0
8788991913,4cyclictest15996-21cat0
8788991913,4cyclictest14606-21seq0
8788991913,4cyclictest1-21systemd0
879799183,8cyclictest20068-21apt-get2
879799183,8cyclictest20068-21apt-get2
879799182,9cyclictest27689-21apt-get2
8797991816,1cyclictest0-21swapper/22
8797991814,2cyclictest17402-21/usr/sbin/munin2
879799180,3cyclictest31930-1kworker/2:2H2
879799180,16cyclictest0-21swapper/22
879099184,8cyclictest6762-21apt-get1
879099184,8cyclictest2131-21apt-get1
879099183,8cyclictest25947-21apt-get1
8790991814,2cyclictest9584-21/usr/sbin/munin1
8790991814,2cyclictest32551-21/usr/sbin/munin1
8790991814,2cyclictest26044-21/usr/sbin/munin1
8790991814,2cyclictest26044-21/usr/sbin/munin1
8790991814,2cyclictest19566-21/usr/sbin/munin1
8790991813,3cyclictest21-21ksoftirqd/11
879099180,16cyclictest0-21swapper/11
878899188,6cyclictest15629-21apt-get0
8788991814,2cyclictest29525-21latency_hist0
8788991814,2cyclictest15570-21/usr/sbin/munin0
8788991813,3cyclictest665-21runrttasks0
8788991813,3cyclictest30880-21cut0
8788991813,3cyclictest2981-21seq0
8788991813,3cyclictest25938-21cat0
8788991813,3cyclictest22923-21uname0
8788991813,3cyclictest2082-21systemd-journal0
8788991813,3cyclictest2082-21systemd-journal0
8788991813,3cyclictest20281-21expr0
8788991813,3cyclictest13404-21/usr/sbin/munin0
8788991813,3cyclictest12272-21cat0
8788991812,4cyclictest8461-21seq0
8788991812,4cyclictest7015-21sh0
8788991812,4cyclictest3911-21df0
8788991812,4cyclictest24438-21sed0
8788991812,4cyclictest22711-21kernelversion0
8788991812,4cyclictest19142-21seq0
8788991812,4cyclictest14279-21cat0
8788991812,3cyclictest9593-21find0
879799173,8cyclictest31703-21apt-get2
879799173,8cyclictest31703-21apt-get2
8797991715,1cyclictest0-21swapper/22
8797991712,3cyclictest3235-21/usr/sbin/munin2
879799170,15cyclictest0-21swapper/22
8790991715,1cyclictest0-21swapper/11
8790991713,2cyclictest15321-21latency_hist1
8790991712,3cyclictest24656-21sed1
8790991711,4cyclictest21197-21unixbench_multi1
8790991711,3cyclictest2082-21systemd-journal1
8788991715,1cyclictest0-21swapper/00
8788991715,1cyclictest0-21swapper/00
8788991713,2cyclictest30650-21/usr/sbin/munin0
8788991713,2cyclictest28978-21/usr/sbin/munin0
8788991713,2cyclictest26725-21aten2_r9power_c0
8788991712,3cyclictest665-21runrttasks0
8788991712,3cyclictest665-21runrttasks0
8788991712,3cyclictest6555-21gzip0
8788991712,3cyclictest32076-21seq0
8788991712,3cyclictest21778-21cron0
8788991712,3cyclictest17340-21cut0
8788991712,3cyclictest12112-21expr0
8788991711,4cyclictest17952-21idleruntime0
8797991612,2cyclictest665-21runrttasks2
8797991611,2cyclictest134022sleep22
8790991613,2cyclictest0-21swapper/11
8790991612,2cyclictest28441-21perf1
879099160,15cyclictest0-21swapper/11
8788991611,3cyclictest24830-21expr0
878899160,15cyclictest0-21swapper/00
8790991510,3cyclictest14848-21sh1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional