You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-07-27 - 03:15
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2.osadl.org (updated Fri Jul 26, 2024 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
175252310217,58sleep20-21swapper/22
173412291204,50sleep00-21swapper/00
185762255190,23sleep30-21swapper/33
185062237167,57sleep10-21swapper/11
251462560,3sleep125150-21latency_hist1
3542540,2sleep20-21swapper/22
203212470,1sleep10-21swapper/11
181082460,2sleep09-21ksoftirqd/00
63752430,2sleep00-21swapper/00
277402430,4sleep127743-21latency_hist1
1878199370,15cyclictest6868-21latency_hist2
197342360,3sleep20-21swapper/22
1878699368,10cyclictest27570-21perf3
126492360,1sleep10-21swapper/11
316002320,4sleep01877399cyclictest0
1878199300,16cyclictest0-21swapper/22
18773993026,2cyclictest101rcuc/00
1878699295,9cyclictest30195-21aten2.4-expect3
1878199290,8cyclictest1594-21apt-get2
1878199290,17cyclictest6452-21grep2
1878199290,16cyclictest0-21swapper/22
1878199290,10cyclictest86772sleep22
1878199280,14cyclictest23170-21sed2
1878199280,10cyclictest0-21swapper/22
1878699277,17cyclictest31841-21grep3
1878699274,9cyclictest21575-21latency_hist3
1878699274,8cyclictest22742-21cat3
1878199270,8cyclictest7997-21apt-get2
1878199270,16cyclictest0-21swapper/22
1878199270,15cyclictest0-21swapper/22
1878199270,15cyclictest0-21swapper/22
1878199270,14cyclictest27219-21chrt2
1878699264,8cyclictest18876-21ntpq3
1878199265,18cyclictest2951-21cron2
1878199260,9cyclictest250022sleep22
1878199260,8cyclictest19262-21apt-get2
18773992620,3cyclictest9-21ksoftirqd/00
18773992617,2cyclictest9-21ksoftirqd/00
18786992514,6cyclictest11235-21apt-get3
18786992514,6cyclictest11235-21apt-get3
1878199254,18cyclictest19325-21cat2
1878199253,19cyclictest11876-21cat2
1878199250,9cyclictest18948-21apt-get2
1878199250,9cyclictest0-21swapper/22
1878199250,8cyclictest12893-21grep2
1878199250,15cyclictest0-21swapper/22
1878199250,13cyclictest4648-21chrt2
1878199250,10cyclictest20163-21chrt2
1877399256,9cyclictest111rcu_preempt0
18773992511,8cyclictest9-21ksoftirqd/00
202562240,1sleep020260-21unixbench_multi0
1878699244,17cyclictest25377-21seq3
18786992413,7cyclictest31303-21munin-run3
18786992413,6cyclictest3597-21apt-get3
18786992413,6cyclictest25580-21apt-get3
1878699240,10cyclictest0-21swapper/33
1878199240,9cyclictest28799-21sed2
1878199240,9cyclictest25286-21chrt2
1878199240,9cyclictest0-21swapper/22
1878199240,14cyclictest0-21swapper/22
1878199240,11cyclictest0-21swapper/22
1878199240,11cyclictest0-21swapper/22
1878199240,10cyclictest11727-21grep2
1878199240,10cyclictest11727-21grep2
1878199240,10cyclictest0-21swapper/22
1878199240,10cyclictest0-21swapper/22
1877399249,5cyclictest9-21ksoftirqd/00
1877399248,4cyclictest9-21ksoftirqd/00
1877399245,11cyclictest9-21ksoftirqd/00
18773992419,3cyclictest9-21ksoftirqd/00
18786992317,3cyclictest20805-21sed3
18786992312,6cyclictest22027-21apt-get3
1878199231,7cyclictest0-21swapper/22
18781992316,5cyclictest32047-21apt-get2
1878199231,19cyclictest505-21dbus-daemon2
1878199230,9cyclictest362-21sed2
1878199230,9cyclictest0-21swapper/22
1878199230,12cyclictest0-21swapper/22
1878199230,10cyclictest0-21swapper/22
1877399237,3cyclictest111rcu_preempt0
18773992315,5cyclictest2082-21systemd-journal0
1877399231,12cyclictest9-21ksoftirqd/00
1878699229,7cyclictest21486-21apt-get3
1878699227,12cyclictest5402-21cpuspeed_turbos3
18786992213,5cyclictest21006-21munin-run3
18786992212,6cyclictest23432-21perf3
18786992212,6cyclictest11469-21apt-get3
18786992212,6cyclictest1131-21apt-get3
18786992212,5cyclictest7606-21apt-get3
18786992210,7cyclictest9222-21apt-get3
1878199222,17cyclictest7486-21cat2
18781992215,4cyclictest29331-21basename2
18781992215,4cyclictest23261-21sendmail2
18781992214,4cyclictest505-21dbus-daemon2
1878199220,9cyclictest46212sleep22
1878199220,9cyclictest294542chrt2
1878199220,9cyclictest0-21swapper/22
1878199220,9cyclictest0-21swapper/22
1878199220,9cyclictest0-21swapper/22
1877899220,20cyclictest6668-21kworker/1:21
1877399225,9cyclictest9-21ksoftirqd/00
1877399223,6cyclictest9-21ksoftirqd/00
18773992217,3cyclictest9-21ksoftirqd/00
18773992217,3cyclictest9-21ksoftirqd/00
18773992217,3cyclictest9-21ksoftirqd/00
1877399220,6cyclictest9987-21apt-get0
1878699219,7cyclictest17252-21apt-get3
1878699219,6cyclictest15638-21apt-get3
18786992116,3cyclictest9690-21cpuspeed_turbos3
18786992115,3cyclictest14121-21cpu3
18786992115,3cyclictest14121-21cpu3
18786992114,5cyclictest17941-21expr3
18786992113,5cyclictest505-21dbus-daemon3
18786992112,5cyclictest25299-21munin-run3
18786992111,6cyclictest432-21awk3
18786992111,6cyclictest20034-21chrt3
18786992111,5cyclictest8059-21aten2.4-expect3
18786992110,6cyclictest16023-21apt-get3
18786992110,6cyclictest1215-21apt-get3
18781992116,3cyclictest28-21ksoftirqd/22
1878199211,3cyclictest29214-1kworker/2:0H2
1878199211,17cyclictest26320-21tr2
1878199210,9cyclictest0-21swapper/22
1878199210,8cyclictest0-21swapper/22
1878199210,8cyclictest0-21swapper/22
18778992114,4cyclictest8600-21cat1
18778992114,4cyclictest18766-21seq1
18778992111,6cyclictest9450-21apt-get1
1877399219,9cyclictest6954-21cut0
18773992116,3cyclictest9-21ksoftirqd/00
18773992116,3cyclictest9-21ksoftirqd/00
18773992116,3cyclictest15775-21cpu0
18773992115,4cyclictest984-21basename0
18773992115,4cyclictest20338-21sed0
1878699209,8cyclictest0-21swapper/33
1878699208,3cyclictest138462expr3
1878699205,10cyclictest0-21swapper/33
1878699203,5cyclictest0-21swapper/33
1878699202,5cyclictest0-21swapper/33
1878699202,4cyclictest0-21swapper/33
1878699202,15cyclictest27769-21ls3
1878699201,6cyclictest35-21ksoftirqd/33
18786992015,3cyclictest1987-21ls3
18786992015,2cyclictest21364-21aten2_r9power_v3
18786992014,4cyclictest29492-21date3
18786992014,4cyclictest12422-21df_inode3
18786992014,4cyclictest11612-21apt-get3
18786992014,3cyclictest14022-21sh3
18786992013,4cyclictest505-21dbus-daemon3
18786992011,6cyclictest29780-21cron3
18786992011,6cyclictest27775-21munin-run3
18786992011,5cyclictest31765-21munin-run3
18786992011,5cyclictest31765-21munin-run3
18786992011,5cyclictest17627-21apt-get3
18786992010,6cyclictest6966-21perf3
1878199201,2cyclictest19819-1kworker/2:2H2
18781992012,5cyclictest11711-21cpuspeed_turbos2
1878199201,17cyclictest5426-21cat2
1878199201,17cyclictest29288-21latency_hist2
1878199201,17cyclictest28-21ksoftirqd/22
1878199201,17cyclictest28-21ksoftirqd/22
18778992015,3cyclictest27784-21/usr/sbin/munin1
18778992015,3cyclictest20872-21munin-node1
18778992015,3cyclictest19419-21cat1
18778992015,3cyclictest1419-21latency_hist1
18778992015,2cyclictest11450-21/usr/sbin/munin1
18778992014,4cyclictest29773-21sh1
18778992014,4cyclictest25499-21cat1
18778992013,4cyclictest30720-21cat1
18778992013,4cyclictest20991-21sed1
1877899201,16cyclictest137142sleep11
18778992011,5cyclictest5120-21apt-get1
1877399209,9cyclictest29305-21dump-pmu-power0
1877399209,3cyclictest111rcu_preempt0
1877399209,3cyclictest111rcu_preempt0
18773992017,2cyclictest101rcuc/00
1877399201,6cyclictest0-21swapper/00
1877399201,6cyclictest0-21swapper/00
1877399201,6cyclictest0-21swapper/00
1877399201,6cyclictest0-21swapper/00
18773992016,3cyclictest9-21ksoftirqd/00
18773992016,2cyclictest9-21ksoftirqd/00
18773992015,3cyclictest21524-21/usr/sbin/munin0
18773992015,3cyclictest1393-21sed0
18773992013,4cyclictest665-21runrttasks0
18773992013,3cyclictest11736-21aten2.4-expect0
1877399201,16cyclictest3570-21cat0
25202190,2sleep10-21swapper/11
1878699199,6cyclictest23277-21apt-get3
1878699195,9cyclictest0-21swapper/33
1878699192,6cyclictest35-21ksoftirqd/33
1878699192,5cyclictest0-21swapper/33
18786991915,2cyclictest32555-21ntp_states3
18786991915,2cyclictest3135-21apt-get3
18786991914,3cyclictest4949-21munin-run3
18786991913,4cyclictest1046-21users3
18786991910,7cyclictest0-21swapper/33
18786991910,6cyclictest31387-21cron3
1878199192,7cyclictest0-21swapper/22
1878199190,8cyclictest566-21gpm2
1878199190,17cyclictest0-21swapper/22
18778991916,2cyclictest0-21swapper/11
18778991916,2cyclictest0-21swapper/11
18778991914,3cyclictest9022-21cat1
18778991914,3cyclictest3268-21cpu1
18778991914,3cyclictest32259-21ls1
18778991914,3cyclictest31656-21/usr/sbin/munin1
18778991914,3cyclictest30523-21sh1
18778991914,3cyclictest30441-21sh1
18778991914,3cyclictest30441-21sh1
18778991914,3cyclictest26027-21acpi1
18778991914,3cyclictest25519-21gpgv1
18778991914,3cyclictest22008-21acpi1
18778991914,3cyclictest15459-21/usr/sbin/munin1
18778991914,3cyclictest15229-21/usr/sbin/munin1
18778991913,4cyclictest8042-21awk1
18778991913,4cyclictest5611-21date1
18778991913,4cyclictest29912-21expr1
18778991913,4cyclictest20795-21grep1
18778991913,4cyclictest1317-21ls1
18778991913,4cyclictest11739-21sh1
18778991913,4cyclictest11365-21sh1
18778991913,3cyclictest21033-21idleruntime1
1877399199,3cyclictest9-21ksoftirqd/00
1877399199,3cyclictest111rcu_preempt0
1877399198,2cyclictest111rcu_preempt0
1877399197,4cyclictest9-21ksoftirqd/00
1877399193,2cyclictest111rcu_preempt0
1877399191,9cyclictest9-21ksoftirqd/00
1877399191,5cyclictest0-21swapper/00
1877399191,5cyclictest0-21swapper/00
1877399191,5cyclictest0-21swapper/00
18773991915,2cyclictest9-21ksoftirqd/00
18773991914,3cyclictest31600-21sh0
18773991914,3cyclictest3116-21/usr/sbin/munin0
18773991914,3cyclictest18279-21sed0
18773991914,3cyclictest17856-21ls0
18773991911,2cyclictest111rcu_preempt0
1877399190,16cyclictest19934-21tr0
1878699182,6cyclictest35-21ksoftirqd/33
18786991810,5cyclictest10559-21grep3
18781991811,4cyclictest23830-21basename2
1878199180,3cyclictest12846-21grep2
1877899183,9cyclictest25552-21apt-get1
18778991816,1cyclictest0-21swapper/11
18778991815,2cyclictest0-21swapper/11
18778991815,2cyclictest0-21swapper/11
18778991814,2cyclictest17236-21dump-pmu-power1
18778991814,2cyclictest15618-21/usr/sbin/munin1
18778991814,2cyclictest13205-21/usr/sbin/munin1
18778991813,3cyclictest6000-21cat1
18778991813,3cyclictest4318-21cat1
18778991813,3cyclictest31572-21/usr/sbin/munin1
18778991813,3cyclictest28782-21cat1
18778991813,3cyclictest25549-21sh1
18778991813,3cyclictest21617-21cat1
18778991813,3cyclictest21467-21/usr/sbin/munin1
18778991813,3cyclictest14138-21basename1
18778991813,3cyclictest12041-21uname1
18778991813,3cyclictest12041-21uname1
18778991812,4cyclictest18431-21df_inode1
18778991812,4cyclictest16382-21cat1
18778991812,3cyclictest13977-21acpi1
18778991812,3cyclictest13977-21acpi1
1877399189,2cyclictest111rcu_preempt0
1877399187,2cyclictest111rcu_preempt0
1877399184,5cyclictest665-21runrttasks0
1877399181,5cyclictest0-21swapper/00
18773991814,2cyclictest26020-21/usr/sbin/munin0
18773991813,3cyclictest9-21ksoftirqd/00
18773991813,3cyclictest11405-21sed0
18778991712,3cyclictest7903-21expr1
18778991712,3cyclictest13879-21df1
18778991711,4cyclictest5569-21cat1
18778991711,4cyclictest22097-21expr1
18778991711,4cyclictest1910-21cat1
1877899171,14cyclictest0-21swapper/11
18773991712,3cyclictest665-21runrttasks0
18773991712,3cyclictest14405-21sh0
18773991712,3cyclictest14405-21sh0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional