You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-08-25 - 01:02

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #2, slot #7

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack2slot7s.osadl.org (updated Mon Aug 24, 2026 12:42:56)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1556241995534,18cyclictest1577255-21systemd-run08:20:010
155624199524,20cyclictest12650irq/32-eth011:01:040
155624199522,27cyclictest1596531-21ssh09:16:060
1556242995041,6cyclictest1695346-21aten_r2power_vo12:00:531
1556243994839,6cyclictest1556252-21systemd-run07:10:012
1556243994712,5cyclictest171rcu_preempt11:36:082
1556241994629,9cyclictest12650irq/32-eth010:51:020
1556241994624,6cyclictest1574735-21fschecks_count08:10:550
1556243994537,5cyclictest1595290-21grep09:15:012
1556243994536,6cyclictest421-21dbus-daemon11:55:012
1556243994436,4cyclictest1000-21mta-sts-daemon09:35:132
1556241994433,8cyclictest1670615-21cron11:20:000
1556241994425,4cyclictest1684063-21mailstats11:41:100
1556242994334,6cyclictest1631223-21latency_hist10:15:031
1556242994334,6cyclictest1631223-21latency_hist10:15:031
1556242994234,5cyclictest1000-21mta-sts-daemon10:01:321
1556243994133,5cyclictest744038-21cups-browsed10:58:212
1556243994128,9cyclictest1565261-21systemd-run07:40:012
1556242994132,2cyclictest0-21swapper/111:26:041
1556241994134,4cyclictest1566756-21systemd-run07:45:010
1556243994031,5cyclictest1571212-21idleruntime-cro08:00:012
1556242994034,3cyclictest0-21swapper/107:30:011
1556242994032,5cyclictest1563837-21latency_hist07:35:021
1556242994032,5cyclictest1563837-21latency_hist07:35:021
1556242994031,6cyclictest744038-21cups-browsed09:32:481
1556242994031,6cyclictest744038-21cups-browsed09:32:481
1556242994031,6cyclictest1634239-21latency_hist10:20:021
1556243993932,4cyclictest1697696-21cron12:05:012
1556243993930,6cyclictest1702076-21processes12:11:092
1556242993932,4cyclictest1685648-21grep11:45:011
1556241993930,6cyclictest1675423-21unixbench_multi11:26:130
1556241993928,8cyclictest1559265-21kworker/u8:16-rpciod07:40:010
1556243993828,6cyclictest1611026-21fschecks_time09:40:562
1556243993828,6cyclictest1002-21mta-sts-daemon11:16:552
1556242993830,5cyclictest1664549-21systemd-run11:10:021
1556242993830,5cyclictest1659984-21switchtime11:01:121
1556241993822,12cyclictest12650irq/32-eth012:16:050
1556241993822,12cyclictest12650irq/32-eth012:16:050
1556241993818,10cyclictest151ktimers/008:51:030
1556243993728,5cyclictest1706744-21awk12:20:012
1556243993728,5cyclictest1706744-21awk12:20:012
1556242993730,4cyclictest1000-21mta-sts-daemon11:16:061
1556242993729,5cyclictest1667565-21cron11:15:011
1556242993727,7cyclictest744035-21cupsd12:06:081
1556242993726,8cyclictest1707805-21missed_timers12:20:581
1556242993726,8cyclictest1707805-21missed_timers12:20:581
1556242993726,6cyclictest0-21swapper/110:46:051
1556241993729,5cyclictest1595277-21ssh09:15:010
1556241993727,7cyclictest744038-21cups-browsed08:10:020
1556243993630,3cyclictest0-21swapper/209:35:012
1556243993630,3cyclictest0-21swapper/209:35:012
1556243993628,5cyclictest1624933-21cron10:05:012
1556243993627,6cyclictest1631964-21kernelversion10:15:542
1556243993626,6cyclictest744038-21cups-browsed09:56:112
1556243993622,10cyclictest421-21dbus-daemon10:31:002
1556242993630,3cyclictest0-21swapper/109:46:181
1556242993628,5cyclictest1693371-21unixbench-2d11:56:141
1556242993624,9cyclictest1656545-21ntp_kernel_pll_10:56:021
155624299362,24cyclictest1611437-21ssh09:41:051
1556241993630,4cyclictest1681569-21grep11:36:170
1556241993629,4cyclictest1592336-21latency_hist09:10:020
1556241993627,7cyclictest1634061-21munin-run10:20:010
1556241993615,15cyclictest1686833-21ssh11:46:010
155624399353,26cyclictest1653619-21ssh10:51:042
1556243993526,6cyclictest421-21dbus-daemon11:25:012
1556243993525,7cyclictest1637115-21sh10:25:012
1556243993523,9cyclictest1646728-21/usr/sbin/munin10:40:552
1556242993528,4cyclictest1673717-21latency_hist11:25:011
1556242993528,4cyclictest1590881-21latency_hist09:05:031
1556241993528,4cyclictest1679753-21cron11:35:010
1556241993525,7cyclictest1620161-21ntp_kernel_pll_09:56:060
1556241993523,5cyclictest1646215-21ssh10:40:010
155624399346,7cyclictest171rcu_preempt07:25:592
1556243993428,4cyclictest1556240-21cyclictest12:21:262
1556243993428,4cyclictest1556240-21cyclictest12:21:262
1556243993427,4cyclictest0-21swapper/209:00:012
1556243993426,5cyclictest1718780-21cron12:40:002
1556243993425,6cyclictest1684334-21unixbench-2d11:41:132
1556243993425,6cyclictest1586241-21true08:50:012
1556243993424,6cyclictest744038-21cups-browsed10:45:072
155624299343,21cyclictest1690011-21rm11:51:081
1556242993428,4cyclictest1556240-21cyclictest08:25:011
1556242993426,5cyclictest1649310-21systemd-run10:45:011
1556242993426,5cyclictest1610235-21sendmail09:40:011
1556242993425,6cyclictest421-21dbus-daemon11:46:001
1556242993424,7cyclictest1626527-21timerandwakeup10:06:121
1556242993423,8cyclictest1584134-21ntp_kernel_pll_08:41:011
1556242993423,8cyclictest1584134-21ntp_kernel_pll_08:41:011
1556242993422,5cyclictest0-21swapper/111:35:481
155624199343,18cyclictest1647477-21ssh10:41:050
1556241993428,4cyclictest1718776-21ssh12:40:000
1556241993426,5cyclictest421-21dbus-daemon12:05:020
1556241993425,5cyclictest744038-21cups-browsed09:51:470
1556241993424,7cyclictest1692446-21sh11:55:560
1556243993323,6cyclictest1674781-21needreboot11:25:582
1556242993327,3cyclictest0-21swapper/108:30:011
1556242993325,5cyclictest1711486-21grep12:26:131
1556242993325,5cyclictest1711486-21grep12:26:131
1556242993325,5cyclictest1595281-21cron09:15:011
1556242993321,7cyclictest0-21swapper/110:26:081
1556241993326,4cyclictest1640150-21idleruntime-cro10:30:010
1556241993325,5cyclictest420-21avahi-daemon07:51:060
1556241993325,4cyclictest1662809-21sh11:06:070
1556241993325,4cyclictest0-21swapper/009:31:000
1556241993325,4cyclictest0-21swapper/009:31:000
1556241993324,6cyclictest151ktimers/007:56:000
1556243993227,3cyclictest1553530-21kworker/u8:0+rpciod07:25:012
1556243993225,4cyclictest1001-21mta-sts-daemon12:09:472
1556243993224,5cyclictest1663306-21unixbench_singl11:06:142
1556243993224,5cyclictest1628136-21latency_hist10:10:032
155624399322,24cyclictest1710957-21ssh12:26:012
155624399322,24cyclictest1710957-21ssh12:26:012
1556243993220,8cyclictest265-21systemd-journal11:45:582
1556242993226,3cyclictest0-21swapper/109:55:011
1556242993222,6cyclictest1603168-21unixbench_multi09:26:161
1556242993221,8cyclictest1585630-21ntp_kernel_pll_08:46:041
155624299321,23cyclictest1635237-21ssh10:21:031
1556241993227,3cyclictest1567975-21timerandwakeup07:46:120
1556241993226,4cyclictest1610202-21cron09:40:010
1556241993226,3cyclictest0-21swapper/008:46:060
1556241993225,4cyclictest1558241-21fschecks_count07:15:520
1556241993223,7cyclictest1623096-21ssh10:01:010
155624199322,24cyclictest1635390-21ssh10:21:100
1556243993125,3cyclictest0-21swapper/210:40:012
1556243993124,4cyclictest1618924-21cron09:55:012
1556243993122,7cyclictest1602523-21netstat09:25:592
1556243993121,7cyclictest567-21gdbus08:06:432
1556243993121,7cyclictest1692747-21needreboot11:55:592
1556243993120,8cyclictest1569720-21grep07:55:012
155624399311,7cyclictest171rcu_preempt10:26:052
1556242993125,3cyclictest0-21swapper/110:00:011
1556242993125,3cyclictest0-21swapper/109:25:001
1556242993125,3cyclictest0-21swapper/109:25:001
1556242993124,4cyclictest1003-21mta-sts-daemon11:31:121
1556242993123,5cyclictest1558747-21proc_pri07:16:061
1556242993123,5cyclictest1546443-21kworker/u8:4+xprtiod08:50:561
1556241993124,4cyclictest1000-21mta-sts-daemon10:33:560
1556241993123,6cyclictest1708310-21switchtime12:21:120
1556241993123,6cyclictest1708310-21switchtime12:21:120
1556241993123,5cyclictest1614899-21unixbench_singl09:46:180
1556241993122,4cyclictest0-21swapper/011:51:030
1556241993111,11cyclictest1604483-21kworker/u8:13+xprtiod10:11:010
1556241993111,11cyclictest1604483-21kworker/u8:13+xprtiod10:11:010
155624399303,22cyclictest627-21lldpd09:49:242
1556243993025,3cyclictest0-21swapper/212:35:002
1556243993025,3cyclictest0-21swapper/212:35:002
1556243993025,2cyclictest0-21swapper/209:25:002
1556243993025,2cyclictest0-21swapper/209:25:002
1556243993022,5cyclictest1591801-21systemctl09:06:072
1556243993021,5cyclictest1563749-21systemd-run07:35:012
1556243993021,5cyclictest1563749-21systemd-run07:35:012
155624299304,16cyclictest1596485-21ssh09:16:051
155624299302,8cyclictest1701937-21ntpq12:11:041
1556242993023,4cyclictest1715972-21latency_hist12:35:021
1556242993023,4cyclictest1715972-21latency_hist12:35:021
1556242993023,3cyclictest0-21swapper/107:36:171
155624299302,21cyclictest1653610-21ssh10:51:041
1556242993021,6cyclictest420-21avahi-daemon07:11:091
1556241993024,4cyclictest1613233-21latency_hist09:45:020
1556241993023,3cyclictest0-21swapper/011:20:590
1556241993022,5cyclictest1713958-21ntp_kernel_pll_12:31:020
1556241993022,5cyclictest1713958-21ntp_kernel_pll_12:31:020
1556241993022,5cyclictest1625712-21cat10:05:540
1556243992922,4cyclictest1629726-21unixbench_multi10:11:142
1556243992922,4cyclictest1629726-21unixbench_multi10:11:142
1556243992919,7cyclictest1665715-21ntp_kernel_pll_11:11:022
1556242992923,3cyclictest0-21swapper/110:40:011
1556242992922,4cyclictest1716393-21aten_r2power_po12:35:521
1556242992920,7cyclictest1569719-21/usr/sbin/munin07:55:021
155624199293,19cyclictest1656606-21ssh10:56:040
1556241992923,4cyclictest1711423-21timerwakeupswit12:26:130
1556241992923,4cyclictest1711423-21timerwakeupswit12:26:130
155624199292,20cyclictest1650475-21ssh10:46:010
1556241992920,5cyclictest0-21swapper/009:21:120
1556241992920,5cyclictest0-21swapper/009:21:120
1556241992920,2cyclictest0-21swapper/009:05:010
1556243992819,6cyclictest439-21systemd-logind07:20:012
1556243992818,6cyclictest0-21swapper/209:20:012
1556242992821,4cyclictest1705430-21unixbench-2d12:16:131
1556242992821,4cyclictest1705430-21unixbench-2d12:16:131
1556242992821,4cyclictest1641518-21proc_pri10:31:081
155624199282,20cyclictest1702030-21sh12:11:080
1556241992821,4cyclictest1562134-21tail07:26:120
1556241992817,4cyclictest1587198-21kworker/u8:7-xprtiod09:25:540
1556241992814,7cyclictest1563912-21latency_hist07:35:020
1556241992814,7cyclictest1563912-21latency_hist07:35:020
155624399276,14cyclictest428-21mta-sts-daemon08:51:062
1556243992722,2cyclictest0-21swapper/208:15:012
1556243992720,3cyclictest0-21swapper/211:31:072
1556243992719,6cyclictest843203-21munin-node07:11:162
1556243992719,5cyclictest1567195-21cpuspeed07:45:522
1556241992721,3cyclictest0-21swapper/011:15:020
1556241992717,7cyclictest12650irq/32-eth008:26:010
1556241992714,9cyclictest0-21swapper/008:41:050
1556241992714,9cyclictest0-21swapper/008:41:050
1556243992620,3cyclictest0-21swapper/209:01:012
1556243992619,4cyclictest1572724-21sh08:05:012
1556243992616,7cyclictest1660121-21timerwakeupswit11:01:132
1556242992620,3cyclictest0-21swapper/108:00:011
1556242992617,6cyclictest1589234-21awk09:00:011
155624199266,12cyclictest428-21mta-sts-daemon08:21:040
1556241992613,10cyclictest0-21swapper/012:10:020
155624499251,3cyclictest0-21swapper/307:15:573
1556243992520,3cyclictest0-21swapper/208:26:132
1556243992517,5cyclictest744038-21cups-browsed08:39:252
1556243992515,7cyclictest1580876-21kernelversion08:30:572
155624299258,14cyclictest261rcuc/107:41:021
1556242992521,2cyclictest0-21swapper/108:00:521
1556242992520,2cyclictest0-21swapper/108:20:011
1556242992519,4cyclictest1556240-21cyclictest08:35:591
1556242992518,4cyclictest1580749-21fschecks_count08:30:541
1556242992518,4cyclictest1575242-21proc_pri08:11:081
1556242992517,5cyclictest1-21systemd07:50:021
1556241992520,3cyclictest1571762-21grep08:00:550
1556241992519,3cyclictest1583310-21latency_hist08:40:020
1556243992419,3cyclictest0-21swapper/208:25:022
155624399241,6cyclictest171rcu_preempt07:41:022
1556242992416,6cyclictest1592072-21unixbench-2d09:06:111
155624199249,12cyclictest1589338-21latency_hist09:00:020
1556241992417,5cyclictest0-21swapper/007:10:020
1556241992416,6cyclictest1581673-21unixbench_singl08:31:130
155624499231,4cyclictest0-21swapper/308:26:063
155624499231,17cyclictest0-21swapper/311:01:043
155624499231,17cyclictest0-21swapper/307:56:003
155624499230,3cyclictest0-21swapper/309:26:043
1556243992316,4cyclictest1577210-21cron08:20:012
1556243992315,6cyclictest1584512-21timerwakeupswit08:41:112
1556243992315,6cyclictest1584512-21timerwakeupswit08:41:112
155624299232,15cyclictest1573706-21ntpq08:06:071
155624299231,18cyclictest1560112-21awk07:21:001
155624499222,3cyclictest0-21swapper/307:21:033
155624499221,5cyclictest0-21swapper/310:45:593
155624499221,5cyclictest0-21swapper/308:56:013
155624499221,4cyclictest0-21swapper/311:26:013
155624499221,4cyclictest0-21swapper/310:11:013
155624499221,4cyclictest0-21swapper/310:11:013
155624499221,4cyclictest0-21swapper/309:41:123
155624499221,4cyclictest0-21swapper/309:36:063
155624499221,3cyclictest0-21swapper/312:11:063
155624499221,3cyclictest0-21swapper/311:46:013
155624499221,3cyclictest0-21swapper/311:41:043
155624499221,3cyclictest0-21swapper/310:50:583
155624499221,3cyclictest0-21swapper/310:06:053
155624499221,3cyclictest0-21swapper/309:46:013
155624499221,3cyclictest0-21swapper/309:31:093
155624499221,3cyclictest0-21swapper/309:31:093
155624499221,3cyclictest0-21swapper/308:51:013
155624499221,3cyclictest0-21swapper/307:36:173
155624499221,3cyclictest0-21swapper/307:11:013
155624499220,4cyclictest0-21swapper/310:26:033
155624499220,3cyclictest0-21swapper/307:50:583
1556241992216,3cyclictest0-21swapper/007:11:140
155624499211,6cyclictest0-21swapper/308:06:003
155624499211,4cyclictest0-21swapper/311:31:063
155624499211,4cyclictest0-21swapper/309:50:513
155624499211,4cyclictest0-21swapper/309:20:503
155624499211,4cyclictest0-21swapper/309:20:503
155624499211,4cyclictest0-21swapper/307:46:023
155624499211,3cyclictest0-21swapper/312:16:053
155624499211,3cyclictest0-21swapper/312:16:053
155624499211,3cyclictest0-21swapper/312:06:073
155624499211,3cyclictest0-21swapper/311:16:053
155624499211,3cyclictest0-21swapper/311:11:063
155624499211,3cyclictest0-21swapper/311:05:553
155624499211,3cyclictest0-21swapper/310:41:023
155624499211,3cyclictest0-21swapper/310:36:103
155624499211,3cyclictest0-21swapper/310:16:033
155624499211,3cyclictest0-21swapper/310:01:023
155624499211,3cyclictest0-21swapper/309:56:113
155624499211,3cyclictest0-21swapper/309:16:033
155624499211,3cyclictest0-21swapper/308:41:053
155624499211,3cyclictest0-21swapper/308:41:053
155624499211,3cyclictest0-21swapper/308:36:013
155624499211,3cyclictest0-21swapper/308:16:013
155624499211,3cyclictest0-21swapper/307:40:563
155624499210,4cyclictest0-21swapper/311:37:003
155624499210,3cyclictest0-21swapper/312:36:063
155624499210,3cyclictest0-21swapper/312:21:053
155624499210,3cyclictest0-21swapper/312:21:053
155624499210,3cyclictest0-21swapper/311:21:053
155624499210,3cyclictest0-21swapper/310:56:033
155624499210,3cyclictest0-21swapper/310:21:033
155624499210,3cyclictest0-21swapper/309:01:023
155624499210,3cyclictest0-21swapper/308:46:003
155624499210,3cyclictest0-21swapper/307:26:003
1556241992113,6cyclictest1559617-21head07:20:520
155624499201,6cyclictest0-21swapper/308:00:523
155624499201,4cyclictest0-21swapper/312:25:083
155624499201,4cyclictest0-21swapper/312:25:083
155624499201,4cyclictest0-21swapper/312:00:523
155624499201,4cyclictest0-21swapper/308:10:563
155624499201,3cyclictest0-21swapper/312:30:593
155624499201,3cyclictest0-21swapper/312:30:593
155624499201,3cyclictest0-21swapper/311:50:513
155624499201,3cyclictest0-21swapper/310:31:003
155624499201,3cyclictest0-21swapper/309:11:003
155624499201,3cyclictest0-21swapper/309:05:593
155624499201,3cyclictest0-21swapper/308:31:033
155624499201,3cyclictest0-21swapper/308:21:053
155624499201,3cyclictest0-21swapper/307:30:583
155624499201,3cyclictest0-21swapper/307:30:583
155624499200,3cyclictest0-21swapper/311:56:003
155624499191,3cyclictest0-21swapper/307:10:023
1556242991914,2cyclictest0-21swapper/107:10:021
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional