You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-28 - 21:11

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #e, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rackeslot4s.osadl.org (updated Tue Jul 28, 2026 12:44:07)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
687539995854,3cyclictest837650-21kworker/u8:3+flush-259:009:35:011
687539995854,3cyclictest837650-21kworker/u8:3+flush-259:009:35:001
687542995549,4cyclictest335557-21systemd-journal09:30:002
687537995147,3cyclictest889549-21kworker/u8:0+flush-259:010:50:010
687539994743,3cyclictest889549-21kworker/u8:0+flush-259:010:40:021
687547993731,4cyclictest335557-21systemd-journal12:00:013
687542993733,3cyclictest925741-21gpgv11:00:002
687547993532,2cyclictest951638-21kworker/u8:3+flush-259:011:25:003
687542993530,3cyclictest723599-21apt-get07:45:002
687539993532,2cyclictest702992-21kworker/u8:1+events_unbound07:36:491
687539993531,3cyclictest889549-21kworker/u8:0+events_unbound10:53:501
687539993529,4cyclictest702992-21kworker/u8:1+events_unbound08:30:141
687539993430,3cyclictest972882-21kworker/u8:4+events_unbound11:48:511
687539993430,3cyclictest972882-21kworker/u8:4+events_unbound11:48:501
687539993430,3cyclictest941305-21kworker/u8:2+events_unbound11:27:501
687537993429,4cyclictest743781-21ntpq08:00:200
687539993330,2cyclictest988449-21kworker/u8:2+events_unbound12:25:141
687539993330,2cyclictest682555-21kworker/u8:2+flush-259:007:15:491
687547993228,3cyclictest858605-21kworker/u8:3+flush-259:010:35:003
687547993228,3cyclictest858605-21kworker/u8:3+events_unbound11:05:003
687539993228,3cyclictest702992-21kworker/u8:1+events_unbound08:24:491
687542993125,4cyclictest780819-21latency_hist08:40:002
687539993128,2cyclictest988449-21kworker/u8:2+flush-259:012:02:541
687539993128,2cyclictest931379-21kworker/u8:0+flush-259:011:15:511
687539993127,3cyclictest972882-21kworker/u8:4+flush-259:012:05:531
687539993127,3cyclictest957209-21kworker/u8:1+events_unbound11:37:511
687539993127,3cyclictest702992-21kworker/u8:1+flush-259:008:17:471
687542993023,5cyclictest708106-21latency_hist07:30:012
687539993027,2cyclictest801506-21kworker/u8:0+events_unbound09:04:161
687539993026,3cyclictest988449-21kworker/u8:2+events_unbound12:20:001
687539993026,3cyclictest801506-21kworker/u8:0+flush-259:009:09:501
687539993026,3cyclictest718646-21kworker/u8:0+events_unbound07:43:481
687537993025,3cyclictest1024980-21latency_hist12:35:010
687537993023,5cyclictest1014175-21apt-get12:25:030
687537993015,2cyclictest1014185-21latency_hist12:25:000
687539992926,2cyclictest765411-21kworker/u8:3+events_unbound09:17:521
687539992925,3cyclictest858605-21kworker/u8:3+flush-259:010:34:391
687539992925,2cyclictest718646-21kworker/u8:0+flush-259:008:00:481
687537992924,3cyclictest713527-21apt-get07:35:110
687539992825,2cyclictest858605-21kworker/u8:3+events_unbound11:09:481
687539992825,2cyclictest702992-21kworker/u8:1+flush-259:008:28:471
687539992823,3cyclictest729419-21/usr/sbin/munin07:50:151
687547992714,12cyclictest723804-21gpgv07:45:013
687539992724,2cyclictest692851-21kworker/u8:3+events_unbound07:22:481
687539992724,2cyclictest633820-21kworker/u8:0+events_unbound07:29:011
687539992723,3cyclictest951638-21kworker/u8:3+events_unbound11:51:531
687539992723,3cyclictest951638-21kworker/u8:3+events_unbound11:51:531
687539992721,4cyclictest801660-21cp09:00:001
687537992720,4cyclictest335557-21systemd-journal09:26:500
68754799269,7cyclictest0-21swapper/312:30:003
687547992623,2cyclictest879546-21apt-get10:15:123
687539992623,2cyclictest988449-21kworker/u8:2+events_unbound12:12:541
687539992623,2cyclictest848321-21kworker/u8:1+events_unbound09:46:511
687539992622,3cyclictest702992-21kworker/u8:1+events_unbound07:33:471
687539992622,3cyclictest1019542-21kworker/u8:1+events_unbound12:35:221
687539992620,4cyclictest335557-21systemd-journal10:05:001
687537992620,4cyclictest847418-21ntpq09:40:200
687542992519,4cyclictest884441-21latency_hist10:20:002
687542992519,4cyclictest801577-21cp09:00:002
687539992521,3cyclictest925687-21kworker/u8:2+flush-259:011:00:501
687537992519,4cyclictest883610-21ntpq10:15:220
687547992414,8cyclictest702960-21latency_hist07:25:013
687539992421,2cyclictest889549-21kworker/u8:0+flush-259:010:40:161
687539992419,3cyclictest760022-21kworker/u8:0+flush-259:008:42:471
687539992419,3cyclictest335557-21systemd-journal07:10:461
687537992417,5cyclictest509-21rs:main0
687547992319,3cyclictest734598-21apt-get07:55:123
687542992319,3cyclictest739111-21apt-get07:55:272
687542992317,4cyclictest977871-21latency_hist11:50:012
687542992317,4cyclictest977871-21latency_hist11:50:002
687539992320,2cyclictest822451-21kworker/u8:2+flush-259:009:40:221
687539992320,2cyclictest801506-21kworker/u8:0+events_unbound09:10:151
687547992216,4cyclictest713265-21latency_hist07:35:013
687539992218,3cyclictest988449-21kworker/u8:2+flush-259:012:20:221
687539992216,4cyclictest951638-21kworker/u8:3+events_unbound11:55:111
687537992217,3cyclictest1003800-21turbostat12:15:010
687537992214,6cyclictest852614-21ntpq09:45:210
687547992115,4cyclictest755328-21apt-get08:15:143
68754799210,10cyclictest754925-21taskset08:13:393
687542992118,2cyclictest0-21swapper/212:10:002
687539992118,2cyclictest966419-21kworker/u8:0+events_unbound11:40:221
687539992118,2cyclictest775429-21kworker/u8:2+flush-259:008:50:151
687539992118,2cyclictest775429-21kworker/u8:2+events_unbound08:45:231
687539992117,3cyclictest765411-21kworker/u8:3+events_unbound08:39:151
687539992116,3cyclictest848321-21kworker/u8:1+events_unbound09:50:141
687537992117,3cyclictest801506-21kworker/u8:0+events_unbound09:35:190
687537992115,4cyclictest976957-21ntpq11:45:200
687537992115,4cyclictest976957-21ntpq11:45:200
687537992115,4cyclictest765370-21latency_hist08:25:010
687537992115,4cyclictest335557-21systemd-journal07:42:470
687537992114,5cyclictest879279-21latency_hist10:15:000
687537992114,5cyclictest790293-21ntpq08:45:240
687542992016,3cyclictest0-21swapper/212:15:002
687539992017,2cyclictest1019542-21kworker/u8:1+flush-259:012:30:161
687539992016,3cyclictest951638-21kworker/u8:3+flush-259:011:22:521
687539992016,3cyclictest951638-21kworker/u8:3+events_unbound11:30:151
687539992016,3cyclictest868570-21kworker/u8:1+flush-259:010:17:501
687539992016,3cyclictest822451-21kworker/u8:2+events_unbound09:37:501
687539992016,3cyclictest702992-21kworker/u8:1+events_unbound07:58:471
687539992013,5cyclictest873256-21ntpq10:05:241
687537992016,3cyclictest760022-21kworker/u8:0+flush-259:008:25:210
687537992015,3cyclictest692608-21sh07:15:000
687547991916,2cyclictest765411-21kworker/u8:3+flush-259:009:00:183
68754799190,15cyclictest848308-21chrt09:44:493
68754799190,14cyclictest692397-21taskset07:12:333
68754799190,13cyclictest879133-21taskset10:13:303
68754799190,11cyclictest801309-21chrt08:58:173
68754799190,11cyclictest796090-21taskset08:52:273
687542991913,4cyclictest734333-21latency_hist07:55:012
687539991917,2cyclictest858605-21kworker/u8:3+flush-259:010:25:181
687539991917,1cyclictest858605-21kworker/u8:3+flush-259:011:10:201
687539991915,3cyclictest729205-21kworker/u8:3+flush-259:008:05:131
687537991911,5cyclictest785164-21ntpq08:40:230
687547991816,1cyclictest993429-21idleruntime-cro12:04:593
68754799180,10cyclictest905323-21taskset10:40:043
68754799180,10cyclictest889222-21chrt10:20:433
68754799180,10cyclictest724260-21taskset07:45:073
68754799180,10cyclictest697014-21runrttasks07:15:223
687539991815,2cyclictest889549-21kworker/u8:0+events_unbound10:55:151
687539991814,3cyclictest868570-21kworker/u8:1+events_unbound10:10:241
687537991815,2cyclictest812189-21cron09:10:000
687537991814,3cyclictest713253-21idleruntime-cro07:35:000
68754799177,8cyclictest920584-21latency_hist10:55:023
68754799172,14cyclictest781754-21irqcore08:40:173
687547991715,1cyclictest731738-21kthreadcore07:50:183
687547991714,2cyclictest963602-21kthreadcore11:35:193
68754799170,9cyclictest998515-21taskset12:09:183
68754799170,9cyclictest962040-21taskset11:31:513
68754799170,9cyclictest832467-21chrt09:25:343
68754799170,9cyclictest827332-21taskset09:21:053
68754799170,9cyclictest822272-21taskset09:17:143
68754799170,9cyclictest770736-21taskset08:30:063
68754799170,9cyclictest744602-21chrt08:04:003
68754799170,9cyclictest718168-21taskset07:37:143
68754799170,9cyclictest707891-21taskset07:27:403
68754799170,10cyclictest894754-21chrt10:29:503
68754799170,10cyclictest749852-21taskset08:09:493
687542991714,2cyclictest754220-21ntp_offset08:10:222
687542991713,3cyclictest905119-21kworker/u8:1+flush-259:011:20:172
687542991710,5cyclictest775659-21latency_hist08:35:002
687539991713,3cyclictest879306-21kworker/u8:2+events_unbound10:24:371
687537991714,2cyclictest994109-21irqcore12:05:170
687537991714,2cyclictest863759-21cron10:00:000
687537991714,2cyclictest60350irq/132-enp0s29f1:rx-012:00:120
687537991713,2cyclictest775429-21kworker/u8:2+events_unbound08:55:000
687537991713,2cyclictest0-21swapper/010:05:000
687537991710,5cyclictest335557-21systemd-journal08:12:470
68754799165,10cyclictest765883-21tune2fs08:25:143
68754799161,9cyclictest2109693-21snmpd11:28:273
687547991613,2cyclictest765411-21kworker/u8:3+flush-259:009:10:003
687547991612,3cyclictest988449-21kworker/u8:2+flush-259:012:10:233
68754799161,13cyclictest853460-21cron09:50:003
68754799160,9cyclictest832-21runrttasks08:46:333
68754799160,8cyclictest941892-21/usr/sbin/munin11:15:123
68754799160,8cyclictest925547-21taskset10:58:173
68754799160,8cyclictest868569-21taskset10:00:313
68754799160,8cyclictest1030043-21chrt12:38:443
68754799160,14cyclictest904100-21grep10:35:203
68754299167,2cyclictest0-21swapper/208:05:002
687539991613,2cyclictest752456-21sort08:10:181
687539991612,3cyclictest801506-21kworker/u8:0+events_unbound09:25:141
687539991612,3cyclictest702992-21kworker/u8:1+events_unbound07:49:051
68753799169,5cyclictest837072-21ntpq09:30:190
68753799169,5cyclictest837072-21ntpq09:30:190
68753799169,5cyclictest696888-21ntpq07:15:210
68753799168,5cyclictest910256-21latency_hist10:45:010
687537991614,2cyclictest60350irq/132-enp0s29f1:rx-011:36:110
687537991613,2cyclictest60350irq/132-enp0s29f1:rx-010:52:280
687537991613,2cyclictest60350irq/132-enp0s29f1:rx-007:48:300
687537991612,3cyclictest60350irq/132-enp0s29f1:rx-011:20:120
687537991611,4cyclictest1025252-21apt-get12:35:120
687537991611,3cyclictest1004063-21apt-get12:15:120
687537991610,5cyclictest822451-21kworker/u8:2+flush-259:009:25:000
68754799151,12cyclictest983048-21munin-plugin-st11:55:003
68754799151,12cyclictest983048-21munin-plugin-st11:54:593
68754799150,8cyclictest977060-21ntp_states11:45:233
68754799150,8cyclictest977060-21ntp_states11:45:233
68754799150,8cyclictest941445-21taskset11:12:433
68754799150,8cyclictest915175-21chrt10:47:083
68754799150,8cyclictest857809-21ntp_states09:50:223
68754799150,8cyclictest780624-21taskset08:37:563
68754799150,8cyclictest1024930-21taskset12:34:423
68754799150,14cyclictest873542-21sed10:05:263
68754799150,14cyclictest765356-21cron08:25:003
68754799150,12cyclictest931584-21/usr/sbin/munin11:05:133
68754799150,12cyclictest838440-21grep09:35:163
68754799150,12cyclictest1004205-21cpuspeed_turbos12:15:133
68754299153,3cyclictest919759-21ntpq10:50:232
687542991511,3cyclictest507-21in:imuxsock09:10:012
687542991511,3cyclictest0-21swapper/207:35:002
687542991510,3cyclictest802140-21/usr/sbin/munin09:00:162
687539991511,3cyclictest822451-21kworker/u8:2+flush-259:009:20:191
68753799159,5cyclictest729205-21kworker/u8:3+flush-259:008:05:180
68753799158,5cyclictest983466-21diskstats11:55:130
687537991513,2cyclictest60350irq/132-enp0s29f1:rx-010:34:260
687537991513,1cyclictest60350irq/132-enp0s29f1:rx-010:35:030
687537991513,1cyclictest60350irq/132-enp0s29f1:rx-009:10:240
687537991513,1cyclictest60350irq/132-enp0s29f1:rx-008:30:200
687537991513,1cyclictest60350irq/132-enp0s29f1:rx-007:58:010
687537991512,2cyclictest60350irq/132-enp0s29f1:rx-011:17:350
687537991512,2cyclictest60350irq/132-enp0s29f1:rx-011:13:140
687537991512,2cyclictest60350irq/132-enp0s29f1:rx-009:00:240
687537991511,3cyclictest926622-21fschecks_time11:00:150
687537991511,3cyclictest692851-21kworker/u8:3+flush-259:007:20:210
68754799149,3cyclictest812473-21apt-get09:10:123
68754799140,8cyclictest832-21runrttasks11:43:223
68754799140,12cyclictest833254-21tr09:30:133
68754799140,12cyclictest833254-21tr09:30:123
68754299143,5cyclictest0-21swapper/209:35:152
68754299142,4cyclictest0-21swapper/207:10:152
68754299141,10cyclictest910256-21latency_hist10:45:012
68754299140,4cyclictest992703-21sensors12:00:232
68754299140,3cyclictest900183-21/usr/sbin/munin10:35:262
687539991410,3cyclictest858605-21kworker/u8:3+flush-259:010:45:191
68753799147,5cyclictest925761-21munin-run11:00:000
68753799146,5cyclictest707265-21ntpq07:25:220
687537991413,1cyclictest60350irq/132-enp0s29f1:rx-010:25:440
687537991413,1cyclictest60350irq/132-enp0s29f1:rx-007:54:120
687537991412,1cyclictest60350irq/132-enp0s29f1:rx-011:34:350
687537991412,1cyclictest60350irq/132-enp0s29f1:rx-009:15:230
687537991412,1cyclictest60350irq/132-enp0s29f1:rx-008:39:140
687537991412,1cyclictest60350irq/132-enp0s29f1:rx-008:16:480
687537991410,2cyclictest0-21swapper/009:00:000
68754299137,4cyclictest983046-21latency_hist11:55:012
68754299137,4cyclictest983046-21latency_hist11:55:002
68754299133,2cyclictest1018902-21ntpq12:25:212
68754299132,2cyclictest1-21systemd09:35:002
68754299132,2cyclictest1-21systemd09:35:002
68754299132,2cyclictest0-21swapper/208:05:132
68754299131,3cyclictest41-21ksoftirqd/209:10:242
687542991311,1cyclictest0-21swapper/211:40:012
687542991310,2cyclictest983391-21cpuspeed_turbos11:55:122
687542991310,2cyclictest0-21swapper/212:25:012
68753799137,4cyclictest853713-21/usr/sbin/munin09:50:150
687537991311,1cyclictest60350irq/132-enp0s29f1:rx-010:20:400
687537991310,2cyclictest60350irq/132-enp0s29f1:rx-011:40:120
687537991310,2cyclictest60350irq/132-enp0s29f1:rx-010:05:200
68754299129,1cyclictest191rcu_preempt08:40:122
68754299123,6cyclictest0-21swapper/212:15:222
68754299123,5cyclictest0-21swapper/209:50:252
68754299122,1cyclictest972673-21systemctl11:45:002
68754299121,7cyclictest859043-21diskstats09:55:132
68754299121,7cyclictest755475-21df08:15:152
68754299121,4cyclictest791152-21munin-run08:50:002
68754299121,3cyclictest914586-21ntpq10:45:202
68754299121,3cyclictest41-21ksoftirqd/210:05:232
68754299121,3cyclictest41-21ksoftirqd/207:45:192
687542991210,1cyclictest850889-21sort09:45:182
687542991210,1cyclictest0-21swapper/210:15:012
68754299120,4cyclictest769428-21memory08:25:192
68753999129,2cyclictest858605-21kworker/u8:3+flush-259:009:55:191
687537991211,1cyclictest60350irq/132-enp0s29f1:rx-011:53:020
687537991211,1cyclictest60350irq/132-enp0s29f1:rx-011:53:010
687537991210,1cyclictest60350irq/132-enp0s29f1:rx-011:05:260
68754299119,1cyclictest0-21swapper/209:15:192
68754299118,2cyclictest895170-21cpuspeed_turbos10:30:132
68754299118,2cyclictest0-21swapper/211:30:152
68754299115,1cyclictest191rcu_preempt12:30:162
68754299115,1cyclictest191rcu_preempt11:19:162
68754299115,1cyclictest191rcu_preempt07:40:012
68754299114,1cyclictest191rcu_preempt09:20:202
68754299113,5cyclictest41-21ksoftirqd/212:35:162
68754299113,5cyclictest41-21ksoftirqd/211:10:242
68754299112,8cyclictest391rcuc/210:00:162
68754299111,5cyclictest41-21ksoftirqd/207:20:482
68754299110,6cyclictest693865-21irqstats07:15:172
68754299110,4cyclictest41-21ksoftirqd/208:20:142
68754299100,6cyclictest884986-21fw_forwarded_lo10:20:142
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional