You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-03-15 - 11:19

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot4s.osadl.org (updated Sun Mar 15, 2026 00:45:13)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
1072799531,40cyclictest12552-21ssh23:25:130
1074499514,33cyclictest21696-21ssh22:00:122
1075399473,25cyclictest28366irq/58-eth019:35:123
1075399455,22cyclictest28366irq/58-eth000:15:133
1075399444,23cyclictest28366irq/58-eth023:20:113
1072799442,7cyclictest10315-21ssh00:00:150
1072799434,4cyclictest12-21ksoftirqd/021:05:120
1075399423,24cyclictest28366irq/58-eth022:30:123
1072799420,9cyclictest19237-21ssh00:05:120
1074499415,25cyclictest30352-21ssh23:35:142
1074499415,25cyclictest30352-21ssh23:35:142
10744994127,9cyclictest27-21ksoftirqd/222:55:112
10744994127,9cyclictest27-21ksoftirqd/222:55:102
1073699411,33cyclictest14483-21ssh22:50:141
1075399393,24cyclictest28366irq/58-eth022:35:133
1075399393,23cyclictest28366irq/58-eth022:40:103
10744993913,23cyclictest27-21ksoftirqd/222:10:122
1072799392,26cyclictest27206-21ssh21:45:130
10744993822,8cyclictest27-21ksoftirqd/222:45:122
10744993811,20cyclictest27-21ksoftirqd/219:20:132
1073699382,7cyclictest18012-21ssh23:10:131
10753993719,11cyclictest28366irq/58-eth000:05:133
1074499371,27cyclictest24798-21ssh23:50:132
1073699371,10cyclictest13205-21sendmail-msp00:20:011
1072799378,25cyclictest10254-21cut21:35:200
1072799372,3cyclictest0-21swapper/020:10:130
1072799371,9cyclictest16683-21munin-run00:40:000
1072799371,8cyclictest3425-21cut20:40:220
1074499364,21cyclictest0-21swapper/200:35:132
10744993616,17cyclictest633-21Async12:11:532
1073699361,7cyclictest19224-21apt-get00:05:141
1072799366,27cyclictest10797-21grep19:40:260
1072799361,9cyclictest18212-21ntp_states22:50:260
1072799361,7cyclictest19283-21ssh22:34:510
1075399357,23cyclictest0-21swapper/321:20:103
1073699350,9cyclictest13159-21sort20:20:021
1072799351,6cyclictest2510666ssh21:25:210
1072799351,4cyclictest30608-21ntp_192.168.11423:15:290
1072799350,6cyclictest12731-21apt-get21:55:130
1073699341,9cyclictest27836-21ssh23:15:231
1073699341,8cyclictest15444-21munin-plugin-st23:45:001
1073699341,11cyclictest25023-21kthreadcore00:25:221
1073699341,10cyclictest1717-21latency22:05:221
1073699340,11cyclictest8524-21kthreadcore22:45:221
1072799347,24cyclictest10556-21grep23:40:260
1072799343,5cyclictest17028-21kthreadcore21:20:190
1072799341,9cyclictest32619-21apt-get21:30:120
1072799341,11cyclictest4903-21ntp_192.168.11423:55:240
1072799341,10cyclictest27968-21diskstats20:35:150
1072799340,9cyclictest31772-21ntpq00:10:260
1072799340,9cyclictest31772-21ntpq00:10:260
1072799340,5cyclictest14666-21apt-get20:55:130
1075399334,17cyclictest28366irq/58-eth021:25:143
10753993316,10cyclictest0-21swapper/321:05:133
1073699332,9cyclictest18156-21latency_hist20:25:011
1073699331,9cyclictest29250-21irqcore22:40:161
1073699331,9cyclictest25364-21diskstats19:25:161
1073699331,9cyclictest25364-21diskstats19:25:161
1072799338,22cyclictest17365-21irqrtprio19:50:170
1072799338,22cyclictest17365-21irqrtprio19:50:170
1072799331,8cyclictest19412-21ssh21:40:190
1072799331,7cyclictest30654-21/usr/sbin/munin22:05:110
1072799331,7cyclictest13208-21awk00:20:000
1072799331,5cyclictest14871-21kthreadcore20:20:190
1072799331,28cyclictest16138-21basename23:45:160
1074499323,23cyclictest14498-21ssh22:50:152
1074499323,18cyclictest5792-21ssh21:15:142
1073699326,5cyclictest15166-21irqrtprio20:55:181
1073699321,9cyclictest32336-21irqstats00:30:181
1073699321,9cyclictest16697-21kthreadcore21:20:191
1073699321,8cyclictest3713-21ntp_192.168.11423:00:241
1073699321,8cyclictest11262-21kthreadcore23:05:211
1073699321,10cyclictest18092-21cat00:20:311
1073699321,10cyclictest15961-21df_inode23:45:161
1073699320,9cyclictest3056-21apt-get23:20:041
1073699320,9cyclictest27382-21tune2fs21:45:161
1072799323,7cyclictest29851-21diskmemload21:10:180
1072799321,9cyclictest8532-21df20:15:140
1072799321,8cyclictest29856-21idleruntime-cro19:30:010
1072799321,8cyclictest29856-21idleruntime-cro19:30:000
1072799321,8cyclictest29855-21missed_timers20:00:220
1072799321,8cyclictest28718-21latency_hist22:40:020
1072799321,8cyclictest24179-21irqrtprio22:55:160
1072799321,8cyclictest24179-21irqrtprio22:55:150
1072799321,8cyclictest22145-21sed19:55:170
1072799321,8cyclictest15375-21users19:10:310
1072799321,8cyclictest11730-21kthreadcore20:50:190
1072799321,7cyclictest31625-21tail20:05:150
1072799321,6cyclictest7382-21kthreadcore20:45:200
1072799321,6cyclictest16850-21sed22:15:200
1072799321,23cyclictest18006-21sh23:10:140
1072799321,14cyclictest32505-21apt23:00:120
1072799320,6cyclictest10203-21ssh23:22:410
1075399318,13cyclictest28366irq/58-eth021:10:133
1074499315,16cyclictest22346irq/40-dwc2_hso19:55:122
1074499314,16cyclictest22346irq/40-dwc2_hso20:05:112
1074499312,17cyclictest22346irq/40-dwc2_hso21:00:132
1073699318,3cyclictest26520-21sh22:37:451
1073699316,4cyclictest21002-21irqrtprio19:20:171
1073699316,3cyclictest2315-21irqcore22:25:181
1073699315,6cyclictest24008-21cron21:05:011
1073699311,9cyclictest7087-21sed20:10:241
1073699311,9cyclictest31955-21tr00:10:281
1073699311,9cyclictest31955-21tr00:10:281
1073699311,9cyclictest19432-21idleruntime-cro22:35:001
1073699311,8cyclictest30908-21kthreadcore19:30:191
1073699311,8cyclictest29417-21grep21:10:161
1073699311,8cyclictest28039-21cut22:20:201
1073699311,7cyclictest12934-21tune2fs21:55:171
1073699311,11cyclictest25513-21grep23:30:291
1073699311,10cyclictest7497-21kthreadcore20:45:201
1073699311,10cyclictest25496-21kthreadcore20:30:211
1073699311,10cyclictest18817-21irqstats20:25:191
1073699310,9cyclictest3919-21diskstats21:50:141
1072799313,4cyclictest3773-21sort21:50:110
1072799311,8cyclictest23515-21kthreadcore22:00:200
1072799311,8cyclictest15927-21/usr/sbin/munin19:15:180
1072799311,8cyclictest12511-21ssh22:11:010
1072799311,7cyclictest7224-21ssh22:26:080
1072799311,7cyclictest30001-21rm00:28:310
1072799311,7cyclictest22865-21grep23:30:210
1072799311,7cyclictest22857-21latency_hist20:30:020
1072799311,7cyclictest12547-21grep19:45:180
1072799311,6cyclictest7166-21latency_hist19:40:010
1072799311,6cyclictest24909-21diskstats23:50:150
1072799311,5cyclictest25803-21irqcore22:20:170
1072799311,5cyclictest13573-21find00:20:130
1072799311,4cyclictest22904-21ntp_states21:00:240
1072799310,6cyclictest12380-21ssh21:17:400
1072799310,5cyclictest1478-21sed23:35:240
1072799310,5cyclictest1478-21sed23:35:230
1072799310,5cyclictest13421-21usage_Anybus23:05:290
1074499303,18cyclictest22346irq/40-dwc2_hso20:00:112
1073699307,3cyclictest0-21swapper/121:29:171
1073699301,9cyclictest15415-21munin-plugin-st19:15:011
1073699301,9cyclictest13041-21sed23:25:181
1073699301,8cyclictest28949-21kthreadcore20:35:191
1073699301,8cyclictest24887-21ssh23:50:141
1073699301,8cyclictest2334-21tr23:55:191
1073699301,8cyclictest22962-21kthreadcore19:55:191
1073699301,8cyclictest12815-21ntp_192.168.11421:35:241
1073699301,7cyclictest8340-21grep00:35:161
1073699301,11cyclictest5765-21apt-get21:15:131
1073699301,10cyclictest25269-21tr22:55:181
1073699301,10cyclictest25269-21tr22:55:181
1073699301,10cyclictest1594-21kthreadcore20:40:181
1073699300,9cyclictest11952-21latency_hist19:45:011
1072799305,3cyclictest25159-21cat19:25:020
1072799301,6cyclictest2893-21ntp_states00:30:260
1072799301,5cyclictest28842-21/usr/sbin/munin22:40:100
1072799301,5cyclictest27675-21apt-key20:35:010
1072799301,5cyclictest1095-21ntp_offset19:30:260
1072799300,7cyclictest12843-21ssh22:48:310
1075399299,10cyclictest28366irq/58-eth020:00:133
1074499294,15cyclictest22346irq/40-dwc2_hso22:25:122
1073699297,3cyclictest0-21swapper/100:00:541
1073699295,6cyclictest30335-21apt23:35:131
1073699295,6cyclictest30335-21apt23:35:131
1073699292,5cyclictest7950-21irqstats22:10:181
1073699292,10cyclictest28822-21latency_hist21:10:011
1073699291,9cyclictest20217-21awk22:15:301
1073699291,9cyclictest15732-21df_inode19:15:161
1073699291,9cyclictest13472-21switchtime20:50:271
1073699291,8cyclictest16865-21apt-get19:50:121
1073699291,8cyclictest16865-21apt-get19:50:111
1073699291,8cyclictest1565-21kthreadcore20:05:201
1073699290,11cyclictest24533-21kthreadcore22:00:211
1072799290,5cyclictest10752-21latency_hist19:10:000
1074499285,13cyclictest22346irq/40-dwc2_hso20:30:132
1074499284,14cyclictest22346irq/40-dwc2_hso23:00:142
1074499283,4cyclictest6890-21ssh23:40:122
1074499282,20cyclictest0-21swapper/221:55:142
1074499282,20cyclictest0-21swapper/220:45:122
1074499281,19cyclictest13697-21ssh00:20:142
1073699281,9cyclictest5269-21ssh21:30:441
1073699281,8cyclictest21848-21/usr/sbin/munin21:40:251
1075399273,16cyclictest0-21swapper/323:35:143
1075399273,16cyclictest0-21swapper/323:35:133
1074499276,8cyclictest531-21usb-storage22:40:122
1074499273,15cyclictest22346irq/40-dwc2_hso20:15:122
1074499273,14cyclictest22346irq/40-dwc2_hso20:35:132
1074499273,10cyclictest3812-21sh21:50:142
1074499272,19cyclictest0-21swapper/219:10:142
1074499271,12cyclictest19836-21rm22:35:132
1075399265,14cyclictest28366irq/58-eth023:45:143
1075399264,19cyclictest28366irq/58-eth023:25:133
10753992613,9cyclictest28366irq/58-eth021:45:133
10753992612,8cyclictest0-21swapper/322:00:133
1074499261,5cyclictest32645-21ssh21:30:122
1074499261,17cyclictest4598-21ssh00:15:142
1073699260,7cyclictest30158-21cat20:00:271
1075399253,15cyclictest0-21swapper/322:10:123
1075399251,16cyclictest0-21swapper/319:30:133
1074499255,15cyclictest27-21ksoftirqd/200:05:122
1074499252,9cyclictest0-21swapper/221:20:102
1074499252,18cyclictest0-21swapper/221:25:152
1074499251,19cyclictest22346irq/40-dwc2_hso23:30:142
1073699257,2cyclictest10769-21ls19:10:011
1074499241,14cyclictest22346irq/40-dwc2_hso19:50:122
1074499241,14cyclictest22346irq/40-dwc2_hso19:50:112
1075399233,12cyclictest0-21swapper/320:40:123
1075399232,13cyclictest28366irq/58-eth021:40:123
1074499231,19cyclictest12524-21ssh23:25:112
1074499231,15cyclictest22346irq/40-dwc2_hso23:45:142
1075399223,14cyclictest28366irq/58-eth022:55:103
1075399223,14cyclictest28366irq/58-eth022:55:103
1075399223,14cyclictest0-21swapper/322:50:143
1075399223,12cyclictest0-21swapper/300:25:053
1075399222,12cyclictest28366irq/58-eth022:20:123
10753992210,8cyclictest28366irq/58-eth021:30:133
1074499228,11cyclictest13677-21sed20:20:162
1074499228,10cyclictest18402-21ps23:10:192
1074499225,14cyclictest14987-21irqcore20:55:162
1074499222,16cyclictest29842-21cron19:30:012
1074499222,16cyclictest29842-21cron19:30:002
1074499222,16cyclictest18339-21fschecks_time20:25:152
1074499222,15cyclictest0-21swapper/200:30:142
10744992216,4cyclictest32275-21ssh00:10:302
10744992216,4cyclictest32275-21ssh00:10:302
10744992211,9cyclictest32188-21ssh21:45:382
1074499221,10cyclictest16655-21irqcore22:15:192
1075399213,6cyclictest0-21swapper/300:30:143
1075399212,13cyclictest0-21swapper/321:35:133
1074499217,8cyclictest22046irq/40-fe98000021:05:122
1074499214,15cyclictest18838-21cron00:05:012
1074499212,6cyclictest0-21swapper/220:50:122
1074499212,16cyclictest28794-21missed_timers22:20:232
1074499212,10cyclictest2570-21cut19:35:162
1074499211,15cyclictest3494-21/usr/sbin/munin23:20:162
1074499211,14cyclictest29228-21sh21:10:132
1074499211,10cyclictest2427-21kthreadcore20:40:212
1075399209,8cyclictest0-21swapper/323:19:083
1075399207,8cyclictest0-21swapper/300:35:143
1075399204,9cyclictest0-21swapper/323:30:123
1075399202,12cyclictest0-21swapper/321:55:143
10753992011,6cyclictest28366irq/58-eth022:25:133
1074499204,13cyclictest32251-21kthreadcore19:30:212
1074499203,9cyclictest15960-21tail19:15:182
1074499201,15cyclictest29282-21tr23:15:242
10744992011,4cyclictest22682-21ssh00:25:142
1074499201,10cyclictest30635-21/usr/sbin/munin22:05:222
1074499201,10cyclictest21980-21processes21:40:272
1074499201,10cyclictest16652-21latency_hist19:50:012
1074499201,10cyclictest1351-21ssh23:55:132
10744992010,8cyclictest0-21swapper/221:37:412
1074499200,11cyclictest7461-21grep19:40:162
1074499200,11cyclictest13990-21kthreadcore22:30:222
1075399198,8cyclictest0-21swapper/322:17:413
1075399198,8cyclictest0-21swapper/300:00:043
1075399193,12cyclictest0-21swapper/323:00:143
1075399191,12cyclictest0-21swapper/320:55:143
1075399191,12cyclictest0-21swapper/300:20:153
10753991910,6cyclictest28366irq/58-eth023:05:143
10753991910,6cyclictest28366irq/58-eth021:15:173
1074499191,15cyclictest7316-21threads20:10:272
1075399189,6cyclictest0-21swapper/323:50:193
1075399189,4cyclictest0-21swapper/321:50:253
1075399182,7cyclictest28366irq/58-eth019:25:133
1075399182,7cyclictest28366irq/58-eth019:25:123
1075399182,12cyclictest28366irq/58-eth023:10:153
1075399182,10cyclictest0-21swapper/320:45:133
1075399182,10cyclictest0-21swapper/320:35:043
1075399182,10cyclictest0-21swapper/320:05:123
1075399182,10cyclictest0-21swapper/319:50:133
1075399182,10cyclictest0-21swapper/319:50:133
10753991812,4cyclictest33-21ksoftirqd/319:45:283
10753991811,4cyclictest0-21swapper/323:55:193
1075399181,13cyclictest0-21swapper/300:10:293
1075399181,13cyclictest0-21swapper/300:10:283
1075399181,12cyclictest0-21swapper/323:40:303
1075399181,12cyclictest0-21swapper/319:45:023
1075399181,11cyclictest0-21swapper/320:15:293
1075399181,11cyclictest0-21swapper/319:55:153
10753991810,6cyclictest0-21swapper/322:48:513
10753991810,6cyclictest0-21swapper/322:05:323
1075399172,9cyclictest0-21swapper/320:20:033
1075399172,10cyclictest0-21swapper/320:30:133
1074499172,13cyclictest10616-21latency_hist19:10:012
1073699171,9cyclictest12255-21perl19:45:171
1073699170,9cyclictest2649-21hwlatdetect19:35:161
1075399169,5cyclictest33-21ksoftirqd/319:20:223
1075399168,6cyclictest33-21ksoftirqd/319:10:133
1075399161,12cyclictest0-21swapper/320:50:273
10753991610,4cyclictest33-21ksoftirqd/320:25:293
1075399152,9cyclictest0-21swapper/321:00:133
1075399132,7cyclictest0-21swapper/319:15:153
1075399131,10cyclictest0-21swapper/320:10:193
107539991,6cyclictest0-21swapper/319:10:013
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional